소멸 구배 문제는 우리가 구배 하강과 함께 작은 학습 속도를 사용해야하며, 수렴하기 위해서는 많은 작은 단계가 필요합니다. 각 단계마다 시간이 오래 걸리는 느린 컴퓨터가있는 경우 문제가됩니다. 하루에 더 많은 단계를 수행 할 수있는 빠른 GPU가 있다면 이것은 문제가되지 않습니다.

소실 그라디언트 문제를 해결하는 방법에는 여러 가지가 있습니다. CNN의 가장 큰 효과는 S 자형 비선형 단위에서 정류 선형 단위로 전환 한 것입니다. 오차 가 가중치 w i j ~ y j 만 에 의존 하는 간단한 신경망을 고려한다면 , 여기서E

$E$

$E$wij

$w_{ij}$

$w_{ij}$yj

$y_j$

$y_j$

$$y_j = f\left( \sum_iw_{ij}x_i \right),$$

그 그라디언트는

$$\begin{align} \frac{\partial}{\partial w_{ij}} E &= \frac{\partial E}{\partial y_j} \cdot \frac{\partial y_j}{\partial w_{ij}} \\ &= \frac{\partial E}{\partial y_j} \cdot f'\left(\sum_i w_{ij} x_i\right) x_i. \end{align}$$

만약 로지스틱 시그 모이 드 함수이고, F는 “ 큰 입력뿐만 아니라 입력의 작고 0에 가까울 것이다. 경우 f는 정류 수단은 선형이며f

$f$

$f$f′

$f^{\prime }$

$f'$f

$f$

$f$

유도체는 포지티브 입력에 대한 부정적인 입력 제로 1이다. 또 다른 중요한 기여는 가중치를 올바르게 초기화하는 것입니다. 이 문서는 문제를 더 자세히 이해하기위한 좋은 자료 인 것 같습니다 (아직 읽지는 않았지만).

$$\begin{align} f(u) = \max\left(0, u\right), \end{align}$$

http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf

---

답변