다음은 그래디언트 디센트와 뉴턴의 방법을 모두 해석하기위한 공통 프레임 워크입니다.이 차이를 @Sycorax의 답변에 대한 보완으로 생각할 수 있습니다. (BFGS는 Newton의 방법에 근사합니다. 특히 여기서는 이야기하지 않겠습니다.)

함수 최소화하고 f

$f$

$f$있지만 직접 수행하는 방법을 모릅니다. 따라서 현재 지점 에서 근사값을 x

$x$

$x$구하여 최소화합니다.

Newton의 방법은 2 차 Taylor 확장을 사용하여 함수를 근사합니다.
∇ F ( x는 ) 의 기울기이고 F를 지점에서 X 및 ∇ 2 F ( X ) 의 헤센 (X) . 그런 다음 min y N x ( y ) 를 arg 단계로반복합니다.

$$f(y) \approx N_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y - x)^T \, \nabla^2 f(x) \, (y - x) ,$$ ∇f(x)

$\mathrm{\nabla }f(x)$

$\nabla f(x)$f

$\mathrm{에프}$

$f$x

$x$

$x$∇2f(x)

${\mathrm{\nabla }}^{2}f(x)$

$\nabla^2 f(x)$x

$x$

$x$argminyNx(y)

$\arg \underset{y}{min}{N}_x(y)$

$\arg\min_y N_x(y)$

@Hurkyl이 지적했듯이 최소 기울기가 없기 때문에 Hessian이 아닌 기울기가있는 그라디언트 디센트는 1 차 근사치를 만들고 최소화 할 수 없습니다. 대신, 단계 크기 와 단계를 x – t ∇ f ( x )로 정의 합니다. 그러나
x − tt

$t$

$t$x−t∇f(x)

$x-t\mathrm{\nabla }f(x)$

$x - t \nabla f(x)$
따라서 경사 하강은 함수Gx(y)를최소화합니다
:=f(x)+∇f(x)T(y−x)+1

$$\begin{align} x - t \,\nabla f(x) &= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac{1}{2 t} \lVert y - x \rVert^2\right] \\&= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x)\right] .\end{align}$$

$$G_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x).$$

따라서 경사 하강은 뉴턴의 방법을 사용하는 것과 비슷하지만 2 차 테일러 확장을 취하는 대신 헤 시안이 1 인 척합니다.. 이G는 종종N보다f에대한 대략적인 근사치이며, 따라서 경사 하강은 종종 뉴턴의 방법보다 훨씬 더 나쁜 단계를 취합니다. 물론 이것은 뉴턴 방법의 각 단계보다 계산하기에 훨씬 더 저렴한 경사 하강 단계에 의해 균형이 잡힌다. 더 나은 방법은 전적으로 문제의 본질, 계산 자원 및 정확성 요구 사항에 달려 있습니다.1tI

$\frac{1}{t}I$

$\tfrac1t I$G

$G$

$G$f

$f$

$f$N

$N$

$N$

2 차 f ( x ) = 1 을 최소화하는 @Sycorax의 예 를
보면
잠시 동안이 관점이 두 방법을 이해하는 데 도움이된다는 점에 주목할 가치가 있습니다.

$$f(x) = \tfrac12 x^T A x + d^T x + c$$

Newton의 방법을 사용하면 되므로 단일 단계에서 정확한 답변 (부동 소수점 정확도 문제까지)으로 끝납니다.N=f

$N=f$

$N = f$

반면 그라디언트 디센트는

$$G_x(y) = f(x) + (A x + d)^T y + \tfrac12 (x - y)^T \tfrac1t I (x-y)$$ x

$x$

$x$A

$A$

$A$

---

답변