미적분학 101에서 우리는 “분석 방법”을 사용하여 함수를 최적화하는 방법에 대해 배웠습니다. 비용 함수의 미분을 구하고 미분을 0으로 설정 한 다음 방정식을 풀면됩니다. 이것은 실제로 장난감 문제이며 실제 세계에서는 거의 발생하지 않습니다.

실제로는 많은 비용 함수가 어디에서나 파생되지 않습니다 (또한, 비용 함수는 불 연속적이며 파생 된 것이 전혀 없습니다). 또한 미분을 계산할 수 있다고해도 방정식을 분석적으로 풀 수는 없습니다 (예 : 해결 방법에 대한 생각).x7+x3−52+ex+log(x+x2)+1/x=0

$x^7+x^3-5^2+e^x+log(x+x^2)+1/x=0$

$x^7+x^3-5^2+e^x+log(x+x^2)+1/x=0$분석적으로? 나는 당신에게 숫자 대답은 말할 수 있습니다x=1.4786

$x=1.4786$

$x=1.4786$분석 솔루션을 모릅니다). 우리는 몇 가지 수치 적 방법을 사용해야합니다 (다항식 경우 Abel Ruffin Theorem 에서 여기를 확인하십시오 ).

반복적 인 방법은 사용하기 쉽고 이해하기 매우 직관적입니다. 방정식을 푸는 대신 하나의 함수를 최적화하고 답을 얻으려고한다면 충분한 반복 후에 반복 횟수 / 단계 수로 답을 개선하려고하면 답이 “진정한 답”에 가까워집니다. 미적분학을 사용하여 최소화하는 경우 말해f(x)=x2

$f(x)=x^2$

$f(x)=x^2$, 당신은 직접 얻을 x=0

$x=0$

$x=0$이지만 수치 방법을 사용하면 x=1.1234×10−20

$x=1.1234\times {10}^{-20}$

$x=1.1234\times10^{-20}$.

이제 이러한 반복 방법이 어떻게 작동하는지 이해하는 것이 중요합니다. 핵심 개념은 더 나은 솔루션을 얻기 위해 입력 매개 변수를 업데이트하는 방법을 아는 것입니다. 최소화하고 싶다고 가정하자f(x1,x2)=x21+x22+|x1+x2|

$f(x_1,x_2)=x_1^2+x_2^2+|x_1+x_2|$

$f(x_1,x_2)=x_1^2+x_2^2+|x_1+x_2|$ (이 비용 함수는 어디에서나 차별화 할 수 없지만 차별화 할 수있는 “가장 많은 장소”에 있습니다. 이는 “가장 많은 장소”에서 업데이트하는 방법을 알고 있기 때문에 우리에게 충분합니다.) (1,1)

$(1,1)$

$(1,1)$비용은 4.0

$4.0$

$4.0$이제 업데이트하고 싶습니다 (x1,x2)

$(x_1,x_2)$

$(x_1,x_2)$목적 함수를 더 작게 만들기 위해. 어떻게 하시겠습니까? 둘 다 줄이고 싶다고 말할 수 있습니다x1

$x_1$

$x_1$ x2

$x_2$

$x_2$그러나 왜? 실제로는 “소량의x

$x$

$x$, 어떻게 될 것인가 y

$y$

$y$“. 에서(1,1)

$(1,1)$

$(1,1)$, 미분은 (3,3)

$(3,3)$

$(3,3)$학습률이 말하는 음의 기울기 시간 α=0.001

$\alpha =0.001$

$\alpha=0.001$입니다 (−0.003,−0.003)

$(-0.003,-0.003)$

$(-0.003,-0.003)$그래서 우리는에서 솔루션을 업데이트했습니다. 1,1

$1,1$

$1, 1$ 에 (0.997,0.997)

$(0.997,0.997)$

$(0.997, 0.997)$ 더 나은 비용이 있습니다.

---

답변