우리는 매개 변수를 사용하여 모델을 최적화하는 말 , 어떤 기준 최소화하여 매개 변수 벡터의 크기에 제약 될 것은 (인스턴스는 구현하기위한 구조적 위험 최소화 에 의한 접근 방식을 복잡성이 증가하는 중첩 된 모델 집합을 구성하는 경우) 다음을 해결해야합니다.θ⃗ 

$\vec{\theta}$f(θ⃗ )

$f(\vec{\theta})$

minθ⃗ f(θ⃗ )s.t.∥θ⃗ ∥2<C

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

이 문제에 대한 라그랑지안은 (캐비티 : 나는 긴 하루 였다고 생각한다 ... ;-)

Λ(θ⃗ ,λ)=f(θ⃗ )+λ∥θ⃗ ∥2−λC.

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

따라서 정규화 된 비용 함수는 제약 조건 ( )을 지배하는 상수와 관련된 정규화 매개 변수 와 제약 조건 최적화 문제와 밀접한 관련이 있으며 본질적으로 라그랑주 승수 임을 쉽게 알 수 있습니다 . λ

$\lambda$C

$C$

이것은 예를 들어 능형 회귀가 구조적 위험 최소화를 구현하는 이유를 보여줍니다. 정규화는 가중치 벡터의 크기에 제약을 두는 것과 동등하며 이면 제약 조건을 준수하면서 만들 수있는 모든 모델C1>C2

$C_1 > C_2$

∥θ⃗ ∥2<C2

$\|\vec{\theta}\|^2 < C_2$

제약 조건에서도 사용할 수 있습니다

∥θ⃗ ∥2<C1

$\|\vec{\theta}\|^2 < C_1$ .

따라서 줄이면 복잡성이 증가하는 일련의 가설 공간이 생성됩니다.λ

$\lambda$

답변