과적 합을 피하기 위해 사람들 은 선형 회귀의 비용 함수에 정규화 매개 변수 와 함께 정규화 용어 (모델의 매개 변수의 제곱합에 비례)를 추가합니다 . 이 매개 변수 는 lagrange multiplier와 동일합니까? 정규화는 lagrange multiplier 방법과 동일합니까? 아니면이 방법들은 어떻게 연결되어 있습니까? λ
λλ
답변
우리는 매개 변수를 사용하여 모델을 최적화하는 말 , 어떤 기준 최소화하여 매개 변수 벡터의 크기에 제약 될 것은 (인스턴스는 구현하기위한 구조적 위험 최소화 에 의한 접근 방식을 복잡성이 증가하는 중첩 된 모델 집합을 구성하는 경우) 다음을 해결해야합니다.
θ→f(θ→)
minθ→f(θ→)s.t.‖θ→‖2<C
이 문제에 대한 라그랑지안은 (캐비티 : 나는 긴 하루 였다고 생각한다 ... ;-)
Λ(θ→,λ)=f(θ→)+λ‖θ→‖2−λC.
따라서 정규화 된 비용 함수는 제약 조건 ( )을 지배하는 상수와 관련된 정규화 매개 변수 와 제약 조건 최적화 문제와 밀접한 관련이 있으며 본질적으로 라그랑주 승수 임을 쉽게 알 수 있습니다 .
λC
이것은 예를 들어 능형 회귀가 구조적 위험 최소화를 구현하는 이유를 보여줍니다. 정규화는 가중치 벡터의 크기에 제약을 두는 것과 동등하며 이면 제약 조건을 준수하면서 만들 수있는 모든 모델
C1>C2‖θ→‖2<C2
제약 조건에서도 사용할 수 있습니다
‖θ→‖2<C1
.
따라서 줄이면 복잡성이 증가하는 일련의 가설 공간이 생성됩니다.
λ