“정상”회귀 (OLS)에서 목표는 계수를 추정하기 위해 잔류 제곱합 (RSS)을 최소화하는 것입니다.

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

LASSO 회귀 분석의 경우 약간 다른 접근법으로 계수를 추정합니다.

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

새로운 부분으로 범 계수의 절대 값의 합이고, 이는 적색 highlitened된다 때문에 (L1) regulazation의 양을 제어한다.λ

$\lambda$λ

$\lambda$

경우 유의 , 그 단순 회귀 분석과 동일한 계수로 발생할 것이다. 이 공식은 LASSO 경우 RSS와 L1 조정 (새로운 빨간색 부분)이 모두 최소가되어야 한다는 것을 보여줍니다 . 경우 , 적색 L1 페널티는 계수의 크기를 제한한다 계수 만 증가시킬 수 있도록하는 경우 RSS 감소 동일한 양이 리드. 더 일반적으로 계수가 증가 할 수있는 유일한 방법은 잔류 제곱합 (RSS)이 비슷한 감소를 경험하는 경우입니다. 따라서, 높게 설정할수록λ=0

$\lambda = 0$argmin

$\operatorname{argmin}$λ=1

$\lambda = 1$λ

$\lambda$계수에 더 많은 벌점이 적용되고 계수가 더 작아지면 일부는 0이 될 수 있습니다. 즉, LASSO는 피처 선택을 수행하여 모델이 과도하게 적합하지 않도록하는 데 도움이됩니다. 즉, 기능이 많고 모델 계수를 해석하는 것보다 데이터를 예측하는 것이 목표 인 경우 LASSO를 사용할 수 있습니다.

답변