LASSO 문제에 대한 IRLS는 다음과 같습니다.

$$\arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda \left\| x \right\|_{1} = \arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda {x}^{T} W {x}$$

여기서 대각 행렬 – .
이것은 에서 온다 .W

$W$

$W$Wi,i=1|xi|

$W_{i,i}=\frac{1}{\left|x_i\right|}$

${W}_{i, i} = \frac{1}{ \left| {x}_{i} \right| }$
∥x∥1=∑i|xi|=∑ix2i|xi|

${\Vert x\Vert }_1=\sum _i\left|x_i\right|=\sum _i\frac{x_i^2}{\left|x_i\right|}$

$\left\| x \right\|_{1} = \sum_{i} \left| {x}_{i} \right| = \sum_{i} \frac{ {x}_{i}^{2} } { \left| {x}_{i} \right| }$

위의 내용은 Tikhonov Regularization 입니다.
이후 그러나, 에 따라 하나 반복적으로 해결한다 (또한 이것의 유도체, 노프 정규화 (regularization)의 2 인자가 취소 에 대해서 채 상수 것은 는 와 같습니다 ) :W

$W$

$W$x

$x$

$x$xTWx

$x^{T}Wx$

${x}^{T} W x$x

$x$

$x$x

$x$

$x$diag(sign(x))

$\mathrm{diag}(\mathrm{sign}\left(x\right))$

$\operatorname{diag} \left( \operatorname{sign} \left( x \right) \right)$Wx

$Wx$

$W x$

$${x}^{k + 1} = \left( {A}^{T} A + \lambda {W}^{k} \right)^{-1} {A}^{T} b$$

여기서 .WKi,i=1∣∣xki∣∣

$W_{i,i}^K=\frac{1}{\left|x_i^k\right|}$

${W}_{i, i}^{K} = \frac{1}{ \left| {x}^{k}_{i} \right| }$

초기화 할 수 있습니다 .W=I

$W=I$

$W = I$

이 값은 의 큰 값에는 적합하지 않으므로 ADMM 또는 Coordinate Descent를 사용하는 것이 좋습니다.λ

$\lambda$

$\lambda$

---

답변