β^n=(XXT+λI)−1∑i=0n−1xiyi

${\hat{\beta }}_n=(X{X}^T+\lambda I{)}^{-1}\sum _{i=0}^{n-1}{x}_i{y}_i$

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

하자 , 다음M−1n=(XXT+λI)−1

$M_n^{-1}=(X{X}^T+\lambda I{)}^{-1}$

$M_n^{-1} = (XX^T+λI)^{−1}$

β^n+1=M−1n+1(∑i=0n−1xiyi+xnyn)

${\hat{\beta }}_{n+1}=M_{n+1}^{-1}(\sum _{i=0}^{n-1}{x}_i{y}_i+x_n{y}_n)$

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ 및

Mn+1−Mn=xnxTn

$M_{n+1}-M_n=x_n{x}_n^T$

$M_{n+1} - M_n = x_nx_n^T$ , 우리는 얻을 수 있습니다

β^n+1=β^n+M−1n+1xn(yn−xTnβ^n)

${\hat{\beta }}_{n+1}={\hat{\beta }}_n+M_{n+1}^{-1}{x}_n(y_n-x_n^T{\hat{\beta }}_n)$

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

에 따르면 우드 베리 공식 , 우리가

M−1n+1=M−1n−M−1nxnxTnM−1n(1+xTnM−1nxn)

$M_{n+1}^{-1}=M_n^{-1}-\frac{M_n^{-1}{x}_n{x}_n^T{M}_n^{-1}}{(1+x_n^T{M}_n^{-1}{x}_n)}$

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

결과적으로

β^n+1=β^n+M−1n1+xTnM−1nxnxn(yn−xTnβ^n)

${\hat{\beta }}_{n+1}={\hat{\beta }}_n+\frac{M_n^{-1}}{1+x_n^T{M}_n^{-1}{x}_n}{x}_n(y_n-x_n^T{\hat{\beta }}_n)$

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Polyak 평균화 는
를 사용하여 을 범위가 근사값에 사용할 수 있음을 나타냅니다. 에 . 귀하의 경우 재귀에 가장 적합한 를 선택하려고 시도 할 수 있습니다 .M − 1 nηn=n−α

${\eta }_n=n^{-\alpha }$

$\eta_n = n^{-\alpha}$ α0.51αM−1n1+xTnM−1nxn

$\frac{M_n^{-1}}{1+x_n^T{M}_n^{-1}{x}_n}$

$\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$α

$\alpha$

$\alpha$0.5

$0.5$

$0.5$1

$1$

$1$α

$\alpha$

$\alpha$

---

배치 그라디언트 알고리즘을 적용하면 작동한다고 생각합니다.

β^n+1=β^n+ηnn∑i=0n−1xi(yi−xTiβ^n)

${\hat{\beta }}_{n+1}={\hat{\beta }}_n+\frac{{\eta }_n}{n}\sum _{i=0}^{n-1}{x}_i(y_i-x_i^T{\hat{\beta }}_n)$

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

---

답변