아니요, 방어 할 수 없습니다. 모델 선택 절차가 극복하도록 설계된 큰 장애물은 진정한지지의 카디널리티알 수 없습니다. (여기서 는 “true”계수입니다.)모델 선택 절차는 가능한 모든 모델을 철저히 검색해야 합니다. 그러나우리는 바로 확인할 수 있습니다 훨씬 적은 인 모델.|S∗|=∣∣{j:β∗j≠0}∣∣

$\left|S^{\ast }\right|=\left|\{j:{\beta }_j^{\ast }\ne 0\}\right|$

$\left| S^* \right| = \left| \left\{ j : \beta^*_j \neq 0 \right\} \right|$β∗

${\beta }^{\ast }$

$\beta^*$|S∗|

$|S^{\ast }|$

$|S^*|$2p

$2^p$

$2^p$|S∗|

$|S^{\ast }|$

$|S^*|$(p|S∗|)

$(\genfrac{}{}{0ex}{}{p}{|S^{\ast }|})$

${p \choose |S^*|}$

올가미 이론은 선택된 모델이 충분히 희박 해 지도록 정규화 파라미터 가 충분히 큰 것에 의존한다 . 하한을 의 상한으로 바꾸는 것이 쉽지 않기 때문에 10 개의 기능이 너무 많거나 너무 적을 수 있습니다. .λ

$\lambda$

$\lambda$λ

$\lambda$

$\lambda$|S∗|

$|S^{\ast }|$

$|S^*|$

하자 우리 데이터 기반 추정 될 및 넣어 . 그렇다면 적어도 관련 기능을 복구 하기 위해 인지 확인하려고 하십니까? 또는 찾은 기능이 모두 가치가 있음을 알 수 있도록 를 설정하려고 합니까? 이 경우 상대 크기 에 대한 사전 정보가 있으면 절차가 더 정당화됩니다 .β^

$\hat{\beta }$

$\hat\beta$β∗

${\beta }^{\ast }$

$\beta^*$S^={j:β^j≠0}

$\hat{S}=\{j:{\hat{\beta }}_j\ne 0\}$

$\hat{S} = \{j \, : \, \hat\beta_j \neq 0 \}$S∗⊆S^

$S^{\ast }\subseteq \hat{S}$

$S^* \subseteq \hat{S}$S^⊆S∗

$\hat{S}\subseteq S^{\ast }$

$\hat{S} \subseteq S^*$S∗

$S^{\ast }$

$S^*$

또한 올가미를 수행 할 때 일부 계수를 처벌받지 않은 상태로 둘 수 있습니다 (예 🙂 glmnet.

---

답변