LASSO 모델에서 를 선택하는 것이 얼마나 방어 적인가? 일부 예측

교차 검증을 통해 람다를 결정할 때 모든 계수는 0이됩니다. 그러나 일부 예측 변수가 결과에 확실히 영향을 주어야한다는 문헌에 대한 힌트가 있습니다. 람다를 임의로 선택하여 원하는만큼의 희소성이있는 것이 쓰레기입니까?

콕스 모델에 대해 135 개 중 10 개 정도의 예측 변수를 선택하려고하지만 불행히도 효과 크기가 작습니다.

답변

문헌에 정의 된 일부 범위의 값을 가진 최소한의 예측 변수를 원한다면 왜 순수 LASSO 접근 방식을 선택해야합니까? @probabilityislogic이 제안했듯이, 지식이있는 변수에 대해 유익한 사전 정보를 사용해야합니다. 나머지 예측 변수에 대해 LASSO 속성 중 일부를 유지하려면 서로 다른 입력에 대해 이중 지수 분포를 사용하여 사전을 사용할 수 있습니다. 예를 들어 형식의 밀도를 사용할 수 있습니다

여기서

p (β i) = λ 2 exp (- λ | β i |),

$λ$

는 순수 LASSO 솔루션에 해당하는 래그 레인지 승수입니다. 이 마지막 진술은 유익한 선례가있는 변수가 없을 때 LASSO를 유도하는 또 다른 방법이라는 사실에서 비롯됩니다 (잔차에 대한 정규성 가정에서 사후 모드를 최대화함으로써).

답변

LASSO를 수행하는 좋은 방법이 있지만 고정 된 수의 예측 변수를 사용하십시오. Efron의 논문에 설명 된 최소 각도 회귀 (LAR 또는 LARS)입니다. 반복 절차를 수행하는 동안 다수의 선형 모형이 작성되며 각각의 새로운 모형에는 하나 이상의 예측 변수가 있으므로 원하는 수의 예측 변수가있는 모형을 선택할 수 있습니다.

다른 방법은 또는 정규화입니다. 적절한 사전 설정을 사용하여 Nestor에서 언급했듯이 사전 지식을 모델에 통합 할 수 있습니다. Tipping에 의한 소위 관련성 벡터 머신이 유용 할 수 있습니다. $l_{1}$

$l_{2}$

답변

아니요, 방어 할 수 없습니다. 모델 선택 절차가 극복하도록 설계된 큰 장애물은 진정한지지의 카디널리티알 수 없습니다. (여기서 는 “true”계수입니다.)모델 선택 절차는 가능한 모든 모델을 철저히 검색해야 합니다. 그러나우리는 바로 확인할 수 있습니다 훨씬 적은 인 모델. $| S^{*} | = | {j : β_{j}^{*} \neq 0} |$

|S∗|=|{j:βj∗≠0}|

$β^{*}$

β∗

$| S^{*} |$

|S∗|

$2^{p}$

$| S^{*} |$

|S∗|

$(\binom{p}{| S^{*} |})$

(p|S∗|)

올가미 이론은 선택된 모델이 충분히 희박 해 지도록 정규화 파라미터 가 충분히 큰 것에 의존한다 . 하한을 의 상한으로 바꾸는 것이 쉽지 않기 때문에 10 개의 기능이 너무 많거나 너무 적을 수 있습니다. . $λ$

$λ$

$| S^{*} |$

|S∗|

하자 우리 데이터 기반 추정 될 및 넣어 . 그렇다면 적어도 관련 기능을 복구 하기 위해 인지 확인하려고 하십니까? 또는 찾은 기능이 모두 가치가 있음을 알 수 있도록 를 설정하려고 합니까? 이 경우 상대 크기 에 대한 사전 정보가 있으면 절차가 더 정당화됩니다 . $\hat{β}$

β^

$β^{*}$

β∗

$\hat{S} = {j : {\hat{β}}_{j} \neq 0}$

S^={j:β^j≠0}

$S^{*} \subseteq \hat{S}$

S∗⊆S^

$\hat{S} \subseteq S^{*}$

S^⊆S∗

$S^{*}$

S∗

또한 올가미를 수행 할 때 일부 계수를 처벌받지 않은 상태로 둘 수 있습니다 (예 🙂 glmnet.

답변

Exit mobile version

How IT

언제든지 물어보세요.

LASSO 모델에서 를 선택하는 것이 얼마나 방어 적인가? 일부 예측

답변

답변

답변

답변