그룹 1 : 그룹 1
의 복잡성 / 속도는 무차별 대입 알고리즘이 사용되는지 파악하기 어렵지 않은 것으로 보입니다 ( “리프 앤 바운드”알고리즘과 같은보다 효율적인 대안이있을 수 있음). 예를 들어, 전체 집합 선택이 필요합니다 풀 주어진 적합하기 위해 회귀 분석을 K의 후보의 기능을 제공합니다. 하나의 선형 회귀에 대한 OLS 피팅은 ( 이 게시물에 따라 ) O ( K 2 n ) 의 복잡성을 가지며, 여기서 n 은 샘플 크기입니다. 따라서 무차별 완전 하위 집합 선택의 총 복잡도는 O ( 2 K 여야합니다.2케이

$2^{\mathrm{케이}}$

$2^K$케이

$\mathrm{케이}$

$K$영형 ( K2엔)

$\mathcal{영형}({\mathrm{케이}}^2엔)$

$\mathcal{O}(K^2 n)$엔

$엔$

$n$ .O ( 2케이케이2n )

$\mathcal{영형}(2^{\mathrm{케이}}{\mathrm{케이}}^2엔)$

$\mathcal{O}(2^K K^2 n)$

그룹 2 : 그룹 2
의 복잡성 / 속도는이 책의 섹션 3.8과 3.9에서 논의됩니다. 예를 들어, 주어진 페널티 λ의 능선 회귀 는 정규 회귀와 동일한 계산 복잡도를 갖습니다. 교차 검증을 사용하여 λ 를 찾아야 하므로 교차 검증에 사용되는 데이터 분할 수 (예 : S ) 에서 계산 부하가 선형으로 증가 합니다. 경우] λ의 격자 갖는 L의 포인트, 리지 회귀의 총 복잡도 와 동조 λ의 파라미터 것이다 O ( L S K 2 N ) .λ

$\lambda$

$\lambda$λ

$\lambda$

$\lambda$에스

$\mathrm{에스}$

$S$λ

$\lambda$

$\lambda$엘

$엘$

$L$λ

$\lambda$

$\lambda$O ( L S케이2n )

$\mathcal{영형}(엘\mathrm{에스}{\mathrm{케이}}^2엔)$

$\mathcal{O}(LSK^2 n)$
λ

$\lambda$

$\lambda$λ

$\lambda$

$\lambda$O (LS케이2n )

$\mathcal{영형}(엘\mathrm{에스}{\mathrm{케이}}^2엔)$

$\mathcal{O}(LSK^2 n)$
오 (ALS케이2n )

$\mathcal{영형}(ㅏ엘\mathrm{에스}{\mathrm{케이}}^2엔)$

$\mathcal{O}(ALSK^2 n)$ㅏ

$ㅏ$

$A$α

$\alpha$

$\alpha$

그룹 3 :
나는 아직도 그리워 주성분 회귀 (PCR)과 부분 최소 제곱 (PLS)으로 구성되어 그룹 3의 복잡성 / 속도에 어떤 메모를.

---

답변