나는 Hastie et al. “통계학 학습 요소”(2 판), 3 장 :
- 서브 세트 선택
- 수축 방법
- 도출 된 입력 방향을 사용하는 방법 (PCR, PLS)
아이디어를 제공하기 위해 비교가 매우 어려울 수 있습니다. 답은 문제의 차원과 그것이 어떻게 컴퓨터 아키텍처에 적합한 지에 따라 달라질 수 있으므로 구체적인 예를 들어 500 및 50 후보 회귀 분석기의 표본 크기를 고려할 수 있습니다. 나는 주로 계산 복잡성 / 추정 속도의 동기에 관심이 있지만 주어진 예제에서 특정 프로세서에 걸리는 시간은 아닙니다.
답변
그룹 1 : 그룹 1
의 복잡성 / 속도는 무차별 대입 알고리즘이 사용되는지 파악하기 어렵지 않은 것으로 보입니다 ( “리프 앤 바운드”알고리즘과 같은보다 효율적인 대안이있을 수 있음). 예를 들어, 전체 집합 선택이 필요합니다 풀 주어진 적합하기 위해 회귀 분석을 K의 후보의 기능을 제공합니다. 하나의 선형 회귀에 대한 OLS 피팅은 ( 이 게시물에 따라 ) O ( K 2 n ) 의 복잡성을 가지며, 여기서 n 은 샘플 크기입니다. 따라서 무차별 완전 하위 집합 선택의 총 복잡도는 O ( 2 K 여야합니다.
케이
영형(케이2엔) 엔
.
영형(2케이케이2엔)그룹 2 : 그룹 2
의 복잡성 / 속도는이 책의 섹션 3.8과 3.9에서 논의됩니다. 예를 들어, 주어진 페널티 λ의 능선 회귀 는 정규 회귀와 동일한 계산 복잡도를 갖습니다. 교차 검증을 사용하여 λ 를 찾아야 하므로 교차 검증에 사용되는 데이터 분할 수 (예 : S ) 에서 계산 부하가 선형으로 증가 합니다. 경우] λ의 격자 갖는 L의 포인트, 리지 회귀의 총 복잡도 와 동조 λ의 파라미터 것이다 O ( L S K 2 N ) .
λ
에스
λ
엘
λ
영형(엘에스케이2엔) λ
λ
영형(엘에스케이2엔)
ㅏ
α
그룹 3 :
나는 아직도 그리워 주성분 회귀 (PCR)과 부분 최소 제곱 (PLS)으로 구성되어 그룹 3의 복잡성 / 속도에 어떤 메모를.
답변
위의 그룹 3에 대한 질문 2의 한 부분 (즉, PLS)에만 해당되지만 그럼에도 불구하고 유익 할 수 있습니다. Srinivasan et al (2010, 기술 보고서; https://www.umiacs.umd.edu/~balajiv/Papers/ 참조) UMD_CS_TR_Pls_Gpu.pdf )는 NIPALS 알고리즘을 사용하여 PLS에서 일부 측정을 수행했습니다.이 알고리즘의 시간 및 공간 복잡도는 O (dN)-추출 및 추출을 위해 서로 다른 모델에 포함합니다. ) 얼굴 인식. 자체 GPU 기반 구현을 사용하여 측정을 수행했습니다.