estimation Archives - Page 3 of 8

나는 Hastie et al. “통계학 학습 요소”(2 판), 3 장 :

서브 세트 선택
수축 방법
도출 된 입력 방향을 사용하는 방법 (PCR, PLS)

아이디어를 제공하기 위해 비교가 매우 어려울 수 있습니다. 답은 문제의 차원과 그것이 어떻게 컴퓨터 아키텍처에 적합한 지에 따라 달라질 수 있으므로 구체적인 예를 들어 500 및 50 후보 회귀 분석기의 표본 크기를 고려할 수 있습니다. 나는 주로 계산 복잡성 / 추정 속도의 동기에 관심이 있지만 주어진 예제에서 특정 프로세서에 걸리는 시간은 아닙니다.

답변

그룹 1 : 그룹 1
의 복잡성 / 속도는 무차별 대입 알고리즘이 사용되는지 파악하기 어렵지 않은 것으로 보입니다 ( “리프 앤 바운드”알고리즘과 같은보다 효율적인 대안이있을 수 있음). 예를 들어, 전체 집합 선택이 필요합니다 풀 주어진 적합하기 위해 회귀 분석을 후보의 기능을 제공합니다. 하나의 선형 회귀에 대한 OLS 피팅은 ( 이 게시물에 따라 의 복잡성을 가지며, 여기서 은 샘플 크기입니다. 따라서 무차별 완전 하위 집합 선택의 총 복잡도는 여야합니다. $2^{K}$

2케이

$K$

케이

$O (K^{2} n)$

영형(케이2엔)

$n$

엔

. $O (2^{K} K^{2} n)$

영형(2케이케이2엔)

그룹 2 : 그룹 2
의 복잡성 / 속도는이 책의 섹션 3.8과 3.9에서 논의됩니다. 예를 들어, 주어진 페널티 능선 회귀 는 정규 회귀와 동일한 계산 복잡도를 갖습니다. 교차 검증을 사용하여 를 찾아야 하므로 교차 검증에 사용되는 데이터 분할 수 (예 : ) 에서 계산 부하가 선형으로 증가 합니다. 경우] 격자 갖는 포인트, 리지 회귀의 총 복잡도 와 동조 파라미터 것이다 . $λ$

$λ$

$S$

에스

$λ$

$L$

엘

$λ$

$O (L S K^{2} n)$

영형(엘에스케이2엔)

$λ$

$O (L S K^{2} n)$

영형(엘에스케이2엔)

$O (A L S K^{2} n)$

영형(ㅏ엘에스케이2엔)

$A$

ㅏ

$α$

그룹 3 :
나는 아직도 그리워 주성분 회귀 (PCR)과 부분 최소 제곱 (PLS)으로 구성되어 그룹 3의 복잡성 / 속도에 어떤 메모를.

답변

위의 그룹 3에 대한 질문 2의 한 부분 (즉, PLS)에만 해당되지만 그럼에도 불구하고 유익 할 수 있습니다. Srinivasan et al (2010, 기술 보고서; https://www.umiacs.umd.edu/~balajiv/Papers/ 참조) UMD_CS_TR_Pls_Gpu.pdf )는 NIPALS 알고리즘을 사용하여 PLS에서 일부 측정을 수행했습니다.이 알고리즘의 시간 및 공간 복잡도는 O (dN)-추출 및 추출을 위해 서로 다른 모델에 포함합니다. ) 얼굴 인식. 자체 GPU 기반 구현을 사용하여 측정을 수행했습니다.

답변

Exit mobile version

How IT

언제든지 물어보세요.

태그 보관물: estimation

PCA, LASSO, 탄력적 네트워크의 속도, 계산 비용 있습니다. 답은 문제의 차원과 그것이 어떻게 컴퓨터

답변

답변

답변