나는 PCA와 SVD를 수학적으로 계산하는 방법을 알고 있으며, 둘 다 선형 최소 제곱 법 회귀에 적용 할 수 있다는 것을 알고 있습니다.
SVD의 주요 장점은 수학적으로 비 제곱 행렬에 적용될 수 있다는 것입니다.
둘 다 행렬 의 분해에 중점을 둡니다 . 언급 된 SVD의 이점 외에, PCA를 통해 SVD를 사용하여 제공되는 추가 장점이나 통찰력이 있습니까?
저는 수학적인 차이보다는 직관을 찾고 있습니다.
답변
@ttnphns와 @ nick-cox가 말했듯이 SVD는 수치 방법이며 PCA는 분석 방법입니다 (최소 제곱과 같은). 당신은 SVD를 사용하여 PCA을 수행 할 수 있습니다, 또는 당신은 PCA가의 고유 분해하고 할 수있는 (또는 X X T를 사용하면 12 개의 알고리즘 최소 제곱를 해결할 수있는 것처럼, 많은 다른 방법을 사용하여 PCA)를, 또는 당신이 할 수있는 뉴턴의 방법이나 경사 하강 또는 SVD 등
따라서 PCA보다 SVD에 대한 “장점”은 없습니다. 뉴턴의 방법이 최소 제곱보다 나은지 묻는 것과 같습니다.
답변
문제는 실제로 SVD를 적용하기 전에 열의 Z- 점수 정규화를 수행 해야하는지 묻습니다. 이는 PCA가 위의 변환에 이어 SVD이기 때문입니다. 때로는 정규화를 수행하는 것이 매우 해 롭습니다. 예를 들어, 데이터가 양수인 (변환 된) 단어 수인 경우 평균을 빼는 것은 확실히 해 롭습니다. 문서에 단어가 없음을 나타내는 0이 큰 음수로 매핑되기 때문입니다. 선형 문제에서는 피처가 가장 민감한 범위를 나타내는 데 더 큰 크기를 사용해야합니다. 또한 표준 편차로 나누면이 유형의 데이터에 해 롭습니다.