PCA와 자동 인코더의 차이점은 무엇입니까? 모두 디멘션 감소를 수행 할 수 있으므로

PCA와 오토 인코더는 모두 디멘션 감소를 수행 할 수 있으므로 차이점은 무엇입니까? 어떤 상황에서 나는 서로를 사용해야합니까?

답변

PCA는 선형 맵으로 제한되는 반면 자동 엔코더에는 비선형 엔더 / 디코더가있을 수 있습니다.

선형 전송 기능이있는 단일 레이어 자동 엔코더는 PCA와 거의 동일합니다. 여기서 AE와 PCA에서 찾은 는 같지 않지만 각각의 의해 정의 된 부분 공간은 동일하지 않습니다 . $W$

$W$

답변

bayerj가 지적했듯이 PCA는 자동 엔코더 (AE)가 아닌 선형 시스템을 가정하는 방법입니다. AE에 비선형 함수가 사용되지 않고 숨겨진 레이어의 뉴런 수가 입력 치수보다 작은 경우 PCA와 AE는 동일한 결과를 얻을 수 있습니다. 그렇지 않으면 AE가 다른 부분 공간을 찾을 수 있습니다.

한 가지 유의해야 할 점은 AE의 숨겨진 레이어는 입력의 레이어보다 차원이 클 수 있다는 것입니다. 이러한 경우 AE는 차원 축소를 수행하지 않을 수 있습니다. 이 경우, 우리는 그것들을 하나의 특징 공간에서 다른 특징 공간으로 변환하는 것으로 인식하고, 새로운 특징 공간의 데이터는 변동 인자를 분리시킨다.

$O (2^{N})$

O(2N)

$O (N)$

O(N)

답변

이것은 의견으로 더 적합하지만 그 명성이 없기 때문에 답변으로 제공됩니다.

나는 거의 bayerj : s 답변에 대한 개념과 다소 혼동되었습니다. 신경망 읽기 및 주요 구성 요소 분석 : 증거가 제공되는 국소 최소값 이 없는 예에서 학습 .

$p$
p
$Σ_{X X}$
ΣXX

그렇다면 이것이 PCA가 스팬 한 해당 공간이 아닌가?

답변

${x_{i} \in R^{n}}_{i = 1}^{N}$

{xi∈Rn}i=1N

$N$

$n -$

n−

$X$

$x_{1}, \dots, x_{N}$

x1,…,xN

h 1 x^= W 1 x + b 1 = W 2 h 1 + b 2

$\hat{x}$

$W_{1} \in R^{n \times m}$

W1∈Rn×m

$W_{2} \in R^{m \times n}$

W2∈Rm×n

$m < n$

m<n

$m$

$W_{2}$

$m$

$X$

$W_{2}$

$m$

$X$

$n \times N$

n×N

$W_{2}$

$m \times n$

m×n

$W_{2}$

$O (m^{2} n)$

O(m2n)

$X$

$O (n^{2} N)$

O(n2N)

$m < n$

m<n

답변

Exit mobile version

How IT

언제든지 물어보세요.

PCA와 자동 인코더의 차이점은 무엇입니까? 모두 디멘션 감소를 수행 할 수 있으므로

답변

답변

답변

답변

답변