PCA와 자동 인코더의 차이점은 무엇입니까? 모두 디멘션 감소를 수행 할 수 있으므로

PCA와 오토 인코더는 모두 디멘션 감소를 수행 할 수 있으므로 차이점은 무엇입니까? 어떤 상황에서 나는 서로를 사용해야합니까?

답변

PCA는 선형 맵으로 제한되는 반면 자동 엔코더에는 비선형 엔더 / 디코더가있을 수 있습니다.

선형 전송 기능이있는 단일 레이어 자동 엔코더는 PCA와 거의 동일합니다. 여기서 AE와 PCA에서 찾은 는 같지 않지만 각각의 의해 정의 된 부분 공간은 동일하지 않습니다 . $W$

W

$W$ $W$

W

$W$

답변

bayerj가 지적했듯이 PCA는 자동 엔코더 (AE)가 아닌 선형 시스템을 가정하는 방법입니다. AE에 비선형 함수가 사용되지 않고 숨겨진 레이어의 뉴런 수가 입력 치수보다 작은 경우 PCA와 AE는 동일한 결과를 얻을 수 있습니다. 그렇지 않으면 AE가 다른 부분 공간을 찾을 수 있습니다.

한 가지 유의해야 할 점은 AE의 숨겨진 레이어는 입력의 레이어보다 차원이 클 수 있다는 것입니다. 이러한 경우 AE는 차원 축소를 수행하지 않을 수 있습니다. 이 경우, 우리는 그것들을 하나의 특징 공간에서 다른 특징 공간으로 변환하는 것으로 인식하고, 새로운 특징 공간의 데이터는 변동 인자를 분리시킨다.

$O (2^{N})$

O (2^{N})

$O(2^N)$ $O (N)$

O (N)

$O(N)$

답변

이것은 의견으로 더 적합하지만 그 명성이 없기 때문에 답변으로 제공됩니다.

나는 거의 bayerj : s 답변에 대한 개념과 다소 혼동되었습니다. 신경망 읽기 및 주요 구성 요소 분석 : 증거가 제공되는 국소 최소값 이 없는 예에서 학습 .

$p$
$p$
$p$ $Σ_{X X}$
$Σ_{X X}$
$\Sigma_{XX}$

그렇다면 이것이 PCA가 스팬 한 해당 공간이 아닌가?

답변

${x_{i} \in R^{n}}_{i = 1}^{N}$

{x_{i} \in R^{n}}_{i = 1}^{N}

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$ $N$

N

$N$ $n -$

n -

$n-$ $X$

X

$X$ $x_{1}, \dots, x_{N}$

x_{1}, \dots, x_{N}

$\mathbf{x}_1,\dots,\mathbf{x}_N$

\begin{aligned} h_{1} & = W_{1} x + b_{1} \\ \hat{x} & = W_{2} h_{1} + b_{2} \end{aligned}

$\begin{align} \mathbf{h}_1 & = \mathbf{W}_1\mathbf{x} + \mathbf{b}_1 \\ \hat{\mathbf{x}} & = \mathbf{W}_2\mathbf{h}_1 + \mathbf{b}_2 \end{align}$

$\hat{x}$

\hat{x}

$\hat{\mathbf{x}}$ $W_{1} \in R^{n \times m}$

W_{1} \in R^{n \times m}

$W_1\in \mathbb{R}^{n \times m}$ $W_{2} \in R^{m \times n}$

W_{2} \in R^{m \times n}

$W_2\in \mathbb{R}^{m \times n}$ $m < n$

m < n

$m < n$

$m$

m

$m$ $W_{2}$

W_{2}

$W_2$ $m$

m

$m$ $X$

X

$X$

$W_{2}$

W_{2}

$W_2$ $m$

m

$m$ $X$

X

$X$ $X$

X

$X$ $n \times N$

n \times N

$n \times N$ $W_{2}$

W_{2}

$W_2$ $m \times n$

m \times n

$m\times n$ $W_{2}$

W_{2}

$W_2$ $O (m^{2} n)$

O (m^{2} n)

$O(m^2n)$ $X$

X

$X$ $O (n^{2} N)$

O (n^{2} N)

$O(n^2N)$ $m < n$

m < n

$m < n$

How IT

언제든지 물어보세요.

PCA와 자동 인코더의 차이점은 무엇입니까? 모두 디멘션 감소를 수행 할 수 있으므로

답변

답변

답변

답변

답변