차원 축소가 항상 정보를 잃는 것은 아닙니다 . 경우에 따라 정보를 버리지 않고 저 차원 공간에서 데이터를 다시 나타낼 수 있습니다.

각 측정 값이 2 차 공변량과 연관된 데이터가 있다고 가정합니다. 예를 들어, 일부 이미 터를 기준으로 및 위치 의 조밀 한 격자에서 신호 품질 (컬러 화이트 = 양호, 블랙 = 불량으로 표시)를 측정 했다고 가정합니다. 이 경우 데이터는 왼쪽 그림 [* 1]과 유사 할 수 있습니다.x y큐

$Q$엑스

$x$와이

$y$

적어도 피상적으로 2 차원 데이터 인 입니다. 그러나, 우리 는 선험적 (기본 물리학에 기초한)을 알거나 그것이 원점으로부터의 거리에만 의존한다고 가정 할 수 있습니다 : r = . (일부 탐색 적 분석은 기본 현상조차도 잘 이해하지 못하는 경우이 결론으로 ​​이어질 수 있습니다). 그런 다음 대신 로 데이터를 다시 작성할 수있어 차원을 단일 차원으로 효과적으로 줄일 수 있습니다. 데이터가 방사형 대칭 인 경우에만 손실이 발생하지 않지만 이는 많은 물리적 현상에 대한 합리적인 가정입니다.√Q ( x , y)

$Q(x,y)$ Q(r)Q(x,y)엑스2+ y2−−−−−−√

$\sqrt{x^2 + y^2}$Q ( r )

$Q(r)$Q ( x , y)

$Q(x,y)$

이 변환 은 비선형 (제곱근과 두 개의 제곱이 있습니다!)이므로 PCA에서 수행하는 차원 축소와는 약간 다릅니다. 정보를 잃지 않고 치수를 제거하는 방법에 대한 예입니다.Q ( x , y) → Q ( r )

$Q(x,y) \rightarrow Q(r)$

다른 예를 들어, 일부 데이터에 대해 단일 값 분해를 수행한다고 가정합니다 (SVD는 주요 구성 요소 분석의 근본 원인이며 종종 기본 구성 요소 분석). SVD는 데이터 행렬 가져 와서 되도록 3 개의 행렬로 인수 분해 합니다. U와 V의 열은 각각 왼쪽 및 오른쪽 특이 벡터로, 대한 직교 정규 염기 세트를 형성합니다 . 의 대각선 요소 (즉, 는 특이 값으로, 및 의 해당 열 ( 의 나머지 열에 의해 형성된 번째 기준 세트 에 효과적으로 가중치 가M = U S V T M S S i , i ) i U V S N x N N x N S U V M Q ( x , y )미디엄

$M$미디엄= U에스V티

$M = USV^{T}$미디엄

$M$에스

$S$에스내가 , 내가)

$S_{i,i})$나는

$i$유

$U$V

$V$에스

$S$0입니다). 자체로,이 (사실, 지금 3가 당신에게 어떤 차원 축소를 제공하지 않습니다 대신 하나의 행렬 당신이 시작 매트릭스). 그러나 때때로 일부 대각선 요소 는 0입니다. 이것은 와 의 해당 염기가 을 재구성하는 데 필요하지 않으므로 제거 할 수 있음을 의미합니다. 예를 들어엔x N

$NxN$엔x N

$NxN$에스

$S$유

$U$V

$V$미디엄

$M$Q ( x , y)

$Q(x,y)$위의 행렬에는 10,000 개의 요소가 포함되어 있습니다 (즉, 100×100). SVD를 수행 할 때 한 쌍의 특이 벡터는 0이 아닌 값 [* 2]을 가지므로 원래 행렬을 두 개의 100 요소 벡터 (200 계수)의 곱으로 나타낼 수 있습니다. 실제로 조금 더 잘 할 수 있습니다 [* 3]).

일부 응용 프로그램의 경우 유용한 정보가 높은 특이 값 (SVD) 또는로드 (PCA)를 가진 주요 구성 요소에 의해 캡처된다는 것을 알고 있습니다. 이 경우 유용한 신호가 아닌 성가신 잡음을 포함한다는 이론에서 0이 아닌 경우에도 작은 로딩을 갖는 단일 벡터 /베이스 / 주성분을 버릴 수 있습니다. 때때로 사람들은 부하에 관계없이 모양에 따라 특정 구성 요소를 거부하는 것을 보았습니다 (예 : 알려진 추가 노이즈 소스와 유사). 당신이 이것을 정보의 상실이라고 생각하는지 확실하지 않습니다.

PCA의 정보 이론적 최적성에 대한 깔끔한 결과가 있습니다. 신호가 가우시안이고 가우시안 가산 노이즈로 손상된 경우 PCA는 신호와 차원 축소 버전 사이의 상호 정보를 최대화 할 수 있습니다 (잡음이 동일 유사 공분산 구조를 갖는다 고 가정).

각주 :

1. 이것은 치즈가 아닌 완전히 비 물리적 인 모델입니다. 죄송합니다!
2. 부동 소수점 부정확성으로 인해 이러한 값 중 일부는 0이 아닙니다.
3. 추가 검사 에서이 특별한 경우 두 개의 특이 벡터는 중심에 대해 동일하고 대칭이므로 실제로 50 개의 계수로 전체 행렬을 나타낼 수 있습니다. 첫 번째 단계는 SVD 프로세스에서 자동으로 빠집니다. 두 번째는 약간의 검사와 믿음의 도약이 필요합니다. (PCA 점수와 관련하여이 점을 생각하려면 점수 행렬은 원래 SVD 분해에서 에 불과 하며 0에 대한 비슷한 주장은 전혀 기여하지 않습니다).유에스
   $US$

   $US$

답변

library(GGally)


n <- 10^3
dat <- data.frame(x1=runif(n, 0, 3), x2=rnorm(n))
dat$x3 <- with(dat, x1 + x2)

ggpairs(dat)

pc <- princomp(dat)
plot(pc)

par(mfrow=c(1,2))
with(dat, plot(dat$x1, dat$x2, col="red", main="Original data", bty="l"))
with(pc, plot(scores[,1], scores[,2], col="blue", main="Scores from principal components(\n(rotated)", bty="l"))