6 가지 변수 A
그냥 궁금 해서요-이 “뒤로”하는 방법이 있습니까? 이러한 변수의 선형 조합 (예 : A + 2 B + 5 C
답변
모든 변수가 중심에 있다는 가정 (PCA의 표준 사례)으로 시작하면 데이터의 총 분산은 제곱의 합입니다.
T = ∑ i ( A 2 i + B 2 i + C 2 i + D 2 i + E 2 i + F 2 i )
이것은 변수의 공분산 행렬의 트레이스와 동일하며, 이는 공분산 행렬의 고유 값의 합과 같습니다. 이것은 “데이터 설명”과 관련하여 PCA가 말하는 것과 같은 양입니다. 즉 PC가 공분산 행렬의 대각선 요소의 가장 큰 비율을 설명하기를 원합니다. 이제 이것을 예측 값 집합에 대한 목적 함수로 만들면 다음과 같습니다.
S = Σ I ( [ I – I ] 2 + ⋯ + [ F I – F I ] 2 )
이어서 제 주성분이 최소화 S
P = 1 − ST
예제A+2B+5C를 사용하려면
Z i = 1√30 의I+(2)√30 B는전+5√30 C의전
그런 다음 점수에 가중치 벡터를 곱하여 순위 1 예측을 얻습니다.
( A는 나는 B 나 C 나 D 나 E I F I ) = Z I × ( 1√30 2√30 5√30 000)
그런 다음 이러한 추정치를 S
| | 오 | | 2 2 − | | O − E | | 2 2| | 오 | | 2 2
어디 | | . | | 2 는 Frobenius 행렬 표준 입니다. 따라서 이것을 다른 종류의 행렬 규범으로 “일반화”할 수 있으며, 제곱의 합이 아니라면 “변형”자체는 아니지만 “변형 설명”의 차이 측정 값을 얻게됩니다.
답변
이러한 변수의 선형 조합 (예 : A + 2 B + 5 C )을 선택한다고 가정 해 봅시다 .
A+2B+5C
이 질문은 두 가지 다른 방식으로 이해되어 두 가지 다른 답변으로 이어질 수 있습니다.
A linear combination corresponds to a vector, which in your example is [1,2,5,0,0,0]
Approach #1
하자 X는 센터링 된 데이터 세트 일 수 ( N 행은 샘플에 대응하는 D 열 변수에 대응)하도록 Σ는 그 공분산 행렬 및하자 승 로부터 단위 벡터 수 R에 D . 데이터 세트의 총 분산은 모든 d 분산 의 합 , 즉 공분산 행렬의 트레이스입니다. T = t r ( Σ ) . 질문 : 어떤 비율 T는 않습니다 w를 설명? @todddeluca와 @probabilityislogic의 두 가지 대답은 모두 다음과 같습니다. 계산 프로젝션 X w
This might not be immediately obvious, because e.g. @probabilityislogic suggests to consider the reconstruction Xww⊤
but with a little algebra this can be shown to be an equivalent expression.
Approach #2
Okay. Now consider a following example: X
and w=(10)⊤
The total variance is T=2
On the other hand, the two variables have 0.99
where v
It is a matter of straightforward algebra to use regression solution for v
In the example above this is equal to 0.9901
Note that if (and only if) w
PS. See my answer here for an application of the derived formula to the special case of w
Appendix. Derivation of the formula for R2secondR2second
Finding v
Next, the R2
due to the Pythagoras theorem, because the hat matrix in regression is an orthogonal projection (but it is also easy to show directly).
Plugging now the equation for v
The denominator is equal to ‖X‖2=tr(Σ)
답변
Let the total variance, T
T=∑i(xi−ˉx)⋅(xi−ˉx)
where ˉx
Now let the predictor of xi
fc(xi)=(c⋅xi)c
Then the SSE
I think that if you choose c
If instead you choose c to be the normalized version of the vector (1,2,5,...), then T−SSEc is the variance in the data described by using c as a predictor.