다중 선형 회귀 분석을 위해 최소 제곱 추정기를 도출하는 방법은 무엇입니까? 에서 최소 제곱 추정량 같은 당신이 알

간단한 선형 회귀 분석법 에서 최소 제곱 추정량 같은 당신이 알 필요가 없다는 추정하는β 1 = Σ ( X Iˉ X ) ( Y Iˉ Y )

y=β0+β1x

β 0 β 1

β^1=(xix¯)(yiy¯)(xix¯)2

β^0

β^1

내가 가진 가정 내가 파생 어떻게, 추정하지 않고 ? 아니면 불가능합니까?β 1 β 2

y=β1x1+β2x2

β^1

β^2



답변

행렬 표기법의 유도

에서 시작 정말와 동일

y=Xb+ϵ

[y1y2yN]=[x11x12x1Kx21x22x2KxN1xN2xNK][b1b2bK]+[ϵ1ϵ2ϵN]

그것은 모두 minimzing 로 귀착 .

ee

ϵϵ=[e1e2eN][e1e2eN]=i=1Nei2

따라서 를 최소화 하면 다음과 같이됩니다.

ee

e e = ( y X b ) ( y X b )

minb

ee=(yXb)(yXb)

E E = Y (Y) (2) B X , Y + B X X B

minb

ee=yy2bXy+bXXb

(ee)b=2Xy+2XXb=!0

XXb=Xy

b=(XX)1Xy

마지막 수학적 하나 인 최소의 2 차 조건은 행렬 가 양의 한정 이어야합니다 . 가 전체 순위를 가진 경우이 요구 사항이 충족됩니다 .X

XX

X

더 큰 단계의 모든 단계를 거치는보다 정확한 파생은 http://economictheoryblog.com/2015/02/19/ols_estimator/ 에서 찾을 수 있습니다 .


답변

다른 회귀를 추정하지 않고 다중 회귀 분석에서 하나의 계수 만 추정 할 수 있습니다.

의 추정치는 다른 변수에서 의 영향을 제거한 다음 의 잔차에 대해 의 잔차를 회귀하여 . 이것은 하나의 변수를 어떻게 정확하게 제어합니까? 방법 (A) 회귀 계수를 정상화? . 이 접근법의 장점은 미적분학, 선형 대수학, 2 차원 기하학을 사용하여 시각화 할 수 있고 수치 적으로 안정적이며 다중 회귀에 대한 하나의 기본 아이디어를 취한다는 것입니다. ) 단일 변수의 효과.x 2 y x 1

β1

x2

y

x1


이 경우 다중 회귀는 세 가지 일반적인 회귀 단계를 사용하여 수행 할 수 있습니다.

  1. 를 회귀합니다 (상수항 없이). 적합 값을 합니다. 추정치는 따라서 잔차는 기하학적으로, 는 투영을 뺀 후에 남은 것입니다 .x 2 y = α y , 2 x 2 + δ α y , 2 = i y i x 2 i

    y

    x2

    y=αy,2x2+δ

    δ=yαy,2x2입니다. δyx2

    αy,2=iyix2iix2i2.

    δ=yαy,2x2.

    δ

    y

    x2

  2. 을 회귀 합니다 (상수 항 없음). BE 착용감하자 . 추정치는잔차는기하학적으로, 는 투영을 뺀 후 남은 것입니다 .x 2 x 1 = α 1 , 2 x 2 + γ α 1 , 2 = i x 1 i x 2 i

    x1

    x2

    x1=α1,2x2+γ

    γ=x1α1,2x2입니다. γx1x2

    α1,2=ix1ix2iix2i2.

    γ=x1α1,2x2.

    γ

    x1

    x2

  3. 에서 를 회귀 합니다 (상수 용어 없음). 추정치는적합은 입니다. 기하학적 의 요소이다 (대표 함께 꺼내어) (나타내는 방향 가진 취출은).γ β 1 = Σ I δ I γ I

    δ

    γ

    β^1=iδiγiiγi2.

    β 1 δ Y X 2 γ X 1 , X 2

    δ=β^1γ+ε

    β^1

    δ

    y

    x2

    γ

    x1

    x2

것을 알 수 추정되지 않았습니다.

β2

그것은 쉽게 지금까지 (단지로 획득 된 내용에서 복구 할 수 있습니다 일반 회귀 경우 쉽게 기울기 추정치에서 얻을 수있다 ). 의 변량 회귀의 잔차이다 에 및 .

β^0

β^1

ε

y

x1

x2

일반적인 회귀와의 병행은 강력합니다. 단계 (1)과 (2)는 일반적인 공식에서 평균을 빼는 것과 유사합니다. 당신이 할 경우 사람의 벡터 수, 당신은 실제로 일반적인 공식을 복구합니다.

x2

이것은 두 가지 이상의 변수로 회귀하는 명백한 방식으로 일반화됩니다. 을 추정 하고 , 와 다른 모든 변수 와 별도로 회귀시킨 다음 잔차를 서로 회귀시킵니다. 그 시점에서, 유료 의 회귀의 다른 계수의 아직 추정되었다.

β^1

y

x1

y


답변

의 일반적인 최소 제곱 추정값은 반응 변수의 선형 함수입니다

β

. 간단히 말해, 계수의 OLS 추정값 인 는 종속 변수 ( ‘s)와 독립 변수 ( ‘s) 만 사용하여 작성할 수 있습니다 .

β

Yi

Xki

일반적인 회귀 모형에 대해이 사실을 설명하려면 약간의 선형 대수를 이해해야합니다. 다중 회귀 모형에서 계수 를 추정한다고 가정합니다 .

(β0,β1,...,βk)

Yi=β0+β1X1i+...+βkXki+ϵi

여기서 입니다 . 설계 행렬 는 행렬이며, 여기서 각 열에 는 종속 변수 의 관측치가 포함 됩니다. 추정 된 계수 를 계산하는 데 사용되는 공식에 대한 많은 설명과 도출을 여기 에서 찾을 수 있습니다. 이며내가 = 1 , . . . , n X n × k n k t h X k

ϵiiidN(0,σ2)

i=1,...,n

X

n×k

n

kth

Xk

β^=(β^0,β^1,...,β^k)

β^=(XX)1XY

역 이 있다고 가정 합니다. 추정 계수는 다른 추정 계수가 아닌 데이터의 함수입니다.

(XX)1


답변

이론과 실습에 관한 작은 사소한 참고 사항. 수학적으로 은 다음 공식으로 수 있습니다.

β0,β1,β2...βn

β^=(XX)1XY

여기서 는 원래 입력 데이터이고 는 추정하려는 변수입니다. 이는 오류를 최소화하는 것입니다. 나는 작은 실용적인 점을 만들기 전에 이것을 증명할 것이다.

X

Y

선형 회귀가 점에서 만드는 오류라고 하자 . 그때:

ei

i

ei=yiyi^

우리가 만드는 총 제곱 오류는 다음과 같습니다.

i=1nei2=i=1n(yiyi^)2

우리는 선형 모델을 가지고 있기 때문에

yi^=β0+β1x1,i+β2x2,i+...+βnxn,i

다음과 같이 행렬 표기법으로 다시 작성할 수 있습니다.

Y^=Xβ

우리는 알고

i=1nei2=EE

총 제곱 오차를 최소화하여 다음식이 가능한 작아야합니다.

EE=(YY^)(YY^)

이것은 다음과 같습니다.

EE=(YXβ)(YXβ)

재 작성은 혼란스러워 보일 수 있지만 선형 대수에서 나옵니다. 행렬은 몇 가지 측면에서 변수를 곱할 때 변수와 유사하게 작동합니다.

이 표현이 가능한 한 작게되도록 값을 찾고 싶습니다 . 미분을 미분하고 0으로 설정해야합니다. 여기서는 체인 규칙을 사용합니다.

β

dEEdβ=2XY+2XXβ=0

이것은 다음을 제공합니다.

XXβ=XY

마지막으로

β=(XX)1XY

수학적으로 우리는 해결책을 찾은 것 같습니다. 그래도 한 가지 문제가 있으며 , 행렬 가 매우 큰 경우 을 계산하기가 매우 어렵다는 것 입니다. 이로 인해 수치 정확도 문제가 발생할 수 있습니다. 이 상황에서 에 대한 최적의 값을 찾는 또 다른 방법 은 그래디언트 디센트 유형의 방법을 사용하는 것입니다. 우리가 최적화하고자하는 함수는 제한이없고 볼록하므로 실제로 필요한 경우 그래디언트 방법도 사용합니다.

(XX)1

X

β


답변

LR의 기하학적 해석을 사용하여 간단한 파생을 수행 할 수 있습니다.

선형 회귀는 열 공간 에 대한 의 투영으로 해석 될 수 있습니다 . 따라서 오류 는 의 열 공간과 직교합니다 .

Y

X

ϵ^

X

따라서 와 오차 사이의 내부 곱은 0이어야합니다. 즉,

X

<X,yXβ^>=0

XyXXβ^=0

Xy=XXβ^

그 말은

(XX)1Xy=β^

입니다.

이제 다음과 같이 할 수 있습니다.

(1) 투영 (오류 ), ,

Y

X2

δ=YX2D^

D^=(X2X2)1X2y

(2) 을 투영 (오류 ), ,

X1

X2

γ=X1X2G^

G^=(X1X1)1X1X2

그리고 마지막으로,

(3) 를 , 투영

δ

γ

β^1

여기에 이미지 설명을 입력하십시오


답변