multiple-regression Archives - Page 5 of 11

간단한 선형 회귀 분석법 에서 최소 제곱 추정량 같은 당신이 알 필요가 없다는 추정하는 $y = β_{0} + β_{1} x$

y=β0+β1x

${\hat{β}}_{1} = \frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum (x_{i} - \bar{x})^{2}}$

β^1=∑(xi−x¯)(yi−y¯)∑(xi−x¯)2

${\hat{β}}_{0}$

β^0

${\hat{β}}_{1}$

β^1

내가 가진 가정 내가 파생 어떻게, 추정하지 않고 ? 아니면 불가능합니까? $y = β_{1} x_{1} + β_{2} x_{2}$

y=β1x1+β2x2

${\hat{β}}_{1}$

β^1

${\hat{β}}_{2}$

β^2

답변

행렬 표기법의 유도

에서 시작 정말와 동일 $y = X b + ϵ$

y=Xb+ϵ

$[\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{N} \end{matrix}] = [\begin{matrix} x_{11} & x_{12} & \dots & x_{1 K} \\ x_{21} & x_{22} & \dots & x_{2 K} \\ ⋮ & ⋱ & ⋱ & ⋮ \\ x_{N 1} & x_{N 2} & \dots & x_{N K} \end{matrix}] * [\begin{matrix} b_{1} \\ b_{2} \\ ⋮ \\ b_{K} \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ⋮ \\ ϵ_{N} \end{matrix}]$

[y1y2⋮yN]=[x11x12⋯x1Kx21x22⋯x2K⋮⋱⋱⋮xN1xN2⋯xNK]∗[b1b2⋮bK]+[ϵ1ϵ2⋮ϵN]

그것은 모두 minimzing 로 귀착 . $e^{'} e$

e′e

$ϵ^{'} ϵ = [\begin{matrix} e_{1} & e_{2} & \dots & e_{N} \end{matrix}] [\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{N} \end{matrix}] = \sum_{i = 1}^{N} e_{i}^{2}$

ϵ′ϵ=[e1e2⋯eN][e1e2⋮eN]=∑i=1Nei2

따라서 를 최소화 하면 다음과 같이됩니다. $e^{'} e^{'}$

e′e′

$m i n_{b}$

minb

$e^{'} e = (y - X b)^{'} (y - X b)$

e′e=(y−Xb)′(y−Xb)

$m i n_{b}$

minb

$e^{'} e = y^{'} y - 2 b^{'} X^{'} y + b^{'} X^{'} X b$

e′e=y′y−2b′X′y+b′X′Xb

$\frac{\partial (e^{'} e)}{\partial b} = - 2 X^{'} y + 2 X^{'} X b \overset{!}{=} 0$

∂(e′e)∂b=−2X′y+2X′Xb=!0

$X^{'} X b = X^{'} y$

X′Xb=X′y

$b = (X^{'} X)^{- 1} X^{'} y$

b=(X′X)−1X′y

마지막 수학적 하나 인 최소의 2 차 조건은 행렬 가 양의 한정 이어야합니다 . 가 전체 순위를 가진 경우이 요구 사항이 충족됩니다 . $X^{'} X$

X′X

$X$

더 큰 단계의 모든 단계를 거치는보다 정확한 파생은 http://economictheoryblog.com/2015/02/19/ols_estimator/ 에서 찾을 수 있습니다 .

답변

다른 회귀를 추정하지 않고 다중 회귀 분석에서 하나의 계수 만 추정 할 수 있습니다.

의 추정치는 다른 변수에서 의 영향을 제거한 다음 의 잔차에 대해 의 잔차를 회귀하여 . 이것은 하나의 변수를 어떻게 정확하게 제어합니까? 및 방법 (A) 회귀 계수를 정상화? . 이 접근법의 장점은 미적분학, 선형 대수학, 2 차원 기하학을 사용하여 시각화 할 수 있고 수치 적으로 안정적이며 다중 회귀에 대한 하나의 기본 아이디어를 취한다는 것입니다. ) 단일 변수의 효과. $β_{1}$

β1

$x_{2}$

$y$

$x_{1}$

이 경우 다중 회귀는 세 가지 일반적인 회귀 단계를 사용하여 수행 할 수 있습니다.

를 회귀합니다 (상수항 없이). 적합 값을 합니다. 추정치는 따라서 잔차는 기하학적으로, 는 투영을 뺀 후에 남은 것입니다 . $y$
y
$x_{2}$
x2
$y = α_{y, 2} x_{2} + δ$
y=αy,2x2+δ
$α y, 2 = \sum i y i x 2 i \sum i x 2 2 i .$
$δ = y - α y, 2 x 2 .$
$δ$
δ
$y$
y
$x_{2}$
x2
을 회귀 합니다 (상수 항 없음). BE 착용감하자 . 추정치는잔차는기하학적으로, 는 투영을 뺀 후 남은 것입니다 . $x_{1}$
x1
$x_{2}$
x2
$x_{1} = α_{1, 2} x_{2} + γ$
x1=α1,2x2+γ
$α 1, 2 = \sum i x 1 i x 2 i \sum i x 2 2 i .$
$γ = x 1 - α 1, 2 x 2 .$
$γ$
γ
$x_{1}$
x1
$x_{2}$
x2
에서 를 회귀 합니다 (상수 용어 없음). 추정치는적합은 입니다. 기하학적 의 요소이다 (대표 함께 꺼내어) (나타내는 방향 가진 취출은). $δ$
δ
$γ$
γ
$β^1 = \sum i δ i γ i \sum i γ 2 i .$
$δ = {\hat{β}}_{1} γ + ε$
δ=β^1γ+ε
${\hat{β}}_{1}$
β^1
$δ$
δ
$y$
y
$x_{2}$
x2
$γ$
γ
$x_{1}$
x1
$x_{2}$
x2

것을 알 수 추정되지 않았습니다. $β_{2}$

β2

그것은 쉽게 지금까지 (단지로 획득 된 내용에서 복구 할 수 있습니다 일반 회귀 경우 쉽게 기울기 추정치에서 얻을 수있다 ). 의 변량 회귀의 잔차이다 에 및 . ${\hat{β}}_{0}$

β^0

${\hat{β}}_{1}$

β^1

$ε$

$y$

$x_{1}$

$x_{2}$

일반적인 회귀와의 병행은 강력합니다. 단계 (1)과 (2)는 일반적인 공식에서 평균을 빼는 것과 유사합니다. 당신이 할 경우 사람의 벡터 수, 당신은 실제로 일반적인 공식을 복구합니다. $x_{2}$

이것은 두 가지 이상의 변수로 회귀하는 명백한 방식으로 일반화됩니다. 을 추정 하고 , 와 다른 모든 변수 와 별도로 회귀시킨 다음 잔차를 서로 회귀시킵니다. 그 시점에서, 유료 의 회귀의 다른 계수의 아직 추정되었다. ${\hat{β}}_{1}$

β^1

$y$

$x_{1}$

$y$

답변

의 일반적인 최소 제곱 추정값은 반응 변수의 선형 함수입니다 $β$

. 간단히 말해, 계수의 OLS 추정값 인 는 종속 변수 ( ‘s)와 독립 변수 ( ‘s) 만 사용하여 작성할 수 있습니다 . $β$

$Y_{i}$

$X_{k i}$

Xki

일반적인 회귀 모형에 대해이 사실을 설명하려면 약간의 선형 대수를 이해해야합니다. 다중 회귀 모형에서 계수 를 추정한다고 가정합니다 . $(β_{0}, β_{1}, . . ., β_{k})$

(β0,β1,...,βk)

Y i = β 0 + β 1 X 1 i + . . . + β k X k i + ϵ i

여기서 입니다 . 설계 행렬 는 행렬이며, 여기서 각 열에 는 종속 변수 의 관측치가 포함 됩니다. 추정 된 계수 를 계산하는 데 사용되는 공식에 대한 많은 설명과 도출을 여기 에서 찾을 수 있습니다. 이며 $ϵ_{i} \overset{i i d}{\sim} N (0, σ^{2})$

ϵi∼iidN(0,σ2)

$i = 1, . . ., n$

i=1,...,n

$X$

$n \times k$

n×k

$n$

$k^{t h}$

kth

$X_{k}$

$\hat{β} = ({\hat{β}}_{0}, {\hat{β}}_{1}, . . ., {\hat{β}}_{k})$

β^=(β^0,β^1,...,β^k)

β^= (X' X) - 1 X' Y

역 이 있다고 가정 합니다. 추정 계수는 다른 추정 계수가 아닌 데이터의 함수입니다. $(X^{'} X)^{- 1}$

(X′X)−1

답변

이론과 실습에 관한 작은 사소한 참고 사항. 수학적으로 은 다음 공식으로 수 있습니다. $β_{0}, β_{1}, β_{2} . . . β_{n}$

β0,β1,β2...βn

β^= (X' X) - 1 X' Y

여기서 는 원래 입력 데이터이고 는 추정하려는 변수입니다. 이는 오류를 최소화하는 것입니다. 나는 작은 실용적인 점을 만들기 전에 이것을 증명할 것이다. $X$

$Y$

선형 회귀가 점에서 만드는 오류라고 하자 . 그때: $e_{i}$

$i$

e i = y i - y i^

우리가 만드는 총 제곱 오류는 다음과 같습니다.

\sum i = 1 n e 2 i = \sum i = 1 n (y i - y i^) 2

우리는 선형 모델을 가지고 있기 때문에

y i^= β 0 + β 1 x 1, i + β 2 x 2, i + . . . + β n x n, i

다음과 같이 행렬 표기법으로 다시 작성할 수 있습니다.

Y^= X β

우리는 알고

\sum i = 1 n e 2 i = E' E

총 제곱 오차를 최소화하여 다음식이 가능한 작아야합니다.

E' E = (Y - Y^)' (Y - Y^)

이것은 다음과 같습니다.

E' E = (Y - X β)' (Y - X β)

재 작성은 혼란스러워 보일 수 있지만 선형 대수에서 나옵니다. 행렬은 몇 가지 측면에서 변수를 곱할 때 변수와 유사하게 작동합니다.

이 표현이 가능한 한 작게되도록 값을 찾고 싶습니다 . 미분을 미분하고 0으로 설정해야합니다. 여기서는 체인 규칙을 사용합니다. $β$

d E ' E d β = - 2 X' Y + 2 X' X β = 0

이것은 다음을 제공합니다.

X' X β = X' Y

마지막으로

β = (X' X) - 1 X' Y

수학적으로 우리는 해결책을 찾은 것 같습니다. 그래도 한 가지 문제가 있으며 , 행렬 가 매우 큰 경우 을 계산하기가 매우 어렵다는 것 입니다. 이로 인해 수치 정확도 문제가 발생할 수 있습니다. 이 상황에서 에 대한 최적의 값을 찾는 또 다른 방법 은 그래디언트 디센트 유형의 방법을 사용하는 것입니다. 우리가 최적화하고자하는 함수는 제한이없고 볼록하므로 실제로 필요한 경우 그래디언트 방법도 사용합니다. $(X^{'} X)^{- 1}$

(X′X)−1

$X$

$β$

답변

LR의 기하학적 해석을 사용하여 간단한 파생을 수행 할 수 있습니다.

선형 회귀는 열 공간 에 대한 의 투영으로 해석 될 수 있습니다 . 따라서 오류 는 의 열 공간과 직교합니다 . $Y$

$X$

$\hat{ϵ}$

ϵ^

$X$

따라서 와 오차 사이의 내부 곱은 0이어야합니다. 즉, $X^{'}$

X′

$< X^{'}, y - X \hat{β} >= 0$

<X′,y−Xβ^>=0

$X^{'} y - X^{'} X \hat{β} = 0$

X′y−X′Xβ^=0

$X^{'} y = X^{'} X \hat{β}$

X′y=X′Xβ^

그 말은

$(X^{'} X)^{- 1} X^{'} y = \hat{β}$

(X′X)−1X′y=β^

입니다.

이제 다음과 같이 할 수 있습니다.

(1) 투영 (오류 ), , $Y$

$X_{2}$

$δ = Y - X_{2} \hat{D}$

δ=Y−X2D^

$\hat{D} = (X_{2}^{'} X_{2})^{- 1} X_{2}^{'} y$

D^=(X2′X2)−1X2′y

(2) 을 투영 (오류 ), , $X_{1}$

$X_{2}$

$γ = X_{1} - X_{2} \hat{G}$

γ=X1−X2G^

$\hat{G} = (X_{1}^{'} X_{1})^{- 1} X_{1} X_{2}$

G^=(X1′X1)−1X1X2

그리고 마지막으로,

(3) 를 , 투영 $δ$

$γ$

${\hat{β}}_{1}$

β^1

답변

Exit mobile version

How IT

언제든지 물어보세요.

태그 보관물: multiple-regression

다중 선형 회귀 분석을 위해 최소 제곱 추정기를 도출하는 방법은 무엇입니까? 에서 최소 제곱 추정량 같은 당신이 알

답변

답변

답변

답변

답변

답변