다중 선형 회귀 분석을 위해 최소 제곱 추정기를 도출하는 방법은 무엇입니까? 에서 최소 제곱 추정량 같은 당신이 알

간단한 선형 회귀 분석법 에서 최소 제곱 추정량 같은 당신이 알 필요가 없다는 추정하는 $y = β_{0} + β_{1} x$

y = β_{0} + β_{1} x

$y=\beta_0+\beta_1x$ ${\hat{β}}_{1} = \frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum (x_{i} - \bar{x})^{2}}$

{\hat{β}}_{1} = \frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum (x_{i} - \bar{x})^{2}}

$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ ${\hat{β}}_{0}$

{\hat{β}}_{0}

$\hat\beta_0$ ${\hat{β}}_{1}$

{\hat{β}}_{1}

$\hat\beta_1$

내가 가진 가정 내가 파생 어떻게, 추정하지 않고 ? 아니면 불가능합니까? $y = β_{1} x_{1} + β_{2} x_{2}$

y = β_{1} x_{1} + β_{2} x_{2}

$y=\beta_1x_1+\beta_2x_2$ ${\hat{β}}_{1}$

{\hat{β}}_{1}

$\hat\beta_1$ ${\hat{β}}_{2}$

{\hat{β}}_{2}

$\hat\beta_2$

답변

행렬 표기법의 유도

에서 시작 정말와 동일 $y = X b + ϵ$

y = X b + ϵ

$y= Xb +\epsilon$

$[\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{N} \end{matrix}] = [\begin{matrix} x_{11} & x_{12} & \dots & x_{1 K} \\ x_{21} & x_{22} & \dots & x_{2 K} \\ ⋮ & ⋱ & ⋱ & ⋮ \\ x_{N 1} & x_{N 2} & \dots & x_{N K} \end{matrix}] * [\begin{matrix} b_{1} \\ b_{2} \\ ⋮ \\ b_{K} \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ⋮ \\ ϵ_{N} \end{matrix}]$

[\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{N} \end{matrix}] = [\begin{matrix} x_{11} & x_{12} & \dots & x_{1 K} \\ x_{21} & x_{22} & \dots & x_{2 K} \\ ⋮ & ⋱ & ⋱ & ⋮ \\ x_{N 1} & x_{N 2} & \dots & x_{N K} \end{matrix}] * [\begin{matrix} b_{1} \\ b_{2} \\ ⋮ \\ b_{K} \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ⋮ \\ ϵ_{N} \end{matrix}]

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

그것은 모두 minimzing 로 귀착 . $e^{'} e$

e^{'} e

$e'e$

$ϵ^{'} ϵ = [\begin{matrix} e_{1} & e_{2} & \dots & e_{N} \end{matrix}] [\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{N} \end{matrix}] = \sum_{i = 1}^{N} e_{i}^{2}$

ϵ^{'} ϵ = [\begin{matrix} e_{1} & e_{2} & \dots & e_{N} \end{matrix}] [\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{N} \end{matrix}] = \sum_{i = 1}^{N} e_{i}^{2}

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

따라서 를 최소화 하면 다음과 같이됩니다. $e^{'} e^{'}$

e^{'} e^{'}

$e'e'$

$m i n_{b}$

m i n_{b}

$min_{b}$ $e^{'} e = (y - X b)^{'} (y - X b)$

e^{'} e = (y - X b)^{'} (y - X b)

$e'e = (y-Xb)'(y-Xb)$

$m i n_{b}$

m i n_{b}

$min_{b}$ $e^{'} e = y^{'} y - 2 b^{'} X^{'} y + b^{'} X^{'} X b$

e^{'} e = y^{'} y - 2 b^{'} X^{'} y + b^{'} X^{'} X b

$e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial (e^{'} e)}{\partial b} = - 2 X^{'} y + 2 X^{'} X b \overset{!}{=} 0$

\frac{\partial (e^{'} e)}{\partial b} = - 2 X^{'} y + 2 X^{'} X b \overset{!}{=} 0

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X^{'} X b = X^{'} y$

X^{'} X b = X^{'} y

$X'Xb=X'y$

$b = (X^{'} X)^{- 1} X^{'} y$

b = (X^{'} X)^{- 1} X^{'} y

$b=(X'X)^{-1}X'y$

마지막 수학적 하나 인 최소의 2 차 조건은 행렬 가 양의 한정 이어야합니다 . 가 전체 순위를 가진 경우이 요구 사항이 충족됩니다 . $X^{'} X$

X^{'} X

$X'X$ $X$

X

$X$

더 큰 단계의 모든 단계를 거치는보다 정확한 파생은 http://economictheoryblog.com/2015/02/19/ols_estimator/ 에서 찾을 수 있습니다 .

답변

다른 회귀를 추정하지 않고 다중 회귀 분석에서 하나의 계수 만 추정 할 수 있습니다.

의 추정치는 다른 변수에서 의 영향을 제거한 다음 의 잔차에 대해 의 잔차를 회귀하여 . 이것은 하나의 변수를 어떻게 정확하게 제어합니까? 및 방법 (A) 회귀 계수를 정상화? . 이 접근법의 장점은 미적분학, 선형 대수학, 2 차원 기하학을 사용하여 시각화 할 수 있고 수치 적으로 안정적이며 다중 회귀에 대한 하나의 기본 아이디어를 취한다는 것입니다. ) 단일 변수의 효과. $β_{1}$

β_{1}

$\beta_1$ $x_{2}$

x_{2}

$x_2$ $y$

y

$y$ $x_{1}$

x_{1}

$x_1$

이 경우 다중 회귀는 세 가지 일반적인 회귀 단계를 사용하여 수행 할 수 있습니다.

를 회귀합니다 (상수항 없이). 적합 값을 합니다. 추정치는 따라서 잔차는 기하학적으로, 는 투영을 뺀 후에 남은 것입니다 . $y$
$y$
$y$ $x_{2}$
$x_{2}$
$x_2$ $y = α_{y, 2} x_{2} + δ$
$y = α_{y, 2} x_{2} + δ$
$y = \alpha_{y,2}x_2 + \delta$
$α_{y, 2} = \frac{\sum_{i} y_{i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$
$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$
$δ = y - α_{y, 2} x_{2} .$
$\delta = y - \alpha_{y,2}x_2.$ $δ$
$δ$
$\delta$ $y$
$y$
$y$ $x_{2}$
$x_{2}$
$x_2$
을 회귀 합니다 (상수 항 없음). BE 착용감하자 . 추정치는잔차는기하학적으로, 는 투영을 뺀 후 남은 것입니다 . $x_{1}$
$x_{1}$
$x_1$ $x_{2}$
$x_{2}$
$x_2$ $x_{1} = α_{1, 2} x_{2} + γ$
$x_{1} = α_{1, 2} x_{2} + γ$
$x_1 = \alpha_{1,2}x_2 + \gamma$
$α_{1, 2} = \frac{\sum_{i} x_{1 i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$
$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$
$γ = x_{1} - α_{1, 2} x_{2} .$
$\gamma = x_1 - \alpha_{1,2}x_2.$ $γ$
$γ$
$\gamma$ $x_{1}$
$x_{1}$
$x_1$ $x_{2}$
$x_{2}$
$x_2$
에서 를 회귀 합니다 (상수 용어 없음). 추정치는적합은 입니다. 기하학적 의 요소이다 (대표 함께 꺼내어) (나타내는 방향 가진 취출은). $δ$
$δ$
$\delta$ $γ$
$γ$
$\gamma$
${\hat{β}}_{1} = \frac{\sum_{i} δ_{i} γ_{i}}{\sum_{i} γ_{i}^{2}} .$
$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$ $δ = {\hat{β}}_{1} γ + ε$
$δ = {\hat{β}}_{1} γ + ε$
$\delta = \hat\beta_1 \gamma + \varepsilon$ ${\hat{β}}_{1}$
${\hat{β}}_{1}$
$\hat\beta_1$ $δ$
$δ$
$\delta$ $y$
$y$
$y$ $x_{2}$
$x_{2}$
$x_2$ $γ$
$γ$
$\gamma$ $x_{1}$
$x_{1}$
$x_1$ $x_{2}$
$x_{2}$
$x_2$

것을 알 수 추정되지 않았습니다. $β_{2}$

$β_{2}$

$\beta_2$ 그것은 쉽게 지금까지 (단지로 획득 된 내용에서 복구 할 수 있습니다 일반 회귀 경우 쉽게 기울기 추정치에서 얻을 수있다 ). 의 변량 회귀의 잔차이다 에 및 . ${\hat{β}}_{0}$

{\hat{β}}_{0}

$\hat\beta_0$ ${\hat{β}}_{1}$

{\hat{β}}_{1}

$\hat\beta_1$ $ε$

ε

$\varepsilon$ $y$

y

$y$ $x_{1}$

x_{1}

$x_1$ $x_{2}$

x_{2}

$x_2$

일반적인 회귀와의 병행은 강력합니다. 단계 (1)과 (2)는 일반적인 공식에서 평균을 빼는 것과 유사합니다. 당신이 할 경우 사람의 벡터 수, 당신은 실제로 일반적인 공식을 복구합니다. $x_{2}$

x_{2}

$x_2$

이것은 두 가지 이상의 변수로 회귀하는 명백한 방식으로 일반화됩니다. 을 추정 하고 , 와 다른 모든 변수 와 별도로 회귀시킨 다음 잔차를 서로 회귀시킵니다. 그 시점에서, 유료 의 회귀의 다른 계수의 아직 추정되었다. ${\hat{β}}_{1}$

{\hat{β}}_{1}

$\hat\beta_1$ $y$

y

$y$ $x_{1}$

x_{1}

$x_1$ $y$

y

$y$

답변

의 일반적인 최소 제곱 추정값은 반응 변수의 선형 함수입니다 $β$

$β$

$\beta$ . 간단히 말해, 계수의 OLS 추정값 인 는 종속 변수 ( ‘s)와 독립 변수 ( ‘s) 만 사용하여 작성할 수 있습니다 . $β$

β

$\beta$ $Y_{i}$

Y_{i}

$Y_i$ $X_{k i}$

X_{k i}

$X_{ki}$

일반적인 회귀 모형에 대해이 사실을 설명하려면 약간의 선형 대수를 이해해야합니다. 다중 회귀 모형에서 계수 를 추정한다고 가정합니다 . $(β_{0}, β_{1}, . . ., β_{k})$

(β_{0}, β_{1}, . . ., β_{k})

$(\beta_0, \beta_1, ...,\beta_k)$

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$

여기서 입니다 . 설계 행렬 는 행렬이며, 여기서 각 열에 는 종속 변수 의 관측치가 포함 됩니다. 추정 된 계수 를 계산하는 데 사용되는 공식에 대한 많은 설명과 도출을 여기 에서 찾을 수 있습니다. 이며 $ϵ_{i} \overset{i i d}{\sim} N (0, σ^{2})$

ϵ_{i} \overset{i i d}{\sim} N (0, σ^{2})

$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ $i = 1, . . ., n$

i = 1, . . ., n

$i=1,...,n$ $X$

X

$\mathbf{X}$ $n \times k$

n \times k

$n\times k$ $n$

n

$n$ $k^{t h}$

k^{t h}

$k^{th}$ $X_{k}$

X_{k}

$X_k$ $\hat{β} = ({\hat{β}}_{0}, {\hat{β}}_{1}, . . ., {\hat{β}}_{k})$

\hat{β} = ({\hat{β}}_{0}, {\hat{β}}_{1}, . . ., {\hat{β}}_{k})

$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$

역 이 있다고 가정 합니다. 추정 계수는 다른 추정 계수가 아닌 데이터의 함수입니다. $(X^{'} X)^{- 1}$

(X^{'} X)^{- 1}

$(\mathbf{X}^\prime \mathbf{X})^{-1}$

답변

이론과 실습에 관한 작은 사소한 참고 사항. 수학적으로 은 다음 공식으로 수 있습니다. $β_{0}, β_{1}, β_{2} . . . β_{n}$

β_{0}, β_{1}, β_{2} . . . β_{n}

$\beta_0, \beta_1, \beta_2 ... \beta_n$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\beta} = (X'X)^{-1} X'Y$

여기서 는 원래 입력 데이터이고 는 추정하려는 변수입니다. 이는 오류를 최소화하는 것입니다. 나는 작은 실용적인 점을 만들기 전에 이것을 증명할 것이다. $X$

X

$X$ $Y$

Y

$Y$

선형 회귀가 점에서 만드는 오류라고 하자 . 그때: $e_{i}$

e_{i}

$e_i$ $i$

i

$i$

e_{i} = y_{i} - \hat{y_{i}}

$e_i = y_i - \hat{y_i}$

우리가 만드는 총 제곱 오류는 다음과 같습니다.

\sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - \hat{y_{i}})^{2}

$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$

우리는 선형 모델을 가지고 있기 때문에

\hat{y_{i}} = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + . . . + β_{n} x_{n, i}

$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$

다음과 같이 행렬 표기법으로 다시 작성할 수 있습니다.

\hat{Y} = X β

$\hat{Y} = X\beta$

우리는 알고

\sum_{i = 1}^{n} e_{i}^{2} = E^{'} E

$\sum_{i=1}^n e_i^2 = E'E$

총 제곱 오차를 최소화하여 다음식이 가능한 작아야합니다.

E^{'} E = (Y - \hat{Y})^{'} (Y - \hat{Y})

$E'E = (Y-\hat{Y})' (Y-\hat{Y})$

이것은 다음과 같습니다.

E^{'} E = (Y - X β)^{'} (Y - X β)

$E'E = (Y-X\beta)' (Y-X\beta)$

재 작성은 혼란스러워 보일 수 있지만 선형 대수에서 나옵니다. 행렬은 몇 가지 측면에서 변수를 곱할 때 변수와 유사하게 작동합니다.

이 표현이 가능한 한 작게되도록 값을 찾고 싶습니다 . 미분을 미분하고 0으로 설정해야합니다. 여기서는 체인 규칙을 사용합니다. $β$

β

$\beta$

\frac{d E^{'} E}{d β} = - 2 X^{'} Y + 2 X^{'} X β = 0

$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$

이것은 다음을 제공합니다.

X^{'} X β = X^{'} Y

$X'X\beta = X'Y$

마지막으로

β = (X^{'} X)^{- 1} X^{'} Y

$\beta = (X'X)^{-1} X'Y$

수학적으로 우리는 해결책을 찾은 것 같습니다. 그래도 한 가지 문제가 있으며 , 행렬 가 매우 큰 경우 을 계산하기가 매우 어렵다는 것 입니다. 이로 인해 수치 정확도 문제가 발생할 수 있습니다. 이 상황에서 에 대한 최적의 값을 찾는 또 다른 방법 은 그래디언트 디센트 유형의 방법을 사용하는 것입니다. 우리가 최적화하고자하는 함수는 제한이없고 볼록하므로 실제로 필요한 경우 그래디언트 방법도 사용합니다. $(X^{'} X)^{- 1}$

(X^{'} X)^{- 1}

$(X'X)^{-1}$ $X$

X

$X$ $β$

β

$\beta$

답변

LR의 기하학적 해석을 사용하여 간단한 파생을 수행 할 수 있습니다.

선형 회귀는 열 공간 에 대한 의 투영으로 해석 될 수 있습니다 . 따라서 오류 는 의 열 공간과 직교합니다 . $Y$

Y

$Y$ $X$

X

$X$ $\hat{ϵ}$

\hat{ϵ}

$\hat{\epsilon}$ $X$

X

$X$

따라서 와 오차 사이의 내부 곱은 0이어야합니다. 즉, $X^{'}$

X^{'}

$X'$

$< X^{'}, y - X \hat{β} >= 0$

< X^{'}, y - X \hat{β} >= 0

$<X', y-X\hat{\beta}> = 0$

$X^{'} y - X^{'} X \hat{β} = 0$

X^{'} y - X^{'} X \hat{β} = 0

$X'y - X'X\hat{\beta} = 0$

$X^{'} y = X^{'} X \hat{β}$

X^{'} y = X^{'} X \hat{β}

$X'y = X'X\hat{\beta}$

그 말은

$(X^{'} X)^{- 1} X^{'} y = \hat{β}$

(X^{'} X)^{- 1} X^{'} y = \hat{β}

$(X'X)^{-1}X'y = \hat{\beta}$ 입니다.

이제 다음과 같이 할 수 있습니다.

(1) 투영 (오류 ), , $Y$

Y

$Y$ $X_{2}$

X_{2}

$X_2$ $δ = Y - X_{2} \hat{D}$

δ = Y - X_{2} \hat{D}

$\delta = Y-X_2 \hat{D}$ $\hat{D} = (X_{2}^{'} X_{2})^{- 1} X_{2}^{'} y$

\hat{D} = (X_{2}^{'} X_{2})^{- 1} X_{2}^{'} y

$\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) 을 투영 (오류 ), , $X_{1}$

X_{1}

$X_1$ $X_{2}$

X_{2}

$X_2$ $γ = X_{1} - X_{2} \hat{G}$

γ = X_{1} - X_{2} \hat{G}

$\gamma = X_1 - X_2 \hat{G}$ $\hat{G} = (X_{1}^{'} X_{1})^{- 1} X_{1} X_{2}$

\hat{G} = (X_{1}^{'} X_{1})^{- 1} X_{1} X_{2}

$\hat{G} = (X_1'X_1)^{-1}X_1X_2$

그리고 마지막으로,

(3) 를 , 투영 $δ$

δ

$\delta$ $γ$

γ

$\gamma$ ${\hat{β}}_{1}$

{\hat{β}}_{1}

$\hat{\beta}_1$

How IT

언제든지 물어보세요.

다중 선형 회귀 분석을 위해 최소 제곱 추정기를 도출하는 방법은 무엇입니까? 에서 최소 제곱 추정량 같은 당신이 알

답변

답변

답변

답변

답변

답변