여기에는 몇 가지 일이 있습니다. 이들은 흥미로운 문제이지만이를 모두 설명하려면 상당한 시간 / 공간이 필요합니다.

우선, 우리 가 데이터를 플롯하면 이 모든 것을 이해하기가 훨씬 쉬워집니다 . 다음은 데이터 포인트가 그룹별로 색상이 지정된 산점도입니다. 또한 각 그룹마다 별도의 그룹 별 회귀선과 그룹을 무시하는 간단한 회귀선이 굵은 체로 표시됩니다.

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

고정 효과 모델

엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$와이

$\mathrm{와이}$

$y$티

$티$

$t$

엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$lm()

혼합 모델

엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$

엑스

$\mathrm{엑스}$

$x$

다음은 단순 회귀 모형에 대한 계수입니다 (플롯에서 굵은 선으로 표시).

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x
   0.008333     0.008643  

보시다시피, 여기의 계수는 혼합 모델에서 얻은 것과 동일합니다. 이미 언급했듯이 랜덤 인터셉트에 대한 분산이 0으로 추정되어 앞에서 언급 한 비율 / 클래스 내 상관 관계를 0으로 만듭니다.이 경우 혼합 모형 추정치는 간단한 선형 회귀 추정치이며, 플롯에서 볼 수 있듯이 여기의 기울기는 클러스터 내 기울기보다 훨씬 덜 두드러집니다.

이것은 우리에게 하나의 마지막 개념 문제를 가져옵니다 …

랜덤 절편의 분산이 0으로 추정되는 이유는 무엇입니까?

이 질문에 대한 답은 약간 기술적이고 어려워 질 가능성이 있지만, 가능한 한 단순하고 비 기술적으로 유지하려고 노력할 것입니다 (두 가지 모두를 위해!). 그러나 그것은 여전히 ​​약간 긴 바람 일 것입니다.

클래스 내 상관 관계의 개념을 앞서 언급했습니다. 이것은 의 의존성에 대해 생각하는 또 다른 방법입니다.와이

$\mathrm{와이}$

$y$클러스터링 구조에 의해 유도 된 (또는보다 정확하게는 모델의 오류) 클래스 내 상관 관계는 데이터 집합의 어느 곳에서든 두 개의 오류의 평균 유사성 (즉, 동일한 클러스터에 있거나 없을 수 있음)과 비교하여 동일한 클러스터에서 가져온 두 개의 오류가 평균적으로 얼마나 비슷한 지 알려줍니다. 클래스 내부의 양의 상관 관계는 동일한 군집의 오류가 상대적으로 더 유사한 경향이 있음을 나타냅니다. 클러스터에서 하나의 오류를 발생시키고 값이 높으면 동일한 클러스터에서 다음에 발생하는 오류도 높은 값을 가질 가능성이 높습니다. 다소 덜 일반적이지만 클래스 내 상관도 음수 일 수 있습니다. 동일한 클러스터에서 발생하는 두 가지 오류는 일반적으로 데이터 집합 전체에서 예상되는 것보다 덜 유사합니다 (즉, 값이 더 떨어져 있음).

우리가 고려하고있는 혼합 모델은 데이터의 의존성을 나타내는 클래스 내 상관 방법을 사용하지 않습니다. 대신 분산 성분 에 대한 의존성을 설명합니다 . 클래스 내 상관 관계가 긍정적 인 한이 모든 것이 좋습니다. 이러한 경우, 클래스 내 상관 관계는 분산 성분의 관점에서 쉽게 작성할 수 있습니다. 구체적으로 앞에서 언급 한 랜덤 인터셉트 분산과 총 분산의 비율입니다. ( 클래스 내 상관 관계에 대한 위키 페이지 참조그러나 불행히도 분산 성분 모델은 클래스 내에서 음의 상관 관계가있는 상황을 처리하는 데 어려움을 겪습니다. 결국, 분산 성분 측면에서 클래스 내 상관 관계를 작성하려면이를 분산의 비율로 작성해야하며, 비율은 음수가 될 수 없습니다.

와이

$\mathrm{와이}$

$y$와이

$\mathrm{와이}$

$y$와이

$\mathrm{와이}$

$y$그러나 다른 군집에서 발생하는 오류는 더 중간 정도의 차이가있는 경향이 있습니다. 따라서 혼합 모형은 실제로이 경우 종종 혼합 모형이 수행하는 작업을 수행합니다. 이는 클래스 내 음의 상관 관계와 일치하는 추정치를 제공합니다. 소집 할 수는 있지만 하한 0에서 멈 춥니 다 (이 구속 조건은 일반적으로 모델 피팅 알고리즘에 프로그래밍됩니다). 그래서 우리는 0으로 추정 된 랜덤 인터셉트 분산 (random intercept variance)으로 끝납니다. 이것은 여전히 ​​좋은 추정치가 아니지만,이 분산 성분 유형의 모델로 얻을 수있는만큼 가깝습니다.

그래서 우리가 뭘 할 수 있지?

엑스

$\mathrm{엑스}$

$x$

엑스

$\mathrm{엑스}$

$x$

엑스

$\mathrm{엑스}$

$x$엑스비

${\mathrm{엑스}}_{비}$

$x_b$엑스

$\mathrm{엑스}$

$x$엑스승

${\mathrm{엑스}}_{승}$

$x_w$엑스

$\mathrm{엑스}$

$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
>
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML
Formula: y ~ x_b + x_w + (1 | f)
   Data: dat
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000
 Residual             0.010898 0.10439
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b
x_b 0.000
x_w 0.000  0.000

엑스승

${\mathrm{엑스}}_{승}$

$x_w$엑스비

${\mathrm{엑스}}_{비}$

$x_b$와이

$\mathrm{와이}$

$y$엑스

$\mathrm{엑스}$

$x$엑스

$\mathrm{엑스}$

$x$엑스비

${\mathrm{엑스}}_{비}$

$x_b$티

$티$

$t$통계가 더 큽니다. 단순 혼합 회귀 모형이 처리해야하는 분산을 많이 차지하는 랜덤 그룹 효과로 인해이 혼합 모형에서 잔차 분산이 훨씬 더 작기 때문에 이는 놀라운 일이 아닙니다.

마지막으로, 이전 절에서 자세히 설명한 이유로 인해 임의 절편의 분산에 대한 추정치는 여전히 0입니다. 나는 다른 소프트웨어로 바꾸지 않고 적어도 하나에 대해 우리가 무엇을 할 수 lmer()있는지 잘 모르겠으며,이 최종 혼합 모델의 추정치에 여전히 악영향을 미칠 정도가 확실하지 않습니다. 어쩌면 다른 사용자 가이 문제에 대한 몇 가지 생각을 할 수 있습니다.

참고 문헌

• Bell, A., & Jones, K. (2014). 고정 효과 설명 : 시계열 단면 및 패널 데이터의 랜덤 효과 모델링.정치 연구 및 방법. PDF
• Bafumi, J., & Gelman, AE (2006). 예측 변수와 그룹 효과가 서로 연관 될 때 다중 레벨 모델을 적합합니다. PDF

---

답변