먼저 Fisher Information 매트릭스와 Hessian 및 표준 오류와의 관계에 대한 이 기본 질문을 확인해야 합니다.

통계 모델 (분포 계열) 가 있다고 가정 합니다. 가장 일반적인 경우에 가 패밀리는 로 매개 변수화됩니다 . 특정 규칙 조건 하에서{fθ:θ∈Θ}

$\{f_{\theta }:\theta \in \mathrm{\Theta }\}$

$\{f_{\theta}: \theta \in \Theta\}$dim(Θ)=d

$dim(\mathrm{\Theta })=d$

$dim(\Theta) = d$θ=(θ1,…,θd)T

$\theta =({\theta }_1,\dots ,{\theta }_d{)}^T$

$\theta = (\theta_1, \dots, \theta_d)^T$

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

여기서 는 Fisher Information 매트릭스 ( 함수 )이고 는 관측 값 (샘플)입니다.Ii,j

$I_{i,j}$

$I_{i,j}$θ

$\theta$

$\theta$X

$X$

$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

따라서 Fisher Information 매트릭스는 일부 에서 로그 확률에 대한 Hesian의 부정 된 예상 값입니다.θ

$\theta$

$\theta$

이제 알려지지 않은 매개 변수 의 벡터 함수를 추정한다고 가정 해 봅시다 . 일반적으로 추정기 는 편향되지 않아야합니다.ψ(θ)

$\psi (\theta )$

$\psi(\theta)$T(X)=(T1(X),…,Td(X))

$T(X)=(T_1(X),\dots ,T_d(X))$

$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

Cramer Rao Lower Bound는 모든 편향되지 않은 대해 만족 한다고 말합니다.T(X)

$T(X)$

$T(X)$covθ(T(X))

$co{v}_{\theta }(T(X))$

$cov_{\theta}(T(X))$

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

여기서 행렬 수단은 인 포지티브 세미 확정적 , 단순히 코비안이고 . 참고로, 우리가 예상되는 경우에 이라고 단순화 위A≥B

$A\ge B$

$A \ge B$A−B

$A-B$

$A - B$∂ψ(θ)∂θ

$\frac{\mathrm{\partial }\psi (\theta )}{\mathrm{\partial }\theta }$

$\frac{\partial\psi(\theta)}{\partial\theta}$Ji,j(ψ)

$J_{i,j}(\psi )$

$J_{i,j}(\psi)$θ

$\theta$

$\theta$ψ(θ)=θ

$\psi (\theta )=\theta$

$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

그러나 그것은 우리에게 실제로 무엇을 말합니까? 예를 들어

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

모든 양의 반 정규 행렬에 대각선 요소는 음이 아닙니다.A

$A$

$A$

$$\forall_i\ A_{i,i} \ge 0$$

위에서 우리는 각 추정 된 요소의 분산이 행렬 의 대각선 요소에 의해 구속된다는 결론을 내릴 수 있습니다.B(θ)

$B(\theta )$

$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

따라서 CRLB는 추정기의 분산을 알려주지 않지만 추정기가 최적 인지 여부에 상관없이 최적 입니다.

---

답변