무작위 추적 기법 값을 이해하기 위해 어디를 봐야합니까? 평균이 고유

M. Seeger에서 다음과 같은 무작위 추적 기법 을 만났습니다 . 담당자, 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

여기서 입니다. $x \sim N (0, I)$

x \sim N (0, I)

$\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

심도있는 수학 배경이없는 사람으로서, 나는이 평등이 어떻게 달성 될 수 있는지 궁금합니다. 또한, 예를 들어 기하학적으로 어떻게 해석 할 수 있습니까? 벡터의 내부 곱을 가져 오는 의미와 그 범위 값을 이해하기 위해 어디를 봐야합니까? 평균이 고유 값의 합과 같은 이유는 무엇입니까? 이론적 인 속성 외에도 실제적인 중요성은 무엇입니까? $x^{T} A x$

x^{T} A x

$\mathbf{x}^T \mathbf{A} \mathbf{x}$

작동하는지 확인하기 위해 MATLAB 코드 스 니펫을 작성했습니다

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

추적은 15이며 근사값은 14.9696입니다.

답변

NB 명시된 결과는 좌표의 정규성 또는 독립성에 의존하지 않습니다. . 그것은 도 양의 명확한 것에 의존하지 않습니다 . 실제로, 가정 만 의 좌표 것을 하나의 제로 평균, 분산을 가지고있는 상관 관계가없는 (그러나 반드시 독립적이지); 즉, 모든 대해 , 및 입니다 . $x$

x

$\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $A$

A

$\A$ $x$

x

$\x$ $E x_{i} = 0$

E x_{i} = 0

$\e \x_i = 0$ $E x_{i}^{2} = 1$

E x_{i}^{2} = 1

$\e \x_i^2 = 1$ $E x_{i} x_{j} = 0$

E x_{i} x_{j} = 0

$\e \x_i \x_j = 0$ $i \neq j$

i \neq j

$i \neq j$

맨손으로 접근

하자 임의의 수 행렬. 정의에 따르면 입니다. 그런 다음

가 완료되었습니다. $A = (a_{i j})$

A = (a_{i j})

$\A = (a_{ij})$ $n \times n$

n \times n

$n \times n$ $t r (A) = \sum_{i = 1}^{n} a_{i i}$

t r (A) = \sum_{i = 1}^{n} a_{i i}

$\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

명확하지 않은 경우, 기대의 선형성에 따라 오른쪽은

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

추적 속성을 통한 증명

이것을 제안하는 또 다른 방법이 있지만 암시 적으로 약간 고급 도구에 의존합니다. 우리는 기대와 추적 연산자가 모두 선형 하고 와 의 적절한 차원의 . 그런 다음 이므로

이므로
$A$

A

$\A$ $B$

B

$\newcommand{\B}{\mathbf{B}}\B$ $t r (A B) = t r (B A)$

t r (A B) = t r (B A)

$\tr(\A\B) = \tr(\B\A)$ $x^{T} A x = t r (x^{T} A x)$

x^{T} A x = t r (x^{T} A x)

$\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

2 차 형태, 내부 제품 및 타원체

경우 포지티브 한정하고 내부 제품에 을 통해 정의 될 수 및 은 원점을 중심으로 타원체를 정의합니다 . $A$

A

$\A$ $R^{n}$

R^{n}

$\mathbf{R}^n$ $⟨ x, y ⟩_{A} = x^{T} A y$

⟨ x, y ⟩_{A} = x^{T} A y

$\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $E_{A} = {x : x^{T} A x = 1}$

E_{A} = {x : x^{T} A x = 1}

$\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $R^{n}$

R^{n}

$\mathbf{R}^n$

답변

경우 대칭이며, 일정한 양의 다음 와 정규직 교 및 대각선 고유 대각선. 에는 항등 분산 행렬이 있고 는 정규직 교 이기 때문에 에는 항등 분산 행렬도 있습니다. 따라서 라고 쓰면 입니다. 기대 연산자는 선형이므로 입니다. 각 는 자유도가 1 인 카이 제곱이므로 기대 값 1을 갖습니다. 따라서 기대 값은 고유 값의 합입니다. $A$

A

$A$ $A = U^{t} D U$

A = U^{t} D U

$A = U^tDU$ $U$

U

$U$ $D$

D

$D$ $x$

x

$x$ $U$

U

$U$ $U x$

U x

$Ux$ $y = U x$

y = U x

$y = Ux$ $E [x^{T} A x] = E [y^{t} D y]$

E [x^{T} A x] = E [y^{t} D y]

$E[x^TAx] = E[y^tDy]$ $\sum_{i = 0}^{n} λ_{i} E [y_{i}^{2}]$

\sum_{i = 0}^{n} λ_{i} E [y_{i}^{2}]

$\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_{i}$

y_{i}

$y_i$

기하학적으로, 양의 양의 한정 행렬 는 타원체와 1-1 대응 관계로 방정식으로 주어집니다 . 타원체 축의 길이는 로 주어집니다. 여기서 는 고유 값입니다. $A$

A

$A$ $x^{T} A x = 1$

x^{T} A x = 1

$x^TAx = 1$ $1 / {\sqrt{λ}}_{i}$

1 / {\sqrt{λ}}_{i}

$1/\sqrt\lambda_i$ $λ_{i}$

λ_{i}

$\lambda_i$

경우 여기서, 공분산 행렬이고, 이는의 정사각형 마할 라 노비스 거리 . $A = C^{- 1}$

A = C^{- 1}

$A = C^{-1}$ $C$

C

$C$

답변

질문의 “실제적인 중요성은 무엇인가”부분을 다루겠습니다. 우리가 컴퓨팅 행렬 벡터 제품에 능력이있는 많은 상황이있다 우리가 매트릭스의 저장된 사본이없는 효율적 경우에도 또는 사본 저장하기에 충분한 저장하지 않아도 . 예를 들어 의 크기는 100,000 x 100,000이고 완전 밀도 일 수 있습니다. 이러한 행렬을 배정 밀도 부동 소수점 형식으로 저장하려면 80GB의 RAM이 필요합니다. $A x$

A x

$Ax$ $A$

A

$A$ $A$

A

$A$ $A$

A

$A$

이런 알고리즘은 무작위의 추적 추정하는데 사용될 수 개별 대각선 엔트리 (관련 알고리즘을 사용하여) 또는 . $A$

A

$A$ $A$

A

$A$

대규모 지구 물리학 적 역전 문제에 대한이 기법의 일부 응용은

JK MacCarthy, B. Borchers 및 RC 애 스터. 모델 해상도 행렬 대각선의 효율적인 확률 론적 추정과 큰 지구 물리학 적 역 문제에 대한 일반화 된 교차 검증. 지구 물리학 저널, 116, B10304, 2011.
논문 링크

How IT

언제든지 물어보세요.

무작위 추적 기법 값을 이해하기 위해 어디를 봐야합니까? 평균이 고유

답변

답변

답변

답변