가우시안 프로세스 모델이 비모수 적이라고 불리는 이유는 무엇입니까? 함수가있는 가우시안이 있다고 가정합니다. 이 커널

약간 혼란 스러워요. 가우스 프로세스가 비모수 적 모델이라고하는 이유는 무엇입니까?

그들은 기능 값 또는 그 하위 집합에 평균 0과 커널 함수로 제공된 공분산 함수가있는 가우시안이 있다고 가정합니다. 이 커널 함수 자체에는 몇 가지 매개 변수 (예 : 하이퍼 파라미터)가 있습니다.

그렇다면 왜 비모수 적 모델이라고 불리는가?

답변

나는 이것이 “비모수 적”또는 “반모 수적”등으로 무엇을 의미하는지 항상 명확하지 않다고 말함으로써 이것을 서두로 언급 할 것이다. 의견에서, whuber는 공식적인 정의를 염두에두고있을 가능성이있다 (모델 선택하는 것과 같은 것 같다) 일부 가족 $M_{θ}$

M_{θ}

$M_\theta$ 여기서 는 무한 치수)이지만, 나는 비공식적입니다. 일부는 비모수 적 방법이 사용하는 유효 매개 변수 수가 데이터와 함께 증가하는 방법이라고 주장 할 수 있습니다. 나는 Peter Orbanz가 우리가 “비모수 적”을 정의하는 방법에 대해 4-5 개의 다른 테이크를 제공하는 videolectures.net에 비디오가 있다고 생각합니다. ${M_{θ} : θ \in Θ}$

{M_{θ} : θ \in Θ}

$\{M_\theta: \theta \in \Theta\}$ $Θ$

Θ

$\Theta$

나는 당신이 염두에 두어야 할 것을 알고 있기 때문에, 단순화를 위해 일반적인 방식으로 회귀에 가우시안 프로세스를 사용하는 것에 대해 이야기한다고 가정합니다. 훈련 데이터 우리는 조건부 평균 모델링에 관심이 . 우리는 라고 씁니다.
$(Y_{i}, X_{i}), i = 1, . . ., n$

(Y_{i}, X_{i}), i = 1, . . ., n

$(Y_i, X_i), i = 1, ..., n$ $E (Y | X = x) := f (x)$

E (Y | X = x) := f (x)

$E(Y|X = x) := f(x)$
및 아마도 우리가 가정 정도로 굵게 . 는 1 차원이지만 모든 것이 더 높은 차원으로 이어집니다.

Y_{i} = f (X_{i}) + ϵ_{i}

$Y_i = f(X_i) + \epsilon_i$ 는 iid이고 정규 분포입니다. $ϵ_{i}$

ϵ_{i}

$\epsilon_i$ $ϵ_{i} \sim N (0, σ^{2})$

ϵ_{i} \sim N (0, σ^{2})

$\epsilon_i \sim N(0, \sigma^2)$ $X_{i}$

X_{i}

$X_i$

만약 우리의 가 연속체에서 값을 취할 수 있다면 는 무한한 차원의 매개 변수로 생각할 수 있습니다. 따라서 무한 차원의 매개 변수를 추정 한다는 점에서 문제는 비모수 적 문제입니다. 베이지안 접근 방식이 여기 저기 떠 다니는 매개 변수가 있다는 것은 사실입니다. 그러나 우리는 무한 차원의 것을 추정하기 때문에 비모수 적이라고합니다. 우리가 사용하는 GP 우선 순위는 모든 연속 함수의 모든 이웃에 질량을 할당하여 임의의 연속 함수를 임의로 추정 할 수 있습니다. $X_{i}$

X_{i}

$X_i$ $f (\cdot)$

f (\cdot)

$f(\cdot)$

공분산 함수의 것은 일반적인 잦은 추정자에서 평활화 매개 변수와 유사한 역할을 수행합니다. 문제가 절대적으로 절망적이지 않게하기 위해 우리는 전시 를 볼 것으로 예상되는 구조가 있다고 가정해야 합니다. 베이지안은 가우시안 프로세스의 형태로 연속 함수의 공간에서 사전을 사용하여이를 달성합니다. 베이지안 관점에서, 우리는 가정하여 에 대한 신념을 암호화 하고 있습니다. $f$

f

$f$ $f$

f

$f$ 가 그러한 공분산 함수를 가진 GP로부터 도출하고 있습니다. 이전은 너무 복잡하여 추정치에 효과적으로 불이익을줍니다. $f$

f

$f$ $f$

f

$f$

계산 문제 편집

이 물건의 대부분은 모두 Rasmussen과 Williams의 Gaussian Process 책에 있습니다.

$O (N^{2})$

O (N^{2})

$O(N^2)$ $O (N^{3})$

O (N^{3})

$O(N^3)$ $v$

v

$v$ $(K + σ^{2} I) v = Y$

(K + σ^{2} I) v = Y

$(K + \sigma^2 I)v = Y$ $K$

K

$K$ $O (N^{3})$

O (N^{3})

$O(N^3)$ $k$

k

$k$ $O (k N^{2})$

O (k N^{2})

$O(kN^2)$ $K$

K

$K$

$O (N^{3})$

O (N^{3})

$O(N^3)$ $O (k N^{2})$

O (k N^{2})

$O(kN^2)$ $N$

N

$N$ $m$

m

$m$ $m \times m$

m \times m

$m \times m$ $Y$

Y

$Y$ $N$

N

$N$ $m$

m

$m$ $O (m^{2} N)$

O (m^{2} N)

$O(m^2 N)$

$K$

K

$K$ $K = Q Q^{T}$

K = Q Q^{T}

$K = QQ^T$ $Q$

Q

$Q$ $n \times q$

n \times q

$n \times q$ $q$

q

$q$ $K + σ^{2} I$

K + σ^{2} I

$K + \sigma^2 I$ $Q^{T} Q + σ^{2} I$

Q^{T} Q + σ^{2} I

$Q^TQ + \sigma^2 I$ . 다른 옵션은 공분산 함수를 희소하게 선택하고 켤레 그라디언트 방법을 사용하는 것입니다. 공분산 행렬이 매우 희소 한 경우 계산 속도를 크게 높일 수 있습니다.

답변

일반적으로 베이지안 비모수 적에서 “비모수 적”은 무한한 (잠재적) 매개 변수가있는 모델을 나타냅니다. videolectures.net (이것 과 같은) 에 관한 주제에 대한 훌륭한 튜토리얼과 강의가 많이 있습니다 .

구체적으로, GP는 함수 (즉, 무한 차원 벡터)를 나타내므로 가우시안 프로세스 (GP)는 비모수 적이라고 간주됩니다. 데이터 포인트의 수가 증가함에 따라 ((x, f (x)) 쌍), 모델 ‘매개 변수’의 수도 증가합니다 (함수의 모양 제한). 매개 변수 수가 데이터 크기와 관련하여 고정되어있는 파라 메트릭 모델과 달리 비모수 적 모델에서는 매개 변수 수가 데이터 포인트 수에 따라 증가합니다.

답변

하이퍼 파라미터라고하는 매개 변수는 물리적 동기 매개 변수가 아니므로 이름입니다. 커널 기능을 매개 변수화하는 데만 사용됩니다. 가우스 커널에서 예제를 제공하려면 다음을 수행하십시오.

$K (x_{i}, x_{j}) = h^{2} \exp (\frac{- (x_{i} - x_{j})^{2}}{λ^{2}})$

K (x_{i}, x_{j}) = h^{2} \exp (\frac{- (x_{i} - x_{j})^{2}}{λ^{2}})

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$

h

$h$ $λ$

λ

$\lambda$

이 문제는 이 강의 에서 다뤄 졌으므로 더 잘 이해하는 데 도움이 될 수 있습니다.

How IT

언제든지 물어보세요.

가우시안 프로세스 모델이 비모수 적이라고 불리는 이유는 무엇입니까? 함수가있는 가우시안이 있다고 가정합니다. 이 커널

답변

답변

답변

답변