먼저 일반적인 질문에 대답하겠습니다. SVM은 확률 모델이 아닙니다. 한 가지 이유는 정규화 가능성과 일치하지 않기 때문입니다. 정규화 최소 자승 예를 들어, 당신이 감소 기능을 갖는 및 regularizer ‖ w ‖ 2 2 . 가중치 벡터는 둘의 합을 최소화하여 얻습니다. 그러나 이는 데이터 p ( w | ( y)가 주어지면 w 의 로그 대수를 최대화하는 것과 같습니다. ∑i∥yi−⟨w,xi⟩−b∥22

$\sum _i\Vert y_i-⟨w,x_i⟩-b{\Vert }_2^2$

$\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$∥w∥22

$\Vert w{\Vert }_2^2$

$\|w\|_2^2$w

$w$

$w$ 가 제조 될 볼 수있는 w에 앞서 가우시안 가능성과 가우시안( Zp(w|(y1,x1),...,(ym,xm))∝1/Zexp(−∥w∥22)∏iexp(∥yi−⟨w,xi⟩−b∥22)

$p(w|(y_1,x_1),...,(y_m,x_m))\propto 1/Z\exp (-\Vert w{\Vert }_2^2)\prod _i\exp (\Vert y_i-⟨w,x_i⟩-b{\Vert }_2^2)$

$p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$w

$w$

$w$Z

$Z$

$Z$정상화되는지 확인하십시오). 부호를 뒤집고 지수화하여 손실 함수에서 가우시안 가능성에 도달합니다. 그러나 SVM의 손실 함수로이를 수행하는 경우 로그 가능성은 정규화 가능한 확률 모델이 아닙니다.

SVM을 하나로 바꾸려는 시도가 있습니다. 가장 눈에 띄는 것은 libsvm에서도 구현됩니다.

John Platt : 서포트 벡터 머신의 확률 론적 출력 및 정규 가능성 분석법과의 비교 (NIPS 1999) : http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

α

$\alpha$

$\alpha$α

$\alpha$

$\alpha$∑i∈SVαik(x,xi)+b

$\sum _{i\in SV}{\alpha }_{i}k(x,x_i)+b$

$\sum_{i \in SV}\alpha_i k(x,x_i) + b$y

$y$

$y$y=∑i∈SVαik(x,xi)+b=⟨w,ϕ(x)⟩H+b

$y=\sum _{i\in SV}{\alpha }_{i}k(x,x_i)+b=⟨w,\varphi (x){⟩}_{\mathcal{H}}+b$

$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$w

$w$

$w$y

$y$

$y$w

$w$

$w$∥w∥H=∑i,j∈SVαiαjk(xi,xj)−−−−−−−−−−−−−−−−−√

$\Vert w{\Vert }_H=\sqrt{\sum _{i,j\in SV}{\alpha }_i{\alpha }_{j}k(x_i,x_j)}$

$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$

---

답변