kNN과 선형 회귀를 서로 매우 다른 것으로 직접 비교하는 것은 매우 어렵지만 여기서 중요한 것은 “모델링의 차이점”이라고 생각합니다. 에프( x )

$f(x)$

$f(x)$“및”에 대한 가정 에프( x )

$f(x)$

$f(x)$“.

선형 회귀 분석을 수행 할 때 에프( x )

$f(x)$

$f(x)$종종 에프( x ) = w x + ϵ

$f(x)=\mathbf{w}\mathbf{x}+ϵ$

$f(x) = \mathbf{wx} + \epsilon$ 어디 ϵ

$ϵ$

$\epsilon$가우스 잡음 항입니다. 최대 우도 모델이 최소 제곱합 오류 모델과 동일하다는 것을 알 수 있습니다.

반면 KNN은 두 번째 요점에서 알 수 있듯이 로컬로 일정한 함수 를 사용하여 해당 함수를 근사 할 수 있다고 가정합니다 .엑스

$x$

$x$전체 분포를 구체적으로 모델링하지 않고 -ses.

다시 말해서, 선형 회귀는 종종 다음의 가치에 대한 좋은 아이디어를 가질 것입니다 에프( x )

$f(x)$

$f(x)$ 보이지 않는 사람들을 위해 엑스

$x$

$x$ 단지의 가치에서 엑스

$x$

$x$kNN은 다른 정보 (예 : k 이웃)를 예측해야하지만 f(x)

$f(x)$

$f(x)$의 가치 때문에 x

$x$

$x$에 대한 모델이 없으므로 값 자체만으로 정보를 제공하지 않습니다. f(x)

$f(x)$

$f(x)$.

편집 :이 명확성을 다시 표현하기 위해 아래를 반복하십시오 (주석 참조)

선형 회귀 분석과 가장 가까운 이웃 방법 모두의 가치 예측을 목표로한다는 것이 분명합니다. y=f(x)

$y=f(x)$

$y=f(x)$ 새로운 x

$x$

$x$. 이제 두 가지 접근 방식이 있습니다. 선형 회귀는 데이터가 직선 (플러스에서 약간의 노이즈를 뺀 값)에 있다고 가정하여 y의 값이f(x)

$f(x)$

$f(x)$곱하기 선의 기울기. 즉, 선형 표현식 은 데이터를 직선으로 모델링 합니다.

이제 가장 가까운 이웃 방법은 데이터가 어떻게 보이는지 (데이터를 모델링하지는 않음) 상관하지 않습니다. 즉, 데이터가 선, 포물선, 원 등인지 상관하지 않습니다. f(x1)

$f(x_1)$

$f(x_1)$ 과 f(x2)

$f(x_2)$

$f(x_2)$ 비슷한 경우 x1

$x_1$

$x_1$ 과 x2

$x_2$

$x_2$비슷합니다. 이 가정은 위에서 언급 한 모든 모델을 포함하여 거의 모든 모델에 적용됩니다. 그러나 NN 방법은f(x)

$f(x)$

$f(x)$ ~와 연관되어있는 x

$x$

$x$ (선, 포물선 등이든),이 관계의 모델이 없기 때문에 가까운 지점을 살펴보면 근사치가 될 수 있다고 가정합니다.

---

답변