내가 알다시피, 로지스틱 시그 모이 드 활성화 기능을 가진 퍼셉트론 / 단일 층 인공 신경망은 로지스틱 회귀와 같은 모델입니다. 두 모델 모두 다음 방정식으로 제공됩니다.
퍼셉트론 학습 알고리즘은 온라인 및 오류 중심의 반면 로지스틱 회귀에 대한 매개 변수는 기울기 하강 및 제한 메모리 BFGS 또는 확률 적 기울기 하강과 같은 온라인 알고리즘을 포함한 다양한 배치 알고리즘을 사용하여 학습 할 수 있습니다. 로지스틱 회귀와 시그 모이 드 퍼셉트론 사이에 다른 차이점이 있습니까? 확률 적 경사 하강으로 훈련 된 로지스틱 회귀 분석기의 결과가 퍼셉트론과 유사해야합니까?
답변
이미 중요한 차이점을 언급했습니다. 따라서 결과는 크게 다르지 않아야합니다.
답변
나는 당신이 놓친 한 가지 차이점은 로지스틱 회귀가 원칙적 분류 확률을 반환하는 반면 퍼셉트론은 단단한 경계로 분류한다는 사실입니다.
이것은 Wiki 기사에 언급되어 있습니다. 다항 로지스틱 회귀 .
답변
실제로 언급 한 기술적 차이와 관련하여 실질적으로 큰 차이가 있습니다. 로지스틱 회귀 분석은 Bernoulli 분포의 평균 함수를 선형 방정식 ( Beroulli 이벤트 의 확률 p 와 같은 평균)으로 모델링합니다 . 로짓 링크를 평균 ( p ) 확률 (log-odds)의 로그를 분석적으로 도출하여 소위 일반 선형 모형의 반응으로 사용할 수 있습니다. 이 GLM에 대한 모수 추정은 모형 모수에 대한 p- 값과 신뢰 구간을 생성하는 통계 프로세스입니다. 예측 외에도 모델을 인과 추론으로 해석 할 수 있습니다. 이것은 선형 퍼셉트론으로는 달성 할 수없는 것입니다.
퍼셉트론은 로지스틱 회귀의 역 엔지니어링 프로세스입니다. y의 로짓을 취하는 대신 wx 의 역 로짓 (로지스틱) 기능이 필요 하며 모형이나 모수 추정치에 대해 확률 론적 가정을 사용하지 않습니다. 온라인 교육을 통해 모델 가중치 / 모수에 대해 정확히 동일한 추정값을 얻을 수 있지만 p- 값, 신뢰 구간 및 기본 확률 모델이 없기 때문에 인과 추론으로 해석 할 수 없습니다.
간단히 말하면, 로지스틱 회귀는 예측 및 추론을 수행 할 수있는 GLM 인 반면 선형 Perceptron은 예측 만 달성 할 수 있습니다 (이 경우 로지스틱 회귀와 동일하게 수행됨). 이 둘의 차이점은 통계 모델링과 머신 러닝의 근본적인 차이점이기도합니다.