나는 artificial neural network (ANN)예측에서 오류를 줄임으로써 피팅을 개선하기 위해 역 전파를 사용하여 감독 방식으로 훈련 될 수있는 방법을 이해합니다 . 나는 ANN이 비지도 학습에 사용될 수 있다고 들었지만 최적화 단계를 안내하기 위해 일종의 비용 함수없이 어떻게 할 수 있습니까? k- 평균 또는 EM 알고리즘에는 각 반복이 증가하도록 검색하는 기능이 있습니다.
- ANN을 사용하여 클러스터링을 수행하는 방법과 동일한 지역에서 데이터 포인트를 그룹화하기 위해 어떤 메커니즘을 사용합니까?
(그리고 더 많은 레이어를 추가함으로써 어떤 추가 기능이 제공됩니까?)
답변
신경망은 입력 데이터의 더 나은 표현을 배우기 위해 비지도 학습에 널리 사용됩니다. 예를 들어, 일련의 텍스트 문서가 제공되면 NN은 문서와 실제 값 벡터 간의 매핑을 학습 할 수 있습니다. 즉, 결과 보존 벡터는 내용이 비슷한 문서 (예 : 거리 보존)와 유사합니다. 이는 예를 들어 자동 인코더-비용 함수로서 재구성 오류 (ID 기능으로부터의 거리)를 갖는 더 작은 표현 (숨겨진 계층 활성화)으로부터 원래 벡터를 재구성하도록 훈련 된 모델을 사용하여 달성 될 수있다. 이 프로세스는 클러스터를 제공하지 않지만 클러스터링에 사용할 수있는 의미있는 표현을 만듭니다. 예를 들어 숨겨진 계층의 활성화에서 클러스터링 알고리즘을 실행할 수 있습니다.
클러스터링 : 클러스터링을 위해 특별히 설계된 여러 가지 NN 아키텍처가 있습니다. 가장 널리 알려진 것은 아마도 자기 조직지도 일 것입니다. SOM은 위상 그리드 (일반적으로 직사각형)를 형성하기 위해 연결된 뉴런 세트가있는 NN입니다. 일부 패턴이 SOM에 제시 될 때, 가장 가까운 가중치 벡터를 가진 뉴런이 승자로 간주되고 그 가중치는 패턴뿐만 아니라 이웃의 가중치에 맞게 조정됩니다. 이러한 방식으로 SOM은 자연스럽게 데이터 클러스터를 찾습니다. 다소 관련된 알고리즘이 신경 가스를 증가시키고 있습니다 (미리 정의 된 수의 뉴런으로 제한되지 않음).
또 다른 접근법은 “비교 필드”와 “인식 필드”라는 두 개의 계층이있는 적응 공명 이론입니다. 인식 필드는 또한 비교 필드에서 전송 된 벡터에 대한 최상의 일치 (뉴런)를 결정하며 측면 억제 연결도 있습니다. 이 모델의 이름을 인터넷으로 검색하면 구현 세부 사항과 정확한 방정식을 쉽게 찾을 수 있으므로 여기에 두지 않겠습니다.