나는 이것이 오래된 질문이며 매우 좋은 답변을 가지고 있음을 알고 있습니다. 실질적인 개인적인 경험을 나누고 싶습니다.

생성 기계 학습 기술로 작업 할 때는 일반적으로 일종의 확률로 작업합니다. 혼합 모델에서 성분 의 혼합 확률이 예가 될 수 있습니다 . 다음과 같은 제약 조건이 있습니다.케이

$k$

• 모든 확률은 양수 여야합니다.
• 확률 집합의 모든 요소는 1을 합산해야합니다.

이것은 실제로 많은 것을 요구하고 있습니다. 경사 하강에서는 일반적으로 페널티 함수를 통한 구속 조건을 처리합니다. 여기에서는 작동하지 않습니다. 값이 이러한 제약 조건 중 하나를 위반하면 코드에서 일반적으로 수치 오류가 발생합니다. 따라서 최적화 알고리즘이 실제로이를 통과하지 못하도록하여 제약 조건을 처리해야합니다.

경사 하강을 허용하기 위해 제약 조건을 만족시키기 위해 문제에 적용 할 수있는 수많은 변환이 있습니다. 그러나 이것을 구현하는 가장 쉽고 가장 게으른 방법을 찾고 있다면 좌표 강하가 갈 길입니다.

각 확률 :피나는

$p_i$

• pk+1i=pki−η∂J∂pi
  $p_i^{k+1}=p_i^k-\eta \frac{\mathrm{\partial }J}{\mathrm{\partial }{p}_i}$

  $p_i^{k+1} = p_i^{k} - \eta \frac{\partial J}{\partial p_i}$

• pi=min(max(pi,0),1)
  $p_i=min(max(p_i,0),1)$

  $p_i = \min(\max(p_i,0),1)$

• 모든 p_i를 업데이트하십시오.Pj+1=Pj⋅1∑ni=1pi
  ${\mathbf{P}}^{j+1}={\mathbf{P}}^j\cdot \frac{1}{\sum _{i=1}^n{p}_i}$

  $\mathbf{P}^{j+1} = \mathbf{P}^j \cdot \frac{1}{\sum_{i=1}^n p_i}$

파이썬에서 일하는 나와 같은 누군가에게 이것은 일반적으로 성능에 부정적인 영향을 미치는 추가 for 루프를 사용해야 함을 의미합니다. 그라데이션 하강으로 성능 최적화 된 Numpy를 사용할 수 있습니다. 그것으로 매우 좋은 속도를 얻을 수는 있지만, 이것은 좌표 하강으로 달성 할 수 없으므로 일반적으로 일부 변형 기술을 사용합니다.

결론적으로 좌표 하강은 포아송 분포의 속도 매개 변수와 같은 매우 엄격한 제약 조건을 처리하는 가장 쉬운 옵션이라는 것입니다. 음수가되면 코드 등을 불평합니다.

이것이 약간의 통찰력을 추가하기를 바랍니다.

답변