๋๊ตฐ๊ฐ LDA ํ์ดํผ ํ๋ผ๋ฏธํฐ์ ๋ํ ์์ฐ ํด์์ด ๋ฌด์์ธ์ง ์ค๋ช
ํ ์ ์์ต๋๊น? ALPHA
๊ทธ๋ฆฌ๊ณ BETA
(๋ฌธ์ ๋น) ์ฃผ์ ๋ฐ (์ฃผ์ ๋น) ๋จ์ด ๋ถํฌ์ ๋ํ ๋๋ฆฌํด๋ ๋ถํฌ์ ๋งค๊ฐ ๋ณ์์
๋๋ค. ๊ทธ๋ฌ๋ ๋๊ตฐ๊ฐ์ด ํ์ดํผ ๋งค๊ฐ ๋ณ์์ ๊ฐ์ ๋ ์๊ฒ ์ ํํ๋ ๊ฒ์ด ๋ฌด์์ ์๋ฏธํ๋์ง ์ค๋ช
ํ ์ ์์ต๋๊น? ๊ทธ๊ฒ์ ๋ฌธ์์ ์ฃผ์ ํฌ์์ฑ ๋ฐ ์ฃผ์ ์ ์ํธ ๋ฐฐํ์ฑ์ ๋ํ ์ฌ์ ์ ๋
์ ๋จ์ด์ ๊ด์ ์์ ์ ์ํ๋ ๊ฒ์ ์๋ฏธํฉ๋๊น?
์ด ์ง๋ฌธ์ ์ ์ฌ์ ์ธ Dirichlet ํ ๋น์ ๊ดํ ๊ฒ์ด์ง๋ง, ๋ฐ๋ก ์๋์ BGReene์ ์๊ฒฌ์ ์ ํ ํ๋ณ ๋ถ์์ ๋ํ๋ด๋ฉฐ, ์ด๋ ํผ๋์ค๋ฝ๊ฒ๋ LDA์ ๋๋ค.
๋ต๋ณ
David Blei๋ ์ฌ๋ฆ ํ๊ธ ํ์๋ค์๊ฒ LDA๋ฅผ ์๊ฐํ๋ ํ๋ฅญํ ๊ฐ์ฐ์ํ๊ณ ์์ต๋๋ค : http://videolectures.net/mlss09uk_blei_tm/
์ฒซ ๋ฒ์งธ ๋น๋์ค์์ ๊ทธ๋ ์ฃผ์ ๋ชจ๋ธ๋ง์ ๊ธฐ๋ณธ ๊ฐ๋ ๊ณผ Dirichlet ๋ฐฐํฌ๊ฐ ์ด๋ป๊ฒ ์งํ๋๋์ง ๊ด๋ฒ์ํ๊ฒ ๋ค๋ฃจ๊ณ ์์ต๋๋ค. ํ๋ ์ดํธ ํ๊ธฐ๋ฒ์ ๋ชจ๋ ์จ๊ฒจ์ง ๋ณ์๊ฐ ์ข ์์ฑ์ ๋ํ๋ด๋ ๊ฒ์ผ๋ก ๊ด์ฐฐ๋๋ ๊ฒ์ฒ๋ผ ์ค๋ช ๋ฉ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ์ฃผ์ ๋ ๋จ์ด๋ฅผ ํตํ ๋ฐฐํฌ ๋ฐ ์ฃผ์ ๋ฅผ ํตํ ๋ฌธ์ ๋ฐฐํฌ์ ๋๋ค.
๋ ๋ฒ์งธ ๋น๋์ค์์ ๊ทธ๋ ์ํ ๊ทธ๋ํ์ ํจ๊ป ์ํ์ ํจ๊ณผ๋ฅผ ๋ณด์ฌ์ค๋๋ค. ์ํ๊ฐ ์์์๋ก ๋ถํฌ๊ฐ ๋ ํฌ๋ฐํฉ๋๋ค. ๋ํ ๋ช ๊ฐ์ง ์ถ๋ก ๋ฐฉ๋ฒ์ ์๊ฐํฉ๋๋ค.
๋ต๋ณ
๋ต์ ๋์นญ ๋๋ ๋น๋์นญ ๋๋ฆฌ ํด๋ฆฟ ๋ถํฌ๋ฅผ ๊ฐ์ ํ๋์ง (๋๋ ๋ ๊ธฐ์ ์ ์ผ๋ก๋ ๊ธฐ๋ณธ ์ธก์ ๊ฐ ์ด ๊ท ์ผ ํ์ง) ์ฌ๋ถ์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค . ๋ค๋ฅธ ๊ฒ์ ๋ช ์ํ์ง ์๋ ํ, LDA์ ๋๋ถ๋ถ์ ๊ตฌํ์ ๋ถํฌ๊ฐ ๋์นญ์ด๋ผ๊ณ ๊ฐ์ ํฉ๋๋ค.
๋์นญ ๋ถํฌ์ ๊ฒฝ์ฐ ์ํ ๊ฐ์ด ๋์ผ๋ฉด ๊ฐ ๋ฌธ์์ ๋จ์ผ ์ฃผ์ ๊ฐ ์๋ ๋๋ถ๋ถ ์ ์ฃผ์ ๊ฐ ํผํฉ๋์ด์์ ๊ฐ๋ฅ์ฑ์ด ์์ต๋๋ค . ์ํ ๊ฐ์ด ๋ฎ ์ผ๋ฉด ๋ฌธ์์ ์ด๋ฌํ ์ ์ฝ์ด ์ ์ผ๋ฏ๋ก ๋ฌธ์์ ์ฃผ์ ์ค ๋ช ๊ฐ ๋๋ ํ๋๋ง ํผํฉ๋์ด์์ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค. ๋ง์ฐฌ๊ฐ์ง๋ก ๋ฒ ํ ๊ฐ์ด ๋์ผ๋ฉด ๊ฐ ์ฃผ์ ์ ํน์ ๋จ์ด๊ฐ ์๋ ๋๋ถ๋ถ์ ๋จ์ด๊ฐ ํผํฉ๋์ด์์ ๊ฐ๋ฅ์ฑ์ด ๋๊ณ , ๊ฐ์ด ๋ฎ ์ผ๋ฉด ์ฃผ์ ์ ๋ช ๋จ์ด ๋ง ์์ด์์ ์ ์์ต๋๋ค.
๋ฐ๋ฉด์ ๋ถํฌ๊ฐ ๋น๋์นญ ์ธ ๊ฒฝ์ฐ ์ํ ๊ฐ์ด ๋์ผ๋ฉด ๊ฐ ๋ฌธ์์ ๋ํด ํน์ ์ฃผ์ ๋ถํฌ (๊ธฐ๋ณธ ์ธก์ ์ ๋ฐ๋ผ ๋ค๋ฆ)๊ฐ ๋ ๋ง์ ๊ฐ๋ฅ์ฑ์ด ์์์ ์๋ฏธํฉ๋๋ค. ๋ง์ฐฌ๊ฐ์ง๋ก ๋ฒ ํ ๊ฐ์ด ๋์ผ๋ฉด ๊ฐ ์ฃผ์ ์ ๊ธฐ๋ณธ ์ธก์ ๊ฐ์ผ๋ก ์ ์ ๋ ํน์ ๋จ์ด ์กฐํฉ์ด ํฌํจ๋ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค.
์ค์ ๋ก ์ํ ๊ฐ์ด ๋์ผ๋ฉด ๋ฌธ์์ ํฌํจ ๋ ์ฃผ์ ์ ๊ด๋ จํ์ฌ ๋ฌธ์๊ฐ ๋ ๋น์ทํด์ง๋๋ค. ๋ฒ ํ ๊ฐ์ด ๋์์๋ก ์ฃผ์ ์ ํฌํจ ๋ ๋จ์ด๊ฐ ๋ ๋น์ทํด์ง๋๋ค.
๋ฐ๋ผ์, ์ํ ๋งค๊ฐ ๋ณ์๋ ๋ฌธ์์ ์ฃผ์ ํฌ์์ฑ / ๊ท ์ผ์ฑ์ ๋ํ ์ฌ์ ์ ๋ ์ ๋ช ์ํฉ๋๋ค. โ๋จ์ด์ ์ฃผ์ ์์ ์ํธ ๋ฐฐํ์ โ์ด๋ผ๋ ๋ง์ ์๋ฏธ๊ฐ ํ์คํ์ง ์์ต๋๋ค.
๋ณด๋ค ์ผ๋ฐ์ ์ผ๋ก, ์ด๋ค์ LDA ๋ชจ๋ธ์ ์ฌ์ฉ ๋ ๋ ๋ฆฌํด ๋ ๋ถํฌ์ ๋ํ ๋๋ ํ๋ผ๋ฏธํฐ ์ด๋ค. ์ด๊ฒ์ด ์ด๋ป๊ฒ ์๋ํ๋์ง์ ๋ํ ์ง๊ด์ ์ธ ์ดํด๋ฅผ ๋๊ธฐ ์ํด์ด ํ๋ ์ ํ ์ด์ ์๋ LDA์ ๋ํ ์ข์ ์ค๋ช ๋ฟ๋ง ์๋๋ผ ๋ฉ์ง ์ฝํ๊ฐ ๋ค์ด ์์ต๋๋ค.
(ฮฑ1,ฮฑ2,...,ฮฑ์ผ์ด)
์ =(์ 1,์ 2,...,์ ์ผ์ด)
ฮฑ
ฮฑโป์ =(ฮฑ1,ฮฑ2,...,ฮฑ์ผ์ด)
ฮฑ
(ฮฑ1,ฮฑ2,...,ฮฑ์ผ์ด)
(ฮฑ1,ฮฑ2,...,ฮฑ์ผ์ด)