Multinomial distributionとCategorical distributionの違い

Jul 31, 2013 1 min read

些細な違いなんだけど調べたのでメモ。Multinomial distributionは多項分布のこと。Categorical distributionは、一般的な日本語表現が見つからなかった（なのでタイトルは英語）。打つのが大変なので、以下カテゴリカル分布と書く。

結論としては、多項分布のn=1の特殊な場合がカテゴリカル分布ですよってこと。以下少しまとめる。

分布を仮定する離散変数をカテゴリと呼ぶとして、

多項分布は、n回試行したときに各カテゴリが何回出るかを表す確率分布
多項分布は、二項分布を多カテゴリに一般化したもの
カテゴリカル分布は、多項分布のn=1の場合に相当する
カテゴリカル分布は、ベルヌーイ分布を多カテゴリに一般化したもの

以上

nokunoさんによるこの記事→ 多項分布の最尤推定は、多項分布というよりカテゴリカル分布の話。本文には書いてあるけどね。あと最尤推定の結果はどちらにしろ同じなんだけどね

導出メモ

一応最尤推定をやってみる。前回のナイーブベイズのメモの時は省略したので。入力の変数を $Y = {y_{n}}_{n = 1}^{N}$ とする。

カテゴリカル分布

\begin{array}{r} p (l) = π_{l}, \sum_{l = 1}^{L} π_{l} = 1 \end{array}

ここで、 $π_{l}$ がパラメータ、lはカテゴリの番号

最尤推定

尤度関数を立てて、最大化することでパラメータを求める。各データは独立に生起すると仮定すると、尤度関数は以下のようになる。

\begin{array}{r} L (Y; θ) = \prod_{n = 1}^{N} π_{y_{n}} \end{array}

$θ$ はパラメータの集合ということで。

ラベルlの出現回数を $N_{l} = \sum_{n = 1}^{N} δ (y_{n} = l)$ とすると、次のように書き直せる。

\begin{array}{r} L (Y; θ) = \prod_{l = 1}^{L} π_{l}^{N_{l}} \end{array}

よって、対数尤度は以下のようになる。

\begin{array}{r} \log L (Y; θ) = \sum_{l = 1}^{L} N_{l} \log π_{l} \end{array}

ラグランジュの未定乗数法で解く

nokunoさんの記事の通りだけど、一応手でも解いたのでメモ

\begin{array}{r} G = \sum_{l = 1}^{L} N_{l} \log π_{l} + λ [\sum_{l = 1}^{L} π_{l} - 1)] \end{array}

として、

\begin{array}{r} \frac{\partial G}{\partial π_{l}} = \frac{N_{l}}{π_{l}} + λ = 0 \end{array}

よって、

\begin{array}{r} π_{l} = - \frac{N_{l}}{λ} \end{array}

ここで、以下の制約条件に代入すると、

\begin{array}{r} \sum_{l = 1}^{L} π_{l} = 1 \end{array}

$λ = - N$ となることがわかるので、求めたかったパラメータは以下のようになる

\begin{array}{r} π_{l} = \frac{N_{l}}{N} \end{array}

カテゴリの頻度を計算するだけ、カンタン！！

参考

Probability

Ryuichi Yamamoto

Engineer/Researcher

I am a engineer/researcher passionate about speech synthesis. I love to write code and enjoy open-source collaboration on GitHub. Please feel free to reach out on Twitter and GitHub.