正規化相互情報量とは? |
|
定義 |
2つの確率変数の集合を$X, Y$とする。正規化の方法がひとつではないので、いくつかの定義が考えられる。例えば幾何平均で正規化を行う場合、 |
性質 |
上で定義したNMIはどれも0~1の範囲に収まる。正であることはエントロピーの非負性から明らかなので、最大でも1であり、それは2つの確率変数の関係が決定的に定まりうる場合であることを示す。 定義から2つの確率変数の順番に対して対称なので、一般性を失わずに$H(X) \geq H(Y)$とする。また相互情報量を次のように変形しておくと、議論が明白である。 |
scikit-learnでの実装 |
|