独立性を仮定せずにナイーブベイズぽく同時確率を求めたい
初投稿です。雰囲気で書いてる部分あり
P(X), P(Y), P(Z), P(X, Y), P(Y, Z), P(Z, X)
上のものを使ってなるべく下に近いものを求めたい
P(Y, Z |X)
どうしよう？まずベイズの定理は以下
P(A, B) = P(A|B) P(B) = P(B|A) P(A)
あとナイーブベイズ
P(A)とP(B)は独立と仮定する。このときP(A, B) = P(A) P(B)
なんとなく思い浮かんだ下の(1)が近そう(弱い仮定のもとで近似式が等式として成り立つ)で(2)はもっと近そうな気がする
(1)
P(Y, Z |X) ≒ P(Y|X) P(Z|X)
= P(X, Y) P(X, Z) / P(X)^2
(2)
P(Y, Z |X) ≒ P(Y|X) P(Z|X) P(Y, Z) / (P(Y), P(Z))
= P(X, Y) P(Y, Z) P(Z, X) / (P(X)^2 P(Y) P(Z))
(１)については
ナイーブベイズのようにP(Y|X) と P(Z|X)が独立(ただしP(X)とP(Y)、P(X)とP(Z)は独立でなくてもよい)と仮定すると、
P(Y, Z|X) = P(Y|X) P(Z|X)
これをベイズの定理で変形すれば(1)の近似式を等式に置き換えたものになる。
(2)について
まずP(A)とP(B)の相互作用の度合い（私が勝手に考えたもの）*1 ))を下のようにおいてみる。AとBが独立なら相互作用度は常に1になる。
P(A, B) / (P(A) P(B))
(2)は(1)をP(Y)とP(Z)の相互作用度で割ったもの
うまく説明できないが割ったほうが(1)より良い気がする。
(2)は「P(Y|X)とP(Z|X)の相互作用度がP(Y)とP(Z)の相互作用度が等しい」を仮定したものだ。この仮定のもとでは(2)の近似式は等式として成り立つ。
これは(1)の条件よりゆるい気がする。なぜなら
P(Y|X)とP(Z|X)が独立 ⇛ P(Y)とP(Z)が独立
っぽくて、このとき
P(Y|X)とP(Z|X)が独立 ⇛ これらの相互作用度が常に1
P(Y)とP(Z)が独立 ⇛ これらの相互作用度が常に1
で相互作用度が等しくなるから。
あと(2)を変形すると下の通り対称式になるから(2)は妥当っぽいんだよね。。
P(X, Y, Z) ≒ P(X, Y) P(Y, Z) P(Z, X) / (P(X) P(Y) P(Z))
tex使う気力がなかった…
