贝叶斯公式的推导

这里用文氏图(Venn diagram)来推导一下贝叶斯定理。
假设A和B为两个不相互独立的事件。
交集(intersection): A∩B001.jpg
上图红色部分即为事件A和事件B的交集。
并集(∪): A∪B
002.jpgA∪B=A+B- A∩B
由Venn diagram可以看出,在事件B已经发生的情况下,事件A发生的概率为事件A和事件B的交集除以事件B:
003.png
同理,在事件A已经发生的情况下,事件B发生的概率为事件A和事件B的交集除以事件A:
004.png
注:P(A∩B)表示 A,B 事件同时发生的概率,如果 A 和 B 是相互独立的两个事件,那么: P(A|B)=P(A)
由上面的公式可以得到:
P(A∩B)=P(A|B)P(B)=P(B|A)P(A)
然后,我们就可以得到贝叶斯定理:
005.png
其中: P(A)先验概率(prior probability)P(B|A)条件概率(conditional probability)P(A|B)后验概率(posterior probability)P(A∩B)联合概率(joint probability),通常写成P(A,B)

贝叶斯公式其根本思想是【后验概率 = 先验概率 * 调整因子】,其中【先验概率】就是在信息不完整情况下做出的主观概率预测;【调整因子】则是在信息收集不断完善的过程中对先验概率的调整;【后验概率】则是经过调整后最终作出的概率预测。

举个简单的例子

女神喜欢你的先验概率记作 ,女神冲你笑的概率记作 .那么女神冲你笑后喜欢你的概率是006.png
P(B|A)/P(B)称为"可能性数"(Likelyhood),这是一个调整因子,也就是新信息B带来的调整,作用是将先验概率(之前的主观判断)调整到更接近真实概率。 可能性函数你可以理解为新信息过来后,对先验概率的一个调整。
如果"可能性函数"P(B|A)/P(B)>1,意味着"先验概率"被增强,事件A的发生的可能性变大;
如果"可能性函数"=1,意味着B事件无助于判断事件A的可能性;
如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小。
根据女神经常冲你笑这个新的信息,调查走访了女神的闺蜜,最后发现女神平日比较高冷,很少对人笑,也就是对你有好感的可能性比较大(可能性函数>1)。所以我估计出"可能性函数"=1.5
我们设定女神喜欢你的概率为 P(A)=0.5 ,此时女神冲你笑后喜欢你的概率是P(A|B)=0.75

 此时新带来的信息使得你更确认女神喜欢你。