先验概率和后验概率

通过上面几节的学习,我们知道贝叶斯公式长这样:
007.png
其中: P(A)先验概率(prior probability),P(B|A)是条件概率(conditional probability),P(A|B)是后验概率(posterior probability)。P(A∩B)是联合概率(joint probability),通常写成P(A,B)
贝叶斯公式其根本思想是【后验概率 = 先验概率 * 调整因子】,其中【先验概率】就是在信息不完整情况下做出的主观概率预测;【调整因子】则是在信息收集不断完善的过程中对先验概率的调整;【后验概率】则是经过调整后最终作出的概率预测。
那我们不禁想问,什么是先验概率,后验概率以及调整因子呢?
我们通过一个简单的问题一起来了解一下这些名词
朋友小鹿说,他的女神每次看到他的时候都冲他笑,他现在想知道女神是不是喜欢他呢?
谁让我学过统计概率知识呢,下面我们一起用贝叶斯帮小鹿预测下女神喜欢他的概率有多大,这样小鹿就可以根据概率的大小来决定是否要表白女神。

表白女神Yes or No?

首先,我分析了给定的已知信息和未知信息:
1)要求解的问题:女神喜欢你,记为A事件
2)已知条件:女神经常冲你笑,记为B事件
所以,P(A|B)表示女神经常冲你笑这个事件(B)发生后,女神喜欢你(A)的概率。
1)先验概率
我们把P(A)称为"先验概率"(Prior probability),也就是在不知道B事件的前提下,我们对A事件概率的一个主观判断。
对应这个例子里就是在不知道女神经常对你笑的前提下,来主观判断出女神喜欢一个人的概率。这里我们假设是50%,也就是不喜欢你,可能不喜欢你的概率都是一半。
2)可能性函数
P(B|A)/P(B)称为"可能性函数"(Likelyhood),这是一个调整因子,也就是新信息B带来的调整,作用是将先验概率(之前的主观判断)调整到更接近真实概率。
可能性函数你可以理解为新信息过来后,对先验概率的一个调整。比如我们刚开始看到“人工智能”这个信息,你有自己的理解(先验概率-主观判断),但是当你学习了一些数据分析,或者看了些这方面的书后(新的信息),然后你根据掌握的最新信息优化了自己之前的理解(可能性函数-调整因子),最后重新理解了“人工智能”这个信息(后验概率)
如果"可能性函数"P(B|A)/P(B)>1,意味着"先验概率"被增强,事件A的发生的可能性变大;
如果"可能性函数"=1,意味着B事件无助于判断事件A的可能性;
如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小。
还是刚才的例子,根据女神经常冲你笑这个新的信息,我调查走访了女神的闺蜜,最后发现女神平日比较高冷,很少对人笑,也就是对你有好感的可能性比较大(可能性函数>1)。所以我估计出"可能性函数"P(B|A)/P(B)=1.5(具体如何估计,省去1万字,后面会有更详细科学的例子)
3)后验概率
P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后,对女神喜欢你的概率重新预测。
带入贝叶斯公式计算出P(A|B)=P(A) P(B|A)/P(B)=50% 1.5=75%
因此,女神经常冲你笑,喜欢上你的概率是75%。这说明,女神经常冲你笑这个新信息的推断能力很强,将50%的"先验概率"一下子提高到了75%的"后验概率"。
在得到概率值后,小鹿自信满满的发了的表白,稍后,果然收到了女神的回复。预测成功。
现在我们再看一遍贝叶斯公式,你现在就能明白这个公式背后的关键思想了:
我们先根据以往的经验预估一个"先验概率"P(A),然后加入新的信息(实验结果B),这样有了新的信息后,我们对事件A的预测就更加准确。
因此,贝叶斯定理可以理解成下面的式子:
后验概率(新信息出现后的A概率) = 先验概率(A概率) x 可能性函数(新信息带来的调整)
贝叶斯定理关于随机事件A和B的条件概率的一则定理(条件概率还记得不?P(A|B),读作B的条件下A的概率)。
由此,我们便感受到了贝叶斯定理的神奇之处,还等什么,赶快去把贝叶斯定理应用起来呀!