先验概率,后验概率,似然概率
老是容易把先验概率,后验概率,似然概率混淆,所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义,定义取自维基百科和百度百科: 先验概率
可以看到二者定义有一个共同点,即先验概率是不依靠观测数据的概率分布,也就是与其他因素独立的分布。所以可以用(P(theta))表示。 后验概率
简单的理解就是这个概率需要机遇观测数据才能得到,例如我们需要对一个神经网络建模,我们需要基于给定的数据集X才能得到网络参数θ的分布,所以后验概率表示为(P(θ|X)) 似然概率
似然概率很好理解,就是说我们现在有一堆数据,现在需要构建一组参数对这些数据建模,以使得模型能够尽可能地拟合这些数据。所以我们要做的就是从很多组参数中选出一组使得模型对数据的拟合程度最高,所以也常常说最大似然概率,即 (underset{θ}{operatorname{argmax}}P(X|θ))。 总结现在总结一下:
它们三者存在这样的关系: [P(θ|X)=frac{P(X|θ)P(θ)}{P(X)}] 一般而言数据(P(X))的分布是知道的,所以有 [P(θ|X) ∝ P(X|θ)P(θ)] 此外,当参数θ是均匀分布时,后验概率和似然概率成正比,即: [P(θ|X) ∝ P(X|θ)]
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |