贝叶斯笔记

1.P(h | D) a P(h) * P(D | h)(注：那个符号的意思是“正比例于”，不是无穷大，注意符 号右端是有一个小缺口的。)这个式子的抽象含义是：对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独 立的可能性大小(先验概率， Prior )”和“这个猜测生成我们观测到的数据的可能性大小” (似然， Likelihood )的乘积。2个现实的模型往往只提取出几个与结果相关度很高，很重要的因素(cause)。这个时 候观察数据会倾向于围绕你的有限模型的预测结果呈正态分布于是你实际观察到的结果 就是这个正态分布的随机取样，这个取样很可能受到其余因素的影响偏离你的模型所预测 的中心，这个时候便不能贪心不足地试图通过改变模型来 “完美”匹配数据，因为那些使结 果偏离你的预测的贡献因素不是你这个有限模型里面含有的因素所能概括的，硬要打肿脸 充胖子只能导致不实际的模型。3.模型比较理论(Model Comparasion)与贝叶斯奥卡姆剃刀(Bayesian Occams Razor)实际上，模型比较就是去比较哪个模型(猜测)更可能隐藏在观察数据的背后。其基本思 想前面已经用拼写纠正的例子来说明了。我们对用户实际想输入的单词的猜测就是模型， 用户输错的单词就是观测数据。我们通过：P(h | D) a P(h) * P(D | h)来比较哪个模型最为靠谱。前面提到，光靠 P(D | h) (即“似然”)是不够的，有时候还需 要引入 P(h) 这个先验概率。奥卡姆剃刀就是说 P(h) 较大的模型有较大的优势，而最大似 然则是说最符合观测数据的(即 P(D | h) 最大的)最有优势。贝叶斯 -贝叶斯奥卡姆剃刀 + 最大似然似然估计先验概率噺 口E E二一二Feature extraction ProposalsSyntheses and verification首先是视觉系统提取图形的边角特征，然后使用这些特征自底向上地激活高层的抽象概念 (比如是 E 还是 F 还是等号)，然后使用一个自顶向下的验证来比较到底哪个概念最佳 地解释了观察到的图像。学过线性代数的大概都知道经典的最小二乘方法来做线性回归。问题描述是：给定平面上 N 个点，(这里不妨假设我们想用一条直线来拟合这些点一一回归可以看作是拟合的特例，即 允许误差的拟合)，找出一条最佳描述了这些点的直线。一个接踵而来的问题就是，我们如何定义最佳？我们设每个点的坐标为(Xi, Yi)。如果直线 为y = f(x)。那么(Xi, Yi)跟直线对这个点的“预测”：(Xi, f(Xi)就相差了一个AYi = |Yi - f(Xi)|。最小二乘就是说寻找直线使得(AY 1)人2 + (AY2)人2 + .(即误差的平方和)最小， 至于为什么是误差的平方和而不是误差的绝对值和，统计学上也没有什么好的解释。然而贝 叶斯方法却能对此提供一个完美的解释。我们假设直线对于坐标Xi给出的预测f(Xi)是最靠谱的预测，所有纵坐标偏离f(Xi)的那 些数据点都含有噪音，是噪音使得它们偏离了完美的一条直线，一个合理的假设就是偏离路 线越远的概率越小，具体小多少，可以用一个正态分布曲线来模拟，这个分布曲线以直线 对 Xi 给出的预测 f(Xi) 为中心，实际纵坐标为 Yi 的点 (Xi, Yi) 发生的概率就正比于 EXP-(AYi)A2(EXP(.J代表以常数e为底的多少次方)。现在我们回到问题的贝叶斯方面，我们要想最大化的后验概率是：P(h|D) x P(h) * P(D|h)又见贝叶斯！这里h就是指一条特定的直线，D就是指这N个数据点。我们需要寻找一 条直线 h 使得 P(h) * P(D|h) 最大。很显然， P(h) 这个先验概率是均匀的，因为哪条直线 也不比另一条更优越。所以我们只需要看 P(D|h) 这一项，这一项是指这条直线生成这些数 据点的概率，刚才说过了，生成数据点(Xi, Yi)的概率为EXP-(A丫忙2乘以一个常数。而 P(D|h) = P(d1|h) * P(d2|h) * . 即假设各个数据点是独立生成的，所以可以把每个概率乘 起来。于是生成N个数据点的概率为EXP-(A丫1)人2 * EXP-(A丫2)人2 * EXP-(A丫3)人2 * . =EXPH(AY1)2 + (AY2)2 + (AY3)2+最大化这个概率就是要最小化(AY 1)A2 + (Y 2)A2 + (AY 3)A2 + 。熟悉这个式子吗？