贝叶斯统计
首先谈概率，概率这件事大家都觉得自己很熟悉， 叫你说概率的定义 ， 你却不一定说的出，我们中学课本里说概率这个东西表述是一件事发生的频率， 或者说这叫做客观概率。
而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案， 他说概率是我们个人的一个主观概念， 表明我们对某个事物发生的相信程度。 如同 Pierre Lapalace 说的： Probability theory is nothing but common sense reduced to calculation. 这正是贝叶斯流派的核心，换句话说，它解决的是来自外部的信息与我们大脑内信念的交互关系。
两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。
基于条件概率的贝叶斯定律数学方程极为简单：
贝叶斯分析
贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用， 它告诉我们当我们要预测一个事物， 我们需要的是首先根据已有的经验和知识推断一个先验概率， 然后在新证据不断积累的情况下调整这个概率。整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析 。
理解贝叶斯分析最好的方法即图像法， 这里的 A 的面积即先验， 后验是阴影占蓝圈的百分比。
贝叶斯分析可以瞬间理解一些常用的理论， 如幸存者偏差 ，你发现一些没读过书的人很有钱，事实上是你发现就已经是幸存者了（对应上图中小红圈）， 而死了的人（红圈外的大部分面积）你都没见到啊。还有阴谋论 ， 阴谋论的特点是条件很多很复杂， 但是条件一旦成立，结论几乎成立， 你一旦考虑了先验，这些条件成立本身即很困难， 阴谋论不攻自克。
注： 图上红圈和篮圈的面积， 很少我们在开始就知道， 这才是应用中的难点。
此处贝叶斯分析的框架也在教我们如何处理特例与一般常识的规律。如果你太注重特例（即完全不看先验概率） 很有可能会误把噪声看做信号， 而奋不顾身的跳下去。 而如果恪守先验概率， 就成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高， 因为他们会重视特例， 但也不忘记书本的经验，根据贝叶斯公式小心调整信心，甚至会主动设计实验根据信号判断假设，这就是我们下一步要讲的。
贝叶斯决策
在刚刚讲到的贝叶斯统计分析的基础上， 我们就可以引出一个更核心的概念， 贝叶斯决策。
贝叶斯决策主要包含四个部分： 数据（D）、假设（W）、目标（O）、决策（S） 。
此处的数据即之前讲到的证据， 假设是我们要验证的事实， 目标是我们最终要取得优化的量， 决策时根据目标得到的最后行为。 与上一步贝叶斯分析增加的部分是目标和决策。假设在问题里如果是连续的往往以参数空间的形式表达。
然后我们可以按照如下步骤做：
第一， 理清因果链条，哪个是假设，哪个是证据
第二，给出所有可能假设，即假设空间
第三，给出先验概率
第四，根据贝叶斯概率公式求解后验概率，得到假设空间的后验概率分布
第五，利用后验概率求解条件期望，得到条件期望最大值对应的行为
贝叶斯决策如果一旦变成自动化的计算机算法，它就是机器学习。