概率论基础"/>
概率论基础
概率论基础
随机试验
样本空间
随机事件
随机变量
条件概率 (考试抄过答案?)
独立
条件独立
联合概率
边缘概率全
概率公式
贝叶斯定理(相信直觉还是理性?)
链式规则
Reference
心得
随机试验
随机试验满足的条件:
-
试验可在相同条件下重复进行
-
试验的可能结果不止一个, 且所有可能结果可事先预知
-
每次试验的结果只有一个, 不能事先预知
样本空间
随机试验所以的结果集合,记为 S,其中的元素 x 为样本点
举例子 ---- 掷骰子 (不接受各种不给正常结果的奇奇怪怪的骰子)
掷骰子就是一个随机试验(可以检验下上面三个条件是否都满足)
样本空间
样本点x可取 1, 2, 3, 4, 5, 6其中任意一个
随机事件
随机事件是样本空间的子集
讲人话
我们设 “掷一次骰子得到素数” 为一个事件 ,只要该集合中任意一种情况发生事件x就发生了
那么发生事件x的概率为
随机变量
随机变量是定义在样本空间上的映射 (函数), 通常是将样本空间映射到数字空间, 为了方便数学表达
举例子 ---- 抛硬币(不接受可以直立的奇怪硬币)
抛硬币的结果的样本空间
额外定义一个数集
随机变量为 x
因为 x 是映射 (函数), 我们可以把它定义为从集合 S到 集合 T之间的映射
或者
都行
注意
对于随机事件 A, 表示随机事件发生的概率
对于随机变量 X, 表示随机变量取值为 的概率
比如随机变量我们取上面第一种定义方式. 那么
-
定义随机事件 为 “抛硬币结果为正面”,
-
如果定义随机事件 A 为 "抛硬币结果为直立" (前面说了不接受奇怪的硬币,那你非要这么定义也没办法啊),
条件概率
当某条件发生时,事件发生的概率. 记为 .
注意:
我们知道 是一个关于随机变量 X的概率分布. 当 X条件发生后,可能改变了 X的样本空间. 但此时条件概率仍然是一个关于随机变量 X的概率分布. 如果穷举所有 X所有可能的取值,它们所对应的概率之和一定为1.
举个例子 ---- 期末考试
在概率论考试上,混哥(没怎么学) 和 卷哥(杨超越附身的那种) 考试坐邻座,混哥想让卷哥给他抄答案. 矫情的卷哥一把遮住了答案. 问混哥答对这道题的概率是多少?
假设正确答案为随机变量
在没看到卷哥答案之前,混哥心中的正确答案的概率分布为 , X的样本空间为 ,因为没听过课混哥无奈只能瞎蒙,每个答案都有相同可能正确, 所以, 而 可能取值对应概率的总和等于1. ,因此此时混哥答对的概率为 .
当混哥看到卷哥手后面露出来的曲线 (条件),混哥心里会心一笑。此时在混哥心中正确答案的概率分布为 P(X | 卷矫露曲) 不再是 . 因为混哥从样本空间中剔除了 , 图片中的曲线明显是 或者 嘛!(假设卷哥答案正确),此时 的样本空间变成了 . 在 “卷矫露曲” 事件发生后,混哥的世界发生了翻天覆地的变化!!! P(X = A | 卷矫露曲) = P(X = B |卷矫露曲) ,而且 ,那么此时混哥答对的概率为 !
独立
两个事件 A 和 B 相互独立,
举个例子
上面的期末考试的例子,"混哥答对" 和 "卷矫露曲" 两个事件是不是独立的呢?
要知道这两个事件是否独立, 关键看
-
在 “卷矫露曲” 事件发生前
-
在 “卷矫露曲” 事件发生后,
由上所述 , 所以 “混哥答对” 和 “卷矫露曲” 这两个事件不独立!
条件独立
两个事件A和B条件独立
画个图分分钟明白 ---- 别老举栗子了,累
图1: 事件 A与事件 B相互独立时的样本空间描述
图2: 事件 A与事件 B条件独立时的样本空间描述
注解: U 为所有事件的样本空间, A 为事件 A的样本空间, B 为事件 B的样本空间, C 为事件 C的样本空间
图1 很好理解, A 和 B 没有交集, 事件 A与事件 B相互独立
图2 稍微有点费解
-
在不考虑以事件 C为条件的情况下, 事件 A 和事件 B不相互独立, 因为两个事件集合有交集
-
在考虑以事件 C为条件的情况下, 事件 A和 事件 B相互独立, 因为此时事件 A 和事件 B 的样本空间改变了, 在事件 C发生后, 事件 A的样本空间变为 A∩C, 而事件 B的样本空间变为 B∩C, 此时, 事件 A和事件 B在以事件 C 为条件下条件独立
由此,我们可以知道 事件间的条件独立(三个事件之间)弱于事件间的独立, 注意在条件 C发生后, 事件 A 和事件 B的样本空间改变了.
联合概率
所有条件同时发生的概率。此时概率记作
其中事件为 , 为随机变量
边缘概率
将某个事件的概率在以另外某个事件为条件下累积的概率。记为
边缘概率与联合概率的关系
其中 x 是随机变量 X所有可能的取值, y是随机变量 Y所有可能的取值。
看图说话
上图可以根据叶丙成老师很形象的说法:切面包定理
考虑累积 A 在每个条件下 Ci 下切下的 “面包片”, 最后, Gong Gong! 得到了我们的大面包 A
全概率公式
一个事件在许多其他事件的影响下, 整体的概率总和. 记为,
解释
联系切面包定理. 事件 Ci 发生的先验概率为 , , 可以说全概率公式是 切面包定理 的公式表达
贝叶斯定理 (直觉还是理性?)
公式:
与条件概率区别
条件概率公式:
如果 X与 Y相互独立 , 此时
深入理解贝叶斯定理
接下来我们用贝叶斯定理解释一个心理学现象 ---- 可得性偏见 《思考的快与慢》
思考下面的问题:
有一个孩子,邻居如此描述他:“史蒂夫非常腼腆,少言寡语,很乐于助人,却对他人或者这个现实世界没有兴趣。他谦恭有礼,做事井井有条,中规中矩,关注细节。”请问史蒂夫更可能从事哪种职业,图书管理员还是农民?
思考后… 你的答案是农夫?还是图书馆管理员?
假如 样本空间 中一共210个人, 其中10位为图书馆管理员, 另外200位为农民 (很符合我们现实世界中的比例)
我们分析人类是如何犯 可得性偏见 这个毛病的
根据直觉大部分人会给出 史蒂夫是“管理员” 这个答案 (然鹅是错误的!)
我们人类的大脑擅长使用比较的思维, 在这个问题中我们只简单比较考虑 "具有细心品质的管理员占管理员总数的比例" 和 "具有细心品质的农民占农民总数的比例"的大小, 这两个数据都是似然值. 根据我们的经验大概有 40% 的图书馆管理员我们题目中提到的井井有条,中规中矩,关注细节的品质, 而只有 10% 的农民具有这种品质. 由此我们得出 斯蒂芬更可能是图书馆管理员 这个错误结论. 所以 本质是似然值限制了我们理性思考的能力. 我们只对比了两个比例, 却忽略了这两个比例背后的数量, 具有细心品质的管理员有4个, 具有细心品质的农民却有20个! 理性的说史蒂芬是农民的概率更大才对.
然后看看贝叶斯如何帮助我们得到理性的答案
我们令 "史蒂芬为图书馆管理员" 为 H, 这也是我们的假设, 那么 "史蒂芬是农民" 就表示为 , 而 "…他谦恭有礼,做事井井有条,中规中矩,关注细节…" 是对史蒂芬的描述, 我们称之为证据(evidence), 记为 E .
是史蒂芬为图书馆管理员的概率, 等于 , 我们称之为先验概率,
是史蒂芬为农民的概率, 等于
是假设史蒂芬是图书馆管理员, 他具有我们问题中描述的性格的概率, 我们称之为 似然值(Likelihood),
, (扩展一句: 在我们的各种机器学习算法中, 似然值描述了我们的模型产生观测数据的概率)
是假设史蒂芬是农民, 他具有我们问题中描述的性格的概率, 也是 似然值,
其实我们上文的问题就是根据这些对史蒂芬的性格描述 来确定他是 图书馆管理员的概率, 用数学应该表示为, 根据我们的贝叶斯公式 ,
是具有细心这种品质的人的概率, , 根据之前提到的切面包定理,
所以根据这些对史蒂芬的性格描述 来确定他是 图书馆管理员的概率为
类似的我们可以推出根据这些对史蒂芬的性格描述 来确定他是 农民的概率为
所以根据贝叶斯理论给出的理性答案, 史蒂芬最有可能是农民!
人们做决策时大多利用自己熟悉的或能够凭想象构造而得到的信息,导致赋予那些易见的,容易记起的信息以过大的比重,但这只是应该被利用的信息的一部分,还有大量的其他的必须考虑的信息,他们对于正确评估和觉得同样有着重要的影响,但人们的直觉推断却忽略了这些因素. 这告诫我们在思考问题时, 不要只注重likelihood, 我们还要考虑整体的 evidence 对事物的影响.
链式规则
Reference
-
[台大老师 叶丙成 顽想学几率]
-
[南特大学概率图模型] by Philippe LERAY & Hoel LE CAPITAINE
-
[tick_tokc97 的CSDN博文 联合概率、边缘概率、条件概率之间的关系&贝叶斯公式]
-
[Inside_Zhang 的CSDN博文 独立与条件独立]
-
[链球选手 的知乎文章 Think Bayes - 我所理解的贝叶斯定理]
-
[Bayes’ Theorem Explained]
-
[3Bule1Brown Bayes theorem, and making probability intuitive]
心得
这是我们的第一篇文章, 我们以后每周都会更新一篇文章, 这篇文章花了7个多小时, 希望对读者有帮助. 文章内容都是我们查找资料, 使用自己的语言和理解来写成的. 我们想要写文章主要目的是和大家分享, 因为这是一个 win-win 的游戏, 我们希望大家可以通过我们的文章对知识有更好的理解, 同时我们也找到了大家这个可靠的监督机制. 有什么问题, 欢迎大家批评指正, 也欢迎转载交流.
编撰人: Jason
审稿人: Starz
日期: 26/02/20
更多推荐
概率论基础
发布评论