假设检验（Hypothesis Testing）

编程入门行业动态更新时间:2024-10-15 02:30:25

1.假设检验

1.1 假设检验的流程

我们给出关于某问题的一个假设，收集与这个问题相关的数据，看看这些数据是否支持我们的观点

假设检验的步骤：
（1）Set the Hypothesis（设立假设）
（2）Set the Significance Level, Criteria for a decision（为决定设立置信水平，标准）
（3）Compute the test statistics（计算检验统计量）
（4）Make a decision（做出决定，是拒绝原假设还是无法拒绝原假设）

以调查人口为例的假设检验步骤

1.2 步骤一：原假设与备择假设

以某饭店服务时间为例，某店声称每个订单平均时间 μ = 45 \mu=45 μ=45s，有一天你又去了这个店，在 20 个订单样本中，你发现平均服务时间是 48 秒，标准差是 8 秒. 鉴于这些数据你相信这个店的说法吗？
原假设：（Null Hypothesis） H 0 ： μ ≤ 45 H_0：\mu \leq 45 H0：μ≤45
备择假设：（Alternative Hypothesis） H 1 ： μ > 45 H_1：\mu \gt 45 H1：μ>45

1.3 步骤二：显著性水平（ α \alpha α水平）

置信水平 1 − α 1-\alpha 1−α、显著性水平 α \alpha α

个人理解：对假设多大程度上可信制定一个标准，以此判断什么时候假设可接受，什么时候假设可拒绝【注意：确定 α \alpha α水平要在收集数据之前】

显著性水平描述了我们能够接受的不同结果的限度.
0.05 的 α 水平意味着, 在原假设成立的前提下, 如果从数据中观测到的结果出现的概率小于 5%, 就拒绝原假设.
α = P ( 拒绝 H 0 ∣ H 0 为真 ) \alpha= P(\text{拒绝}H_0 | H_0\text{为真}) α=P(拒绝H0∣H0为真)

显著性检验
对于一个假设检验，当样本容量确定之后，我们无法同时使其犯第一类与第二类错误的概率都很小，在此种情况下，我们总是控制其犯第一类错误的概率，使其不大于给定的 α \alpha α(0< α \alpha α<1)，这种检验问题就称为显著性检验问题，给定的数α称为显著性水平，一般取 α \alpha α为0.1,0.05,0.01
在进行显著性检验时，常选用一个统计量 T T T,称为检验统计量：当 T T T在某个区域 W W W上时，就拒绝 H 0 H_0 H0,否则就不能拒绝 H 0 H_0 H0,称区域 W W W为 H 0 H_0 H0的拒绝域，而拒绝域 W W W的选取是通过控制其第一类错误的概率α而进行的.

图片来源：Statistics for Analytics and Data Science: Hypothesis Testing and Z-Test vs. T-Test

双侧检验
图片来源：Statistics for Analytics and Data Science: Hypothesis Testing and Z-Test vs. T-Test

单侧检验

1.4 步骤三：检验统计量

检验统计量
对假设进行检验，以便做出接受还是拒绝原假设的决定
z-统计量、t-统计量

计算出的检验统计量为横轴上的某个值，观察这个统计量落在拒绝域还是接受域

如果检验统计量落在接受域，我们拒绝原假设失败，接受原假设
如果检验统计量落在拒绝域，我们拒绝原假设成功，接受备择假设

图片来源：单侧假设检验与双侧的区别是什么?

图片来源：T检验与Z检验

1.5 步骤四：p值

p值就是可以拒绝零假设的最低显著性水平，通常我们希望它越小越好。

p值的好处
1.我们只需要一个值就可以对假设做出决定。我们不需要计算两个不同的值，比如临界值和检验统计量
2.我们可以通过直接将其与显著性水平进行比较，来测试任何期望的显著性水平，不需要为每个显著性水平计算检验统计量和临界值了

如果 p < α p\lt \alpha p<α，拒绝原假设;
如果 p > α p\gt \alpha p>α，拒绝原假设失败

1.6 例子

笔记来源：Statistics for Analytics and Data Science: Hypothesis Testing and Z-Test vs. T-Test

1.6.1 单样本Z检验

假设我们需要确定女孩在考试中的平均分数是否高于600分
我们知道女生得分的标准差是100。所以，我们通过随机抽样收集了20个女孩的数据并记录了她们的分数。我们选择⍺值(显著性水平)为0.05作为假设检验的标准

由于 p < α = 0.05 p\lt \alpha=0.05 p<α=0.05，我们可以拒绝原假设，并根据我们的结果得出结论，女生平均得分高于600

上图中的p值如何得出？
上面我们已经计算出检验统计量 z = 1.83 z=1.83 z=1.83，即上分位数为 x α / 2 = 1.83 x_{\alpha/2}=1.83 xα/2=1.83下分位数 x α / 2 = − 1.83 x_{\alpha/2}=-1.83 xα/2=−1.83，通过查找标准正态分布表中分位数对应的值可以得出p值

图片来源：如何通俗地理解分位数？

图片来源：标准正态分布表

图片来源：标准正态分布表

p = 1 − 0.4664 = 0.336 p=1-0.4664=0.336 p=1−0.4664=0.336
如果是单侧检验的话，深蓝色部分的面积为p值
图片来源：标准正态分布表

1.6.2 双样本Z检验

假设我们想知道女生的平均分数是否比男生高10分。
我们知道女生得分的标准差是100，男生得分的标准差是90。
然后我们随机抽样收集20个女孩和20个男孩的数据，并记录他们的成绩。最后，我们选择⍺值(显著性水平)为0.05作为假设检验的标准

双样本z检验

1.6.3 单样本t检验

假设我们想确定女生在考试中的平均分数是否超过600分。
我们没有关于女孩分数的方差(或标准偏差)的信息。
为了进行t检验，我们随机收集10个女孩的成绩数据，我们选择⍺值(显著性水平)为0.05作为假设检验的标准

我们的 p > 0.05 p\gt 0.05 p>0.05，因此我们没有拒绝零假设，也没有足够的证据来支持女生在考试中平均得分超过600的假设

1.6.4 双样本t检验

假设我们想要确定，男孩在考试中是否平均比女孩多15分。
我们没有关于女孩或男孩分数的方差(或标准偏差)的信息。进行t检验。
我们随机收集10个男孩和女孩的成绩数据。我们选择⍺值(显著性水平)为0.05作为假设检验的标准。

双样本检验

p < 0.05 p\lt 0.05 p<0.05，所以我们可以拒绝零假设，并得出结论，平均来说，男孩比女孩在考试中多15分。