即使是没有任何统计学基础的读者朋友可能也听说过「p 值」,但是鲜有文章能够清楚解释 p 值是什么,以及 p 值在统计学中的作用。本文是 TowardDataScience 的一篇博文,作者条理清楚地解释了 p 值的相关内容,并给出了一个简单的例子,适合读者参考。
还记得我作为暑期实习生第一次在 CERN 海外实习时,大多数人都在讨论,要超过「5-sigma」阈值(这意味着 p 值为 0.0000003)才能确认发现了希格斯玻色子。
那时我对 p 值、假设检验甚至统计显著一无所知。
直到进入数据科学领域后,我终于意识到了 p 值的含义,以及在某些实验中,p 值是如何成为决策工具的一部分的。
因此,我决定在这篇文章中解释什么是 p 值以及如何在假设检验中使用 p 值。希望能帮你更好、更直观地理解 p 值。
本文共分四个部分,从假设检验到理解 p 值,以及根据 p 值指导我们的决策过程。我强烈建议你仔细阅读全文,以便详细地了解 p 值:
假设检验;
正态分布;
什么是 p 值;
统计显著性。
假设检验
在讨论 p 值的意义之前,我们先理解一下假设检验。在假设检验中,常用 p 值确定结果的统计显著性。
我们的最终目标是确定结果的统计显著性。而统计显著性建立在这 3 个简单概念之上:
假设检验
正态分布
p 值
假设检验是用来通过一组数据检验针对总体的声明(零假设)有效性的。如果零假设不成立,我们就会相信备择假设。
换句话说,我们需要提出声明(零假设),并用样本数据来检验声明是否有效。如果声明是无效的,就选择备择假设。就这么简单。
而要知道声明是否有效,就要用 p 值来衡量证据的强度,从而了解到它是否有统计显著性。如果证据支持备择假设,那就拒绝零假设并接受备择假设。后面的章节中会解释这些内容。
我们举个例子来更清晰地说明这一概念,这个例子会贯穿全文同时说明其他概念。
假设某个披萨店声称,他们的平均配送时间小于等于 30 分钟,但你认为他们的配送时间不止 30 分钟。所以你做了假设检验,对配送时间随机采样来检验这一说法:
零假设——平均配送时间小于等于 30 分钟;
备择假设——平均配送时间大于 30 分钟。
这里的目标是确定样本数据中的证据能更好地支持哪种假设(零假设或备择假设)。
本例中用的是单尾检验,因为我们只想知道平均配送时间是否大于 30 分钟。
因为配送时间小于等于 30 分钟都是可以接受的,因此我们忽略另一个方向的可能性。这里想要检验的是平均配送时间是否会大于 30 分钟。换句话说,我们想知道披萨店是否在某种角度上骗了我们。
假设检验的常用方法之一是 Z 检验。这里我们不讨论细节,因为我们想要先理解表面的内容,然后再深入。
正态分布
平均值为 μ 标准差为 σ 的正态分布
正态分布是用来观察数据分布的概率密度函数。
正态分布有两个参数——平均值(μ)和标准差(σ)。
均值是分布的集中趋势。它决定了正态分布峰值的位置。标准差是衡量可变性的标准,它决定了均值到值的下降幅度。
正态分布通常和 68-95-99.7 规则(上图所示)相关:
68% 的数据在平均值(μ)±1 个标准差(σ)内;
95% 的数据在平均值(μ)±2 个标准差(σ)内;
99.7% 的数据在平均值(μ)±3 个标准差(σ)内。
还记得文章开头说的发现希格斯玻色子的「5-sigma」阈值吗?在科学家证实发现希格斯玻色子之前,5-sigma 约为数据的「99.9999426696856%」。设置这么严格的阈值是为了避免潜在的错误信号。
好了。现在你可能想知道「正态分布是如何应用在假设检验中的」。
因为是用 Z 检验进行假设检验的,因此要计算 Z 分数(用于检验统计量),这是数据点到平均值的标准偏差数。在本文的例子中,每个数据点都是收集到的披萨配送时间。
计算每个数据点的 Z 分数的公式。
对每个披萨配送时间点计算 Z 分数,并绘制出标准正态分布曲线时,x 轴上的单位从分钟变成了标准差单位,因为已经通过计算(变量减去平均值再除以标准差,见上述公式)将变量标准化了。
标准正态分布曲线是很有用的,因为我们可以比较测试结果和在标准差中有标准单位的「正态」总体,特别是在变量的单位不同的情况下。
Z 分数的标准正态分布
Z 分数可以告诉我们整个数据相对于总体平均值的位置。
我喜欢 Will Koehrsen 的说法——Z 分数越高或越低,结果就越不可能偶然发生,结果就越有可能有意义。
但多高(低)才足以说明结果是有意义的呢?
这就是解决这个难题的最后一片拼图——p 值。根据实验开始前设定的显著水平(alpha)检验结果是否具有统计学意义。
什么是 P 值
与其用维基百科给出的定义来解释 p 值,不如用文中的披萨配送时间为例来解释它。
对披萨配送时间随机采样,目的是检查平均配送时间是否大于 30 分钟。如果最终的结果支持披萨店的说法(平均配送时间小于等于 30 分钟),那就接受零假设。否则,就拒绝零假设。
因此,p 值的工作就是回答这个问题:
如果我生活在披萨配送时间小于等于 30 分钟(零假设成立)的世界中,那我在真实世界中得到的证据有多令人惊讶?
p 值用数字(概率)回答了这一问题。
p 值越低,证据越令人惊讶,零假设越荒谬。
当零假设很荒谬的时候还能做什么?可以拒绝零假设并转而选择备择假设。
如果 p 值低于之前定义的显著水平(人们一般将它称为 alpha,但我将它称之为荒谬阈值——别问为什么,我只是觉得这样更容易理解),那么就可以拒绝零假设。
现在我们理解了 p 值是什么意思。接下来把 p 值用到文中的例子中。
现在已经抽样得到了一些配送时间,计算后发现平均配送时间要长 10 分钟,p 值为 0.03。
这意味着在披萨配送时间小于等于 30 分钟(零假设成立)的世界中,由于随机噪声的影响,我们有 3% 的概率会看到披萨配送时间延长了至少 10 分钟。
p 值越低,结果越有意义,因为它不太可能是由噪声引起的。
大多数人对于 p 值都有一个常见的误解:
p 值为 0.03 意味着有 3%(概率百分比)的结果是偶然决定的——这是错误的。
人们都想得到确切的答案(包括我),而这也是我在很长时间内都对 p 值的解释感到困惑的原因。
p 值不能证明任何事。这只是一种根据惊讶程度做出合理决策的基础方法。Cassie Kozyrkov
我们是如何用 0.03 的 p 值来做出合理决策的(重点):
想象我们生活在平均配送时间小于等于 30 分钟的世界——因为我们信任披萨店(我们最初的信念)!
分析收集的配送时间样本后,p 值为 0.03,低于 0.05 的置信水平(假设在实验之前就设置好了),因此可以说结果是具有*统计显著性*的。
因为我们一直相信披萨店可以在 30 分钟内配送披萨,现在需要考虑的是这一信念是否仍然有意义,因为结果告诉我们,披萨店没能兑现承诺,而且结果是具有统计学意义的。
那该怎么办?我们先试着用各种方法使初始信念(零假设)成立。但是因为披萨店的口碑越来越差,并且经常找导致配送延迟的借口,我们自己都觉得再相信披萨店是很可笑的事情,因此,我们决定拒绝零假设。
最终,我们做出了不再从这家披萨店买披萨的合理决定。
到现在为止,你可能已经注意到了,在上面的例子中,p 值不能证明或决定任何事。
在我看来,当结果有统计学意义时,p 值可以作为挑战初始信念(零假设)的工具。在我们认为自己的信念荒谬(假设 p 值表明结果具有统计显著性)的那一刻,就放弃了自己的初始信念(拒绝零假设)并做出了更合理的决定。
统计显著性
这是最后一步,将所有内容放在一起,并检验结果是否有统计学意义。
只有 p 值是不够的,还要设定阈值(即显著水平——alpha)。为了避免偏差,实验开始之前就应该设定 alpha。如果观测的 p 值小于 alpha,那就可以得出结论——结果具有统计显著性。
经验法则一般将 alpha 设定为 0.05 或 0.01(同样,值取决于你的问题)。
如上文所述,假设在实验开始前将 alpha 设置为 0.05,得到的结果具有统计显著性,因为 p 值(0.03)小于 alpha。
为便于参考,整个实验的基本步骤如下:
陈述零假设;
陈述备择假设;
确定 alpha 值;
找到和 alpha 水平相关的 Z 分数;
根据公式计算检验统计量;
如果检验统计量的值比 alpha 水平的 Z 分数小(或 p 值小于 alpha 值),拒绝零假设。否则,接受零假设。
步骤 5 计算检验统计量的公式。
原文:https://towardsdatascience.com/p-values-explained-by-data-scientist-f40a746cfc8
p值与假设的关系(p值是什么)
2024-11-22 12:08:30 作者:未成拥 网址:https://m.xinb2b.cn/know/llv157219.html
- 400卡路里等于多少食物
- 2024-11-22400卡路里等于多少食物食物种类不同,400千卡等于食物的重量不相同400千卡约等于344.8克米饭、1142.8克意粉或面条、109.0克高粱米、320.0克香蕉,等等热量一般来源于食物中的碳水化合物、蛋白质、脂肪,1克碳。
- 家常腌肉的方法(家常腌肉做法)
- 2024-11-22家常腌肉做法腌肉一般选择在冬至前后,室温低于摄氏10度时比较容易腌制好将新鲜猪肉(一般是五花肉或腿肉)切成5厘米左右的长条状,用盐0.2千克、花椒25克均匀地擦在肉上然后,把肉放入腌制容器,最好用陶瓷或搪瓷容器,。
- 高压锅不盖阀煮粥可以吗(熬粥也会爆炸使用高压锅)
- 2024-11-22熬粥也会爆炸使用高压锅高压锅是家家户户常备的厨房用具十分方便实用但若是使用不当高压锅也会变成“炸弹”近日江苏省连云港市一位老人在厨房用高压锅煮绿豆粥突然发生爆炸厨房一片狼藉儿媳张女士表示这个爆炸的高压锅已经用了15年了当时。
- 小麦成交数量最新消息(小麦市场有被炒作)
- 2024-11-22小麦市场有被炒作这几天小麦涨势喜人,厂家涨,拍卖价格也在推涨相较之前几个月的沉寂,小麦是真的复苏了,你信不信,小麦都在赶超玉米拍卖屡创新高,粉厂一次能大涨6分,很多人表示头发懵,像做梦但其实,我们都明白,这不是梦,是。
- 超声耦合剂最重要的作用是(超声检查时黏糊糊的耦合剂)
- 2024-11-22超声检查时黏糊糊的耦合剂最近,鲁南制药一年一度的员工免费健康体检正在火热进行中!众多查体项目中,小南最不愿意做的就是各项彩超了不仅等待时间长而且体验感稍差因为检查时,医生会在检查部位或者超声检查探头上涂抹的一种透明的像润滑剂。
- 如何分辨你的男朋友是不是渣男(什么样的男朋友才算渣男)
- 2024-11-22什么样的男朋友才算渣男Q:什么样的男朋友算渣男?A:在《恋爱先生》的开播盛典中,主持人问过江疏影这个问题她的回答是:三不的男人,就很渣其实,你喜欢就喜欢、不喜欢就不喜欢哪怕,在一起后还是甩了别人但还是让人知道得明明白白的不。
- 李连杰和成龙的票房谁高(1993年香港电影票房排行榜)
- 2024-11-221993年香港电影票房排行榜香港电影经过1992年的辉煌开始低迷1993年全年只有《唐伯虎点秋香》过4000万,全年只有5部超过3000万西片强势登顶,《侏罗纪公园》席卷全球周星驰在高光时刻后略有滑落,两部电影进入前十离成龙电影。
- 仰阿莎的故事(有关仰阿莎的传说)
- 2024-11-22有关仰阿莎的传说在很古很古的时候,在一个山谷中间,有一个绿幽幽的深潭,山的两边有苍翠的树木和奇丽的花草井里的泉水清幽幽,能照得见天空的云霞、飞鸟,能照得见井旁的树木和花草有一天,从东方飞来一群鹭鸶,从西方飞来一群水鸭。
- 王艺哲个人资料简介(专访对决王艺哲)
- 2024-11-22专访对决王艺哲总策划|资姐文案|书书排版|林小末近期,由欧豪、王景春领衔主演,吕晓霖、王艺哲等主演的刑侦反黑电视剧《对决》讨论度极高该剧凭借悬疑推理的强情节与具有现实意义的社会题材,赋予了刑侦剧不一样的内涵《对决》。
- 学了十几年英语还是不会说(学了这么多年的英语)
- 2024-11-22学了这么多年的英语从小到大学了这么多年的英语,又是资深烤鸭可是你分得清西冷,菲力,羊肉串,五花肉的英文吗?接下来小文姐姐就带大家看看,干饭人一定要清楚地食物英文提到羊肉大家很可能会联想到两词:mutton和lambmu。
- 变频洗衣机和普通洗衣机有区别吗(普通洗衣机和变频洗衣机有什么区别)
- 2024-11-22普通洗衣机和变频洗衣机有什么区别功能不同普通的洗衣机最的功能就是洗衣,还有一个特点就是节水,初此之外,没有什么特别的功能,而变频洗衣机具有智能调节的功能,能够根据洗衣机内衣物的重量感应、水量感应、脏污程度感应,来自动进行洗涤时间的设。
- 桂花水晶饼做法(精品菜谱挑战赛)
- 2024-11-22精品菜谱挑战赛By夏日里的一颗大柠檬用料桂花干5g黄油120g糖粉60g低筋面粉200g鸡蛋1个做法步骤1、桂花干用温水浸泡半个小时2、黄油室温软化,加糖粉用打蛋器打发3、打发至颜色发白4、加入鸡蛋液继续搅拌5、打。