理解效应量

一、为什么需要效应量？

在许多产品实验中，我们最常被告知的一句话是：“这个结果显著了，P 值小于 0.05。”

听起来像是个好消息，但实际情况可能是：

• 页面改版带来了显著提升，但转化率只提高了 0.3%
• 推送策略 A 的点击率比策略 B 显著更高，但实际只多点了几下

这类“显著但无效益”的现象非常常见。这时就暴露了一个问题：

统计显著 ≠ 实际重要。

1.1 P 值只告诉你“差异是否可能不是偶然”

P 值（p-value）主要用于判断一个差异是否可信，它回答的是：

“我们观察到这个差异，有多大可能是随机出现的？”

当 P 值小于 0.05，意味着差异在统计意义上成立，即差异“不太可能是偶然”。

但它并不告诉你这个差异有多大、有没有意义、值不值得做。

1.2 产品工作中需要判断：“做这件事，有没有价值？”

实验的最终目的是：

• 找到有价值的改进策略
• 将资源投入到真正有效的优化路径中

而这就涉及另一个关键问题：

这个变化，影响到底大不大？有没有“做了也感知不到”的风险？

仅靠 P 值，无法回答这个问题。

1.3 效应量解决的是“影响有多大”的问题

这时你就需要效应量（Effect Size）：

• 它告诉你：新版本比旧版本好多少，不只是“好不好”
• 它帮助你：判断结果是否达到预期、是否值得投入
• 它让你：能做 ROI 评估，而不是被“显著性”牵着走

举个例子：

• A 版本转化率：10%
• B 版本转化率：10.4%
• P 值：< 0.05（显著）
• 效应量：仅提升了 0.4 个百分点

此时你要问的不是“显不显著”，而是：

“这 0.4% 的提升，值不值得我上线、推广、推全量？”

1.4 忽略效应量的问题

• 资源浪费：上线后发现几乎没有实质影响
• 假判断：以为策略 A 更好，其实效果差不多
• 误激励：团队聚焦“能显著”，而不是“能有效”
• 对实验期望不清：没有明确“多大提升才有意义”

二、什么是效应量（Effect Size）？

效应量（Effect Size）是用来衡量实验组和对照组之间差异有多大的指标。

它不是用来判断“有没有差异”，而是进一步告诉我们：

“这个差异到底大不大、有多强、值不值得做？”

2.1 效应量的核心意义

在产品实验中，你不仅需要知道新版本是否更好（P 值），还需要知道好到什么程度（效应量）。

例如：

• A 版本点击率：5.0%
• B 版本点击率：5.4%
• 效应量 = 0.4%（绝对值） / 提升 8%（相对值）

这个差异虽然小，但在高流量场景下，可能意味着几十万元的 GMV 增长。效应量的意义，往往要结合业务场景来看待。

2.2 常见的效应量形式（针对产品实践）

产品经理常用的主要是“绝对差值 + 相对提升”。它们清晰、直观、便于估算商业价值。

2.3 举例说明效应量怎么看

场景一：转化率提升

• 控制组转化率：8.0%
• 实验组转化率：8.8%
• 绝对提升：0.8 个百分点
• 相对提升：10%
• P 值：0.04（显著）

➡️ 效应量 0.8% 听起来不大，但若日活 100 万，则每天多 8000 次转化。

场景二：页面停留时间提升（连续值）

• 控制组平均停留时长：30 秒
• 实验组：34 秒
• 标准差：8 秒
• Cohen's d = (34 - 30)/8 = 0.5 → 中等效应

➡️ d 值有助于标准化理解结果强度，尤其适用于评分、时长、金额等连续型指标。

2.4 什么时候需要“标准化效应量”？

• 不同实验之间横向对比效果时
• 原始指标单位不易直接感知（如停留时间、平均分）
• 报告需更科学规范时（如科研、投资人汇报）

日常产品实验中，一般使用“绝对值差 + 相对值提升”即可满足业务判断。

---

三、效应量与 P 值的区别与关系

很多产品经理日常只看 P 值，忽略了效应量。但这两个指标并不是替代关系，而是互补关系。

3.1 二者回答的问题不同

举个类比：

P 值像是法官告诉你：“这个案子是真的（成立了）” 效应量是告诉你：“这个案子有多大、值得不值得处理”

3.2 二者的行为机制不同

示例：

• 注册率提升 0.3%，P 值 < 0.01（大样本）

  • 显著，但效应小，可能不值得投入资源上线

• 注册率提升 2.5%，P 值 = 0.08（样本小）

  • 不显著，但方向正确，可能是好苗头，值得继续测试

3.3 为什么要结合使用？

P 值帮助我们判断：这个差异是否“靠谱” 效应量帮助我们判断：这个差异是否“重要”

如果只看 P 值，容易出现：

• 显著但无效益
• 非显著却放弃了有潜力的方案

只有当：

• P 值显著（可信）
• 效应量足够大（值得）

我们才可以更有信心地推动产品上线或资源投入。

4. 在决策中如何使用两者？

建议在实验评估中形成“双指标判断标准”：

---

四、如何计算和理解常见效应量形式

不同的指标类型，需要选择不同的效应量计算方式。好消息是，大多数产品实验中常用的效应量都很容易理解，甚至可以手动计算。

4.1 百分比类指标：使用“绝对差值 + 相对提升”组合

适用于：注册率、转化率、点击率、完成率等指标

计算方式：

• 绝对差值 = 实验组 - 控制组
• 相对提升 = 差值 ÷ 控制组

应用建议：

• 绝对差值决定影响的规模
• 相对提升反映效率的变化

提示：别只报一个数字，两者组合更具判断力。

4.2 连续数值类指标：使用 Cohen's d

适用于：停留时间、打分、消费金额、使用次数等连续型数据

计算公式：

d = \frac{M_2 - M_1}{SD_{pooled}}

• $M_1, M_2$：分别为控制组与实验组均值
• $SD_{pooled}$：两组样本的合并标准差

解读建议（Cohen 提出）：

示例：

• 页面平均停留时间从 30 秒提升到 34 秒，标准差 8 秒
• d = (34 - 30)/8 = 0.5，属于“中等效应”

4.3 事件发生类指标（高级）：Odds Ratio, Risk Ratio

这类计算用于医疗统计较多，在产品中不常单独使用，但部分平台会提供：

• Odds Ratio（比值比）：适合点击/购买类事件发生与未发生的比对
• Risk Ratio（风险比）：适合比较两组用户发生某行为的概率

一般情况下，不建议产品经理手动计算，平台工具会提供可视化解读结果。

4.4 实用建议：如何在工作中快速应用？

4.5 如何判断一个效应量“够大”？

引入一个概念：最小可接受效应量（MDE）

• MDE = 你认为值得上线的最小差值
• 例如：注册率至少提升 1%；点击率至少提升 0.5%

在实验前，最好团队先对 MDE 有共识，这样才能避免：

• 差一点也上线（过早）
• 差很多还犹豫（过谨慎）

---

五、效应量如何用于产品决策

明确上线的“效应量门槛”：不是显著就能上线

显著 ≠ 值得做；要上线，必须“显著 + 效应够大”

你需要和团队达成统一标准，例如：

• 注册率至少提升 1 个百分点
• 页面停留时长至少提升 3 秒
• 购买转化率至少提升 10%

这个标准，就是所谓的 MDE（最小可接受效应量）

实操建议：

• 在实验设计阶段，先设定 MDE
• 不要等实验跑完再去“找差值合理化”

区分“局部优化”与“战略性改动”的效应预期

不同类型的改动，对效应量的要求不一样：

不要对小改动期望过高，也不要低估结构性优化的潜力。

用效应量评估投入产出比（ROI）

你可以用效应量判断一个优化是否值得投入开发、推广资源：

示例：

• 实验提升注册率 0.4%，日注册用户 10 万人 → 多 400 用户/天
• 单用户转化为付费用户价值 ¥50 → 每天增收 ¥20,000
• 推全量预计月增收 ¥60 万，开发成本 ¥10 万

➡️ 效应虽小，但 ROI 很高，可快速上线。

纳入多轮实验评估机制

很多产品优化不会一次就达到满意效果。效应量也可用于衡量多轮实验是否“有进步”：

➡️ 说明策略方向是对的，可以继续迭代、扩大投入。

在团队沟通中统一效应量语言

避免“这个版本好像更好”“提升还行”这种模糊表达，而是使用统一、可量化语言：

• “点击率提升 1.5 个百分点，相对增长 20%”
• “Cohen’s d 达到 0.45，属于中等效应”
• “未达成我们设定的 MDE 0.5%，建议继续优化或放弃”

这种语言建立团队判断共识，也有助于跨团队沟通与资源争取。

---

六、常见误解与实战建议

6.1 误解一：P 值显著就等于“效果不错”

真相：P 值只能告诉你“差异存在”，无法说明“差异多大”或“是否值得做”。

• 转化率提升 0.3%，但因样本大，P 值显著
• 实际业务意义可能非常有限，甚至不够支付优化成本

✅ 建议：任何显著结果都应搭配效应量一起看，明确是否达到业务价值阈值。

6.2 误解二：提升了 2%，就一定值得上线

真相：提升幅度的意义取决于“基数”和“业务场景”。

• 注册率从 10% 提升到 12% → 相对增长 20%，影响大
• 注册率从 1% 提升到 1.2% → 也是提升 0.2%，但实际人数远少

✅ 建议：评估效应量时永远结合基数、场景和预期目标。

6.3 误解三：小效应量就一定无意义

真相：高频、基数大的指标，即使提升 0.5% 也可能带来巨额收益。

• 首页点击率提升 0.5%，但日访问用户 500 万 → 每天多 2.5 万点击
• 广告点击率提升 0.1%，可能等于数十万收入

✅ 建议：评估小效应时结合流量规模、复用次数、业务模型共同判断价值。

6.4 误解四：上线判断靠“感觉”“经验”

真相：缺少效应量标准，容易导致资源错配、团队误判

• 有的项目显著又有高效应，却因表达不清被否决
• 有的策略实际差异小，但因“显著”而仓促上线

✅ 建议：在团队内部设定 MDE（最小可接受效应量）标准，将其纳入每次实验评估流程。

实战建议：产品经理的效应量使用清单