AB 实验计算器

本地测试版 · v0.1

规划需要多少用户，理解目前的差异，并检查指标是否定义正确。

支持真实输入与 CSV / Excel 上传。文件在本机浏览器解析，不上传、不持久保存。仅适用于两组独立用户的比例指标、预定固定周期双侧分析。

希望发现多大的变化？

先定义主指标，再规划样本。空输入不会自动使用示例。

填写基准和幅度，查看对应目标比例。

每日新增入组人数怎么算、怎么估？

实验已开始：按首次有效入组统计

用本次实验分组 / 入组记录，取每个用户最早有效入组时间，按日期统计去重人数。当天新增 = 当天首次入组的对照用户数 + 实验用户数，已经入组的用户再次活跃不重复计数。

按预先定义的入组规则统计：分配即入组用首次分配时间；指定场景触发分组用首次有效触发时间。与最终指标分母一致，不能事后只选看过页面或完成某个行为的人。

实验未开始：用历史同口径流量模拟

  1. 选与预计周期可比的历史时间段，按本次处理前资格与触发规则筛选。
  2. 以模拟起点为实验开始，跨整个窗口去重，用户只在首次符合条件的日期贡献新增。
  3. 按本次实验覆盖比例估算人数，再按对照 / 实验分流比例拆分。覆盖比例与两组内部 1:1 分流不是一回事。

示例：某日首次符合条件 10,000 人，假设随机覆盖 50%，两组合计预计新增 5,000 人；1:1 分流各约 2,500 人。这是规划假设，不是系统算出的实际记录。

固定日均可参考“预计累计新增入组人数 ÷ 天数”，包括无新增日期。不要直接用 DAU × 分流比例。存量用户逐渐入组后每日新增可能下降；若有逐日预测，应分别累计两组直到各自达标。本版暂不计算逐日预测。

高级设置 · 显著性水平与检验功效

α 与目标功效共同用于规划样本量。实验后根据数据算 p 值，与 α 比较。提高 / 降低只定义目标，检验始终为双侧。

样本量规划

填写数据后点击“计算样本量”。

算之前，先把问题定义好

α、检验功效与 p 值：门槛、检出能力和数据结果

检验功效不是 p 值。α 和目标功效在实验前设定；p 值根据取得的实验数据计算。

概念含义用途
α（显著性水平）无真实差异时控制名义误报风险，例如 5%事前设定；实验后作为判断门槛
功效（1−β）有指定真实差异时，检出显著差异的概率，例如 80%事前规划样本量
p 值无差异假设下，出现当前这样或更极端统计量的概率数据算出后与 α 比较

检验功效：发现指定真实差异的能力

如果真实付费率从 5% 提高到 5.5%，按计划样本量、方法与结束规则重复实验，功效 80% 表示约 80% 能检出差异、20% 漏报。不是本次实验有 80% 概率有效，也不保证任意大小提升都能被发现。其他条件相同时，提高功效、检测更小差异需要更多样本。

α：事先设定的名义误报风险

α = 5%：假设两组确实无差异、检验假设成立且按预定规则进行一次检验，长期重复名义上约 5% 会误报显著。本页是近似方法，实际误报率不保证恰等于 5%。它不是“这次显著结论错误概率 5%”。

p 值：无差异假设下数据有多极端

p = 0.03 表示无真实差异假设下，出现当前这样或更极端统计量的概率为 3%；不表示无效概率 3%，1−p 也不是有效概率或功效。双侧检验考虑提高和降低两方向。

先固定 α，再计算 p。未舍入的 p < α 才判显著，p ≥ α 尚未显著；不能看完数据再调整 α。显著不等于值得上线，不显著不等于没有效果或两组等效。还要看效果大小、区间、业务门槛和护栏。

第一类与第二类错误：误报和漏报
实际 / 判断检出差异未检出差异
实际无差异第一类错误：误报正确未报
实际有差异检出第二类错误：漏报

功效 = 1−β，β 针对指定幅度的真实差异。α 管误报，功效管检出能力。反复看并“显著就停”、事后挑显著指标会改变风险，不能直接沿用单次检验解释。

实验观测指标：主指标、人群、分母与窗口

指标定义卡

  • 业务目标与预先指定主指标
  • 处理前资格、随机分组单位
  • 分子 / 分母、用户去重规则
  • 入组起点、完整观察窗口
  • 业务门槛、护栏、辅助指标

常见问题

  • 不能事后挑显著指标替代主指标
  • 避免只看处理后进入支付页的人
  • 同一用户多次事件不是独立样本
  • 不能混比观察 1 日与 7 日的用户
  • 护栏不显著不等于证明无损害

MDE 是希望检出的幅度，不是效果预测；业务门槛是值得实施的幅度。统计显著不能修复埋点或分组问题。多个正式检验需多重比较处理，本版不提供该校正。

统计方法与首版边界

两比例 score 检验（Miettinen–Nurminen 方差校正 N/(N−1)，非 Yates 连续性校正）；通过反演同一检验计算绝对差异置信区间。样本量为包含双尾的正态功效近似，并复核整数人数，不是精确二项功效保证。

每组事件、非事件及零假设下期望人数须均 ≥ 5。这是透明的近似适用门槛，不保证精确覆盖率；不满足时不自动改用其他检验，也不添加伪计数。

置信水平为 1−α。95% 区间的含义是在相同条件下重复抽样并用同一方法构造区间，名义上约 95% 会覆盖真实差异，不是本次真实差异有 95% 概率位于区间。

不支持连续指标、用户级明细、聚类 / 配对随机实验、多组自动比较、序贯停止、多重比较校正或自动 SRM 诊断。