注册改版 A/B 实验解读预览
一句话结论：**继续迭代，不直接全量。**合成数据中注册完成率显著提升，但次日留存下降，核心链路的净收益尚不明确。
| 指标 | 对照组 | 实验组 | uplift | 95%置信区间 | 解释 |
|---|---|---|---|---|---|
| 注册完成率 | 60.0% | 63.2% | +5.3% | +1.3至+5.1个百分点 | 支持改版 |
| 次日留存 | 32.0% | 30.4% | -5.0% | -3.4至+0.2个百分点 | 有负向风险 |
| 7日付费 | 4.8% | 5.1% | +6.3% | -0.5至+1.1个百分点 | 证据不足 |
样本量说明：原Prompt写两组各5万，但本演示只构造各5000。付费率低，当前功效不足以识别小幅提升；真实分析必须按实际样本复算，而不是套用上表。
前3天注册提升较大，之后收敛，可能存在新奇效应。按天拆分用于看方向，不应每天重复显著性检验。三个主要指标同时判断时，应预先指定主指标，并对多重比较作校正或把次要指标视为护栏。
下一步实验
- 保留简化表单，但在注册后增加价值引导；
- 主指标设为“注册后7日完成关键行为”，注册率只作过程指标；
- 预注册最小可检测效应、样本量和停止规则；
- 按渠道检查样本比例失衡，避免流量分配污染。
真实结论还需核对随机化、去重口径、曝光时点和机器人流量。没有这些检查，显著性只是漂亮数字。