金币减产 A/B 测试：留存差异归因（2026-07-10）

O!Hole · 本测试仅在 Android 投放 · A=0 对照 / B=1 减产 · 数据截至 UTC 2026-07-09 17:10 · 来源 ES france_hole

B 组的次留（D1/D2）差异属于数据波动；D3 起的留存下滑是真实的，分析显示由金币减产导致——在 7/4 重分组前后两批独立用户中形态复现，合并后 D3/D4 统计显著。传导方式以「奖励获得感整体变差的累积效应」为主、「破产后当场放弃」为辅。收入端（发行后台）：B 依靠更强的早期变现在首日领先，D2 起被 A 反超，5 日 LTV A $1.994 vs B $1.773——本轮减产配置在留存与收入上均不占优，A 全面胜出。

D1 / D2 差异（B−A）

+1.8 / −3.1pp

置信区间含 0 → 波动，非真实差异

D3 差异（两期合并）

−5.3pp

95%CI [−9.6, −1.1] → 真实，相对 −21~35%

D4 差异（两期合并）

−6.1pp

95%CI [−10.3, −1.8] → 真实，相对 −29~52%

5 日 LTV（发行后台）

$1.99 vs $1.77

B −11%，且差距随天数扩大

0 · 结论的两个层次

① 波动层（D1 / D2）

两期 D1 差 +3.2 / +0.8pp、D2 差 −3.2 / −3.0pp，全部不显著——头两天 B 没有任何真实劣势，看到的差异属于正常波动。

② 真实层（D3+）

两批独立分组用户复现同一形态：D3 −5.3pp、D4 −6.1pp（合并 CI 不含 0），P2 干净期更陡（−8.9 / −11.0pp），且 P2 每个队列日方向一致。

1 · 两批独立用户的留存曲线

7/3 17:00 UTC（北京 7/4 凌晨 1 点）发生玩家重分组（配置不变）：原 A 约 24% 换入 B、原 B 约 20% 换回 A，玩家在下次登录落新组。以此把样本切成两段独立实验：P1（重分组前创建，按旧标签）与 P2（重分组后创建，按新标签），组内标记翻转者剔除。

A 对照组（原经济）B 实验组（金币减产）

P1：重分组前用户的留存曲线创建于 6/30 – 7/3 17:00 UTC · A=387 / B=342 · 按重分组前标签

P2：重分组后用户的留存曲线创建于 7/3 17:00 UTC 之后 · A=568 / B=556 · 按重分组后标签

两期合并：B−A 留存差与 95% 置信区间P1、P2 两批独立分组用户按逆方差合并 · 区间不含 0 = 统计显著

P2 各队列日的 D3 留存：4/4 全部 B 更低* = 落在 7/9 的读数（当日约完成 70%）

P2 各队列日的 D4 留存：3/3 全部 B 更低逐队列方向一致，排除单日买量波动

2 · 归因分析：D3+ 的留存下滑是由金币减产导致的

依据一（排除其它解释）：两组为同平台随机分组、买量来源一致，且实测关卡难度与推进（下图到达率、逐关通关率）、体力、会话次数均无差异——两组体验中唯一的系统性差异就是金币配置。随机对照下，显著的组间留存差只能归因于该配置。依据二（配置到行为的完整传导，个体级实测）：结算金币 −45%/局 → 余额腰斩 → 过半玩家付不起复活 → 复活响应腰斩、失败局增多 → 留存恰在存量耗尽的 D3 分叉。

A 对照组（原经济）B 实验组（金币减产）

关卡结算金币 / 局（分组标签实测）B 组配置 6/30 生效：单局 22 → 12 金币（约 −45%）；A 组全程稳定

日终金币余额中位数（P2）B 约为 A 的一半，且差距不随天数收敛（900 = 一次金币复活的价格）

「付不起一次复活」玩家占比（日终余额 < 900，P2）B 组从 D1 起过半玩家处于破产状态（P1 复现：D1 63%/39%）

每次失败后的复活率（P2）超出每日 1 次免费广告复活后，续命只能花金币——B 的复活响应腰斩

以失败告终的局数 / 人（P2）少了金币续命，B 更多对局以失败收场

首日关卡推进（P2）：两组完全一致到达率——难度与内容体验无差异，排除「B 更难」的解释

通关局数 / 人（P2 活跃玩家）D2 起 B 的推进节奏放缓

3 · 传导的具体方式：累积效应为主，急性破产为辅

时间吻合：B 的余额在 D1-D2 跌破「一次复活」线（破产率 62%/53% vs A 35%/29%），留存正好在 D3 分叉。但个体层面的拆解显示，「死亡当场没钱→放弃」只是次要路径：

A 对照组（原经济）B 实验组（金币减产）

次日流失率：按当天最后一局的结果分（P2，D1-D2 合并）关键证据：B 连「以通关收尾」的玩家流失率也远高于 A —— 是累积性奖励体验变差，不是单次挫败

激励视频完成次数 / 活跃玩家·日（P2）口径：event 223 仅计完成（step 1002）；覆盖结算双倍/额外奖励/广告复活/商店等激励位，插屏不经服务器、ES 不可见

破产状态与次日流失（P2，D1→D2）破产玩家在两组都更易流失；结构分解：B 的破产占比高出 36pp，可解释其超额流失的约 22%

组 · 日终余额	次日流失率	样本
A · ≥900（付得起复活）	40%	97
A · <900（破产）	54%	37
B · ≥900	53%	55
B · <900（破产）	61%	96

读法：破产使流失 +8~14pp（两组方向一致，P1 复现）；但 B 即使非破产、甚至当天通关收尾（左图 58% vs 39%），流失也系统性偏高 → 主体机制是金币获得速度砍半后，奖励获得感 / 成长反馈整体变差的累积流失，破产瞬间只是其中最尖锐的表现。

行为补偿：B 组更依赖激励视频金币缺口推着 B 玩家去看更多激励位

按「仅完成」口径重算后，B 组每活跃日的激励视频完成次数略高于 A：结算双倍金币 d0-d2 高 3~8%（4.85/6.60/5.94 vs 4.50/6.23/5.74 次/人），广告复活高 20~45%（受每天 1 次上限限制：0.25/0.43/0.45 vs 0.17/0.42/0.37 次/人）。这与发行后台「B 激励广告播放更多」的方向一致。注意 ES 只覆盖发奖励的激励视频，插屏广告与广告收入均不在 ES 可见范围，以发行后台为准。

4 · IAP 付费

IAP 付费（event 205）付费率无显著差异；人均金额被个别大 R 主导、两期方向相反，不能作为结论

期 · 组	付费率	付费者	订单	人均金额*
P1 · A	4.9%	19	28	46.4
P1 · B	5.3%	18	107	148.8 → 剔最大 R 后 64.5
P2 · A	4.0%	23	58	64.7 → 剔最大 R 后 55.2
P2 · B	4.5%	25	32	46.7 → 剔最大 R 后 40.6

* 后台原始金额单位。P1-B 表面碾压完全来自单个大 R（占该组总额 57%）。商店金币直购人数两组几乎相同（16~22 人）——「减产逼玩家买金币」的信号没有出现。发行后台的内购 LTV（下一节）同样是 A 更高。

5 · 发行后台数据验证：留存交叉一致，LTV 也是 A 更高

发行后台（SayHeracles）7/4–7/8 新增队列，Android / US / Google Play，1.1.8.1=A（n=448）/ 1.1.8.2=B（n=443）。两点：① 留存与 ES 端独立分析交叉一致；② 补上了 ES 看不到的收入端——B 的变现强度确实更高（首日插屏 5.97 vs 5.57 次/人、广告 LTV 前 2 日领先），但留存塌陷让「变现更狠」变成了「人没留住」，累计 LTV 在 D2 被 A 反超且差距持续扩大。

A 对照组（原经济）B 实验组（金币减产）

累计 LTV / 用户（发行后台，7/4–7/8 队列）B 靠更强的早期变现在首日领先；D2 起 A 反超并持续拉开——留存塌陷吃掉了变现优势 · 5日 A $1.994 vs B $1.773（B −11%）

发行后台留存（7/4–7/8 队列）：与 ES 端交叉一致D1/D2 持平、D3 起 B 显著走低——两套独立口径同一结论

广告 LTV / 用户（发行后台）B 前 2 日领先（1D $1.116 vs $1.083，插屏更多）；3D 起被 A 反超，5日 $1.431 vs $1.484

内购 LTV / 用户（发行后台）D1 起 A 领先且持续扩大：5日 $0.510 vs $0.342（B −33%）

关键读数（5 日累计 / 用户）发行后台原值

指标	A (1.1.8.1)	B (1.1.8.2)	B−A
总 LTV	$1.994	$1.773	−11.1%
广告 LTV	$1.484	$1.431	−3.6%（前 2 日 B 领先，3D 反超）
内购 LTV	$0.510	$0.342	−33%
插屏 / 人	8.48	8.50	≈持平（首日 B +7%）
激励 / 人	1.13	1.04	−8%（队列人均口径）

激励次数两个口径不矛盾：按「活跃日人均」B 略高（第 3 节，看得更勤），按「队列全体人均」B 略低（存活的人更少）。这正是 B 的问题的缩影——单个玩家被榨得更狠，但盘子在缩小。

6 · 初步判定

留存：A 更好（确定）

B 的 D3/D4 真实低 5~6pp（相对 −25~50%），分析显示由金币减产导致，非波动；ES 与发行后台交叉一致。

收入：A 更好（5 日口径）

B 早期变现领先，但 D2 起总 LTV 被 A 反超：5 日 −11%（广告 −3.6%、内购 −33%），且差距随天数扩大——变现优势没能覆盖留存损失。

若保留减产方向

问题集中在「D1-D2 余额跌破复活线 + 奖励节奏变差」：可以给玩家提供更多通过观看广告获得复活的机会（目前每天仅 1 次，可增加次数），或对 D1-D3 新用户保护早期产出，而非全线回调。

总判定：A 全面胜出，本轮 B 配置不宜全量。留存与 5 日 LTV 两条线都是 A 更高，且 LTV 差距还在随观察天数扩大；如需更稳可再看 D7 LTV，但方向大概率不会反转。