结算模式与指标

三路分流测试

同时对比三个素材或漏斗版本的测试。

三路分流测试(3-way split testing)同时对比三个素材、落地页或漏斗版本,在它们之间分配流量,通常通过追踪器轮换平均分配,而不是经典 A/B 测试的两个版本。它在每批流量里评估更多假设,从而压缩测试周期,当素材疲劳或 Offer 暂停的速度快于顺序测试能跑完的速度时,这一点很重要。

三路测试的代价在统计上:每个版本只拿到三分之一的流量,所以每一路达到显著性所需的时间按比例变长,而两两比较三组,会成倍增加出现假赢家的概率。它适合有真实流量规模、或者假设真正彼此不同的投手:三个不同的角度,而不是同一个按钮的三种颜色。流量少的时候,有纪律的 A/B 顺序测试胜过一个永远得不出结论的三路分流测试。

投手怎么说

“周末把追踪器设成三个角度 33/33/33 轮换,然后砍掉两个输家,在赢家上继续迭代。”