同时上线页面改动和促销活动后,如果只看总流量上升就宣布改动有效,结论几乎一定被高估。限制归因结论的关键动作不是找更复杂的模型,而是先把这次叠加拆成可分别观察的入口,并明确哪些结论只能保留为“待验证”,哪些可以当场定论。
叠加促销时最常见的矛盾是:站内统计显示整体访问上升,但你想验证的那个改动所在入口,其份额反而下降。比如首页改版后同时发了一张全场优惠券,结果首页自然访问占比变小,优惠券落地页占比变大。此时“商城流量提升”确实发生了,但它不能归给首页改动。
这个矛盾的根源在于:促销会重新分配流量,而不是等比例放大所有入口。所以叠加场景下,总量指标几乎失去诊断价值,必须下沉到入口级别。
面对同一组数据,至少有两种成立条件不同的解释:
两种解释都成立,区别在于你观察的是“入口自身质量”还是“全站总量”。如果证据只有全站总量,就无法在两者之间做选择。
要限制归因结论,需要收集能区分上述解释的证据,而不是更多总量数字:
一个假设例子:某商城在改版搜索框的同时发放满减券。站内统计显示总访问上升,但搜索框所在区域的曝光次数因顶部横幅挤占而下降。此时即使搜索带来的订单绝对值上升,也不能得出改版有效的结论,因为曝光条件已经改变。下一步应做的是:在促销结束后,用同一入口的曝光与行为比例重新对照,而不是继续看总量。
当证据不足以区分两种解释时,正确动作是把结论标记为“待验证”并冻结,而不是先写进复盘报告。冻结之后,下一步动作取决于你能否找到干净的对照:
这个动作的结果会直接影响下一步:冻结结论意味着你不会基于错误归因去放大或回滚改动,而是把资源留给一次可分离的验证。反过来,如果强行归因,下一步很可能是在错误方向上继续投入。
叠加促销时,第三方估算流量、搜索引擎报告和站内统计往往给出不同数字。三者口径不同:第三方估算基于抽样和模型,搜索引擎报告只覆盖来自搜索的点击,站内统计覆盖全部入口但受促销落地页干扰。任何单一指标都不能单独还原搜索算法或改动效果。
因此,限制归因结论的最后一步是:在报告中明确写出每个数字来自哪个口径、覆盖哪些入口、是否受促销挤占。缺少这层说明时,流量上升只能说明“发生了某件事”,不能说明“是哪件事起了作用”。