先给一个有条件的结论:如果一份“快速排名”效果截图只展示成功页面、不交代样本总量与失败页面,它仍然可能真实,但只能当作个案证据,不能当作方法有效的证据。识别选择性展示的关键不是怀疑截图真假,而是核对它有没有把分母补齐。当你能拿到“同一批页面、同一时间窗口、全部结果”这三样东西时,选择性展示的风险会明显下降;拿不到时,结论应降级为“待验证”。
截图是一种裁剪行为。做的人通常挑选排名上升、流量曲线好看的页面,把没动静、掉排名、被合并的页面留在视野之外。这不一定是撒谎,而是展示者与查看者对“同一事实”的理解不同:展示者认为“我证明了这个方法能出效果”,查看者需要的是“这个方法在多大比例上出效果”。
一个可区分的证据是时间起点。真实的全量复盘通常会说明起止日期、页面数量、哪些页面中途被改过。只给结果截图时,你往往看不到起点状态,也就无法判断上升是优化带来的,还是页面本来就在上升通道里。
另一个可区分的证据是页面类型是否单一。如果截图里的页面全是低竞争长尾词、或是本来就已有权重的老页面,那么它说明的是“这些条件下有效”,而不是“快速排名普遍可行”。把这两件事混在一起,是选择性展示最常见的形态。
当团队里有人相信截图、有人怀疑截图时,争论往往停留在态度层面。更有效的做法是把分歧拆成可以逐项核对的问题:
这三个问题的作用不是审问,而是把“你信不信”换成“我们能不能看到同一组数据”。如果对方能补出未展示页面的大致分布,选择性展示的嫌疑就下降;如果只能反复强调“你看这个涨得多好”,那这份材料就只能停在参考位置。
假设某次优化涉及 40 个页面,截图展示了其中 10 个排名上升的页面。
情形一:另外 30 个页面里,大部分保持原位、少数小幅波动,且时间窗口内没有其他改动。这时可以得出的结论是“该方法在这批词上有部分效果,成功比例约四分之一”,是否值得继续,取决于你能否接受这个比例。
情形二:另外 30 个页面里,有一部分排名先升后掉,且掉的时间点与某次批量改动重合。这时截图展示的就不是“方法有效”,而是“短期波动被截取”。同样的十张图,因为分母不同,下一步动作完全不同:前者可以小范围复制,后者应先停下批量操作、回到单页验证。
这个例子里的数字只用于说明比较方法,不代表任何真实项目的比例。
补齐分母并不自动等于结论可靠。一个反例是:展示者给出了全部页面,但时间窗口恰好选在算法波动期,或选在一次站内改版之后。此时排名变化可能来自外部环境或结构改动,而不是被宣传的那套方法。也就是说,“数据完整”和“归因正确”是两件事。看到全量数据时,仍要问一句:这段时间里还有没有别的变量同时发生?
反过来,只看到截图也不必直接否定。若截图附带可核对的查询词、页面地址和日期,且你愿意自己用相同条件观察一段时间,它仍可作为一条线索。关键在于把它当线索还是当结论。
与其继续争论截图,不如选 5 到 10 个与截图条件接近的页面,记录当前排名与流量,按同样思路处理,约定一个观察周期后回看全部结果,包括没变化的那些。这个动作的结果会直接决定下一步:如果多数页面没有可辨认的变化,就把截图降级为个案;如果出现与截图方向一致的变化,再考虑扩大范围,同时继续保留失败样本的记录。
把失败样本写进记录,是让后续判断不再依赖单张截图的最简单办法。