先给结论:额度有限时,不要按“看起来最典型”挑样本,而要按“能区分两种解释”挑样本。具体做法是,先写下两个互相竞争的原因假设,再各选一组最可能产生不同结果的查询对象,让两组结果出现可核对的分歧。若两组结果几乎一样,说明这次查询没有信息量,应换假设而不是加量。
挑选样本前,先判断你面对的是哪类条件。
判断依据不是你的直觉,而是能否提前说出“如果假设成立,结果会怎样不同”。说不出来,就不该花额度。
有效的样本来自有效的假设。把“效果不好”改写成两个可检验的版本:一是查询对象本身有问题,二是查询条件设置有问题。前者应表现为同一条件下不同对象结果分化,后者应表现为同一对象在不同条件下结果分化。
动作:先写下一句预测,例如“若问题在对象,则A组与B组结果应明显不同;若问题在条件,则同一对象换条件后结果应变化”。然后只查能验证这句话的最少对象。结果若支持其中一方,下一步就锁定该方向继续查;若两组都无分化,说明假设选错了,应回到上一步重写,而不是追加样本。
额度紧张时,中心样本往往最没信息量,因为它和多数对象相似,结果容易落在预期区间。边界样本更能暴露机制:
这个顺序的价值在于,第一组结果会直接决定第二组是否还值得查。若下限样本已失败,上限样本的优先级就下降,可把额度留给别的假设。
出现与直觉相反的结果时,不要立刻下结论。至少排除三种解释:查询条件与对象不匹配、数据源本身覆盖不全、时间窗口与对象生命周期错位。这三种都能让结果归零或反转,而不代表你的判断被推翻。
可核对的证据是:换一个条件重查同一对象,若结果改变,问题更可能在条件;换一个同类对象用相同条件,若结果一致,问题更可能在数据源或时间窗口。只有排除了这些,反常结果才值得当作新信息。
假设你有十次查询额度,想判断某类页面是否值得继续投入。不要平均分给十个页面。先选两个属性差距最大的页面,用同一条件各查一次。若结果分化明显,再各加一个同类页面确认是否稳定;若结果接近,则改为同一页面换两个条件各查一次。这个例子的数字仅用于说明比较方法,实际额度以你所用的工具为准,具体功能与限制需要自行核对。
样本的信息量不取决于数量,而取决于它能否让你的下一步动作发生变化。若一组查询结束后,你的下一步和查询前完全一样,这组样本就没有产生决策价值。