先给结论:报告页数不等于对象数量,去重前必须先把“页”还原成“对象标识”,再决定哪些旧记录退出、哪些保留。只按页数相减或按名称去重,通常会把同一对象的多条历史记录误判为多个对象,也会把确实不同的对象合并掉。
报告页数多于实际对象数量,常见有两种解释,处理方式完全不同。
把这两种混在一起处理,就会出现“去重后数量对不上”的反复。正确顺序是先判断属于哪一种,再选去重键。
不需要复杂工具,导出原始明细后做三步核对即可。
这三组证据的作用是:标识重复指向翻页问题,时间与来源分散指向对象问题,抽样比例决定后续用哪种去重键。判断错方向,后面的合并规则都会错。
去重键的选择取决于你要保留什么。旧内容、旧系统或旧合作关系退出时,保留标准通常是“仍可触达且仍有业务价值”。
实际操作中可先用手机号或账号做主键,名称加归属人做辅助校验。对辅助校验冲突的记录单独列出,人工确认后再决定保留哪一条。这样做的结果是:自动去重处理大部分记录,冲突记录不进入自动合并,避免误删仍有价值的对象。
去重的目的不是把数量压到最小,而是让保留部分仍然可用。建议把记录分成三类:
退出记录不要直接物理删除,先标记状态并保留原标识。这样做的实际影响是:如果后续发现误判,可以按原标识恢复,而不是重新从旧报告里翻找。观察类记录单独存放,下一次去重时优先复核,避免每次全量重算。
假设某次导出报告共十二页,每页五十行,合计六百行,但系统内实际对象只有四百二十个。先检查标识列,发现其中一百二十行标识重复且时间戳相同,属于翻页重复,去掉后剩四百八十行。再按手机号去重,又合并掉六十行,剩四百二十行,与系统数量一致。这个例子说明:页数与对象数量的差额,往往由翻页重复和对象重复共同造成,分两步处理才能对上。若第一步后数量仍高于系统数量,说明还有跨系统对象重复,需要进入辅助校验流程。
去重完成不是终点。把保留、观察、退出三类状态回写到记录中,并注明本次使用的去重键和判断时间。下一次报告页数再次对不上时,先看是否新增了来源系统或合作关系,再决定是否调整去重键。如果新增来源的标识规则与旧系统不同,直接沿用旧键会把新对象误合并;此时应先对新来源做小样本比对,确认标识含义一致后再合并。这样处理能让去重规则随对象来源变化而更新,而不是每次从零排查。