先给结论:页数多于实际对象,通常不是工具算错,而是同一对象被多种键重复计数。去重前先判断差异属于哪一类,再决定保留、改写还是退出,否则容易把有效数据一起删掉。
报告页数与实际对象数量不一致,常见来源有三类,处理方式完全不同。第一类是同一对象有多个访问地址,例如带参数、带尾部斜杠、大小写不同,工具按地址分别计数。第二类是同一对象被不同栏目或列表重复引用,工具按引用位置计数。第三类是对象本身确实存在多个版本,例如同一内容有不同语言或不同规格,这类不应去重。
判断方法很简单:从报告里抽出一组疑似重复的条目,逐条记录它们的标识字段,看差异出现在哪一列。如果只是地址不同而标题、主体内容一致,属于第一类;如果地址相同但来源栏目不同,属于第二类;如果地址和内容都不同,先不要动。
保留适用于差异来自真实版本。比如同一产品的不同规格页,各自有独立搜索意图,强行合并会让用户找不到对应信息。保留的前提是你能说清每个版本服务谁、解决什么问题。
改写适用于同一对象被多个地址暴露,且这些地址没有独立价值。做法是选定一个规范地址,把其余地址指向它,并在报告里只保留规范地址这一条。改写的前提是你有权限调整站点配置,而不是只在报告里删行。
退出适用于对象已经不存在或不再需要跟踪。退出不是删除历史记录,而是把它标记为不再纳入统计,避免它继续影响页数。退出的前提是你能确认它不会再产生新的访问或引用。
假设一份报告显示 120 个页面,实际业务对象只有 80 个。先不要按标题去重,因为标题可能被复用。更稳妥的动作是:以规范地址为主键,建立一张对照表,把每个疑似重复地址映射到主键,然后统计每个主键下挂了多少个地址。
这个动作的结果会直接决定下一步。如果多数主键只挂一个地址,说明差异集中在少数对象,逐个处理即可;如果大量主键挂多个地址,说明问题出在站点结构或参数规则,应优先修规则,而不是逐条清理。清理完后再看页数,如果页数下降但对象覆盖没变,说明去重生效;如果页数下降同时对象也少了,说明误删了有效对象,需要回退。
请求量归零、抓取量下降或某条统计消失,都不能单独证明去重正确。它们还可能是访问波动、抓取预算调整或数据延迟造成的。要区分这些解释,可以对比同一时间段内其他对象的同类指标:如果只有被处理的对象变化,其他对象稳定,去重动作更可能是原因;如果整体都在波动,就不能把变化归给去重。
另外,去重后的页数本身也不是目标。页数只是统计口径,真正要回答的是每个实际对象是否被准确覆盖。如果去重让覆盖变模糊,即使数字好看也不应采用。
需要说明的是,具体工具是否提供主键合并、批量标记或历史回退功能,需要以你实际使用的版本和界面为准,不要假设某个按钮一定存在。去重的判断标准应来自你的业务对象定义,而不是报告页数本身。