先判断这件事在每篇文章里承担什么任务。如果它只是背景交代,删到一句话即可;如果它是某篇文章的核心证据,就必须留在那篇,其他文章只能引用或链接;如果它既不是证据也不影响结论,直接退出比换词改写更安全。规模化后出现例外的原因通常不是事实本身,而是同一事实在不同页面被赋予了不同任务。
同一事实重复出现,常见三种任务:定义概念、支撑判断、交代背景。定义概念的事实,只应留在一个最合适的位置,其余页面用链接指向它。支撑判断的事实,要看它支撑的是哪篇的结论,不能因为别处已有就搬走。交代背景的事实最容易膨胀,往往只是让段落读起来完整,删掉不影响读者做决定。
可以给每处重复事实标一个任务标签,再决定去留:
这个分类比计算重复字数更有用,因为它直接对应读者是否需要在这里看到它。
保留不是因为它写得好,而是因为删掉之后本页的判断会失去依据。假设一个页面要说明某类配置会导致特定结果,那么描述该配置的事实就是必要条件,必须保留,哪怕另一篇文章也讲过。此时正确的动作不是改写,而是确认两篇文章的结论是否真的相同;如果结论不同,重复事实反而需要保留并各自展开。
反过来,如果本页只是顺带提到这个事实,读者即使看不到它也能继续往下读,那它就不是必要条件。判断方法是:把这段事实整段删掉,看本页的核心结论是否还站得住。站得住就退出,站不住就保留。这个动作的结果会直接决定下一步——保留的段落需要补上它和本页结论之间的关系,退出的位置则需要检查上下文是否出现指代断裂。
机械换同义词不算改写,它既没减少冗余,也没增加新信息。真正成立的改写只有两种。
第一种是换角度:同一事实从不同读者问题切入。例如同一个限制条件,一篇从成本角度讲,一篇从维护角度讲,事实相同但用途不同。这种情况下保留两处是合理的,因为它们服务不同的决策路径。
第二种是换粒度:一处给结论,一处给可操作细节。结论页只写“需要满足某条件”,操作页写清如何验证这个条件。粒度不同,重复感会下降,但前提是两页确实面向不同阶段的读者。
如果既没有新角度也没有新粒度,改写就是伪工作。此时应回到保留或退出,而不是继续打磨措辞。
直接删除重复段落,容易留下“如上所述”“前面提到”这类悬空指代。退出动作应分两步:先把本页对这段事实的依赖改成一句结论或一个指向保留页的链接,再删除原文。链接锚文本要说明读者去那边能看到什么,而不是只写“详见此处”。
退出后还要检查一件事:被删除的事实是否在本页的标题或开头承诺里出现过。如果标题暗示会讲这个事实,删除后标题与正文不符,应调整标题而不是硬留段落。
在少量页面上,凭直觉去重通常没问题;页面数量上升后,会出现两类例外。一类是同一事实在不同页面承担了不同任务,机械去重会破坏其中一篇的论证。另一类是保留页本身后来被合并或改版,导致其他页面的链接指向失效内容。
因此去重规则不能一次定死。可以设一个假设例子:假设全站有若干页面都提到同一个限制条件,先按任务标签处理,只保留证据型页面中的完整表述。过一段时间后复查,如果发现某个退出页面因为缺少这个事实而出现读者理解困难,就说明该页的任务判断有误,应把它改回保留,并重新评估同类页面。这里的关键不是追求重复次数归零,而是让每处保留都有明确任务。请求量或抓取量的变化不能单独证明去重正确,页面合并、链接调整、内容改版都可能带来同样现象。
最终判断标准始终是:读者在这个页面是否需要这条事实来做出决定。需要就留,不需要就退出,介于两者之间才考虑改写。