先给结论:在百度搜索技巧的日常操作里,删栏目不能只删页面本身,而要顺着“谁在链向它、谁在导航里列出它、谁把它当作跳转或规范目标”三条线找入口。样本只有一两个页面时,手工查内链和导航就够;一旦栏目下有成百上千个URL,就必须先用站内日志或抓取结果缩小范围,再逐类验证,否则一定漏掉旧列表页、分页和移动端导航这些隐蔽入口。
如果待删栏目下的URL数量少、模板统一、近期没有改版,且你能确认它只出现在主导航和一篇旧文章里,那么手工排查是成立的选择。动作是:打开该栏目的每个页面,查看正文内链、面包屑、侧栏和页脚,再在站内搜索框输入栏目名和栏目路径片段,记录所有命中结果。这样做的结果会直接决定下一步:如果命中项都能在后台找到对应模板或文章,就可以逐个改链接;如果发现同一批链接来自某个自动聚合模块,就要先改模块逻辑,而不是逐页删链接。
反过来,如果栏目存在时间较长、经历过改版、有分页和筛选参数,或者你无法确定它是否被外部页面引用,那么手工排查不成立。此时应改用“先抓取、再分类”的方式:用站内爬取工具或服务器日志,把包含该栏目路径的请求URL导出,按来源页面、状态码和参数类型分组。分组后你会得到三类入口:站内链接、站外链接、以及搜索引擎已收录的旧地址。三类入口的处理顺序不同,不能混在一起改。
第一面是正文和列表里的链接。常见漏项是分页第二页之后、标签聚合页、作者页和“相关推荐”模块。检查动作是:在站内搜索里分别搜栏目名、栏目别名和路径片段,把结果逐条打开,确认链接是否指向待删栏目。结果影响下一步——如果同一篇文章在多个列表页重复出现,说明入口在列表模板,不在文章本身,应优先改模板。
第二面是导航和面包屑。主导航、侧栏导航、移动端底部菜单、面包屑路径都可能直接指向栏目首页。这里要特别检查移动端模板是否与PC端共用同一份导航配置;如果不共用,PC端改完不代表移动端已改。动作是分别用PC和移动端UA抓取栏目首页,对比导航HTML是否一致。若不一致,下一步要分别改两套模板。
第三面是跳转和规范目标。旧栏目可能被用作301跳转的源地址、canonical的指向地址,或者被其他页面当作“查看更多”的目标。检查动作是:在抓取结果里筛选出状态码为301、302以及带canonical标签的页面,看它们是否指向待删栏目。结果决定你是否需要保留一个过渡跳转页。若直接删掉,原本指向它的跳转链会断,用户和爬虫都会落到404。
小样本下,你打开几个页面就能看到所有链接;但栏目一旦有分页、筛选参数和多套模板,同一个入口会以多种URL形式出现。例如栏目首页、栏目首页加排序参数、栏目首页加页码,在后台可能是同一个列表模板生成的。此时只删栏目首页,参数页仍然存在,站内搜索仍能命中。例外就在这里:不能把“删掉一个URL”当成“删掉一个栏目”。
另一个例外是外部链接和用户收藏。你无法通过站内后台找到别人网站上的链接,也无法知道用户是否收藏了旧地址。可做的动作是:对已收录的旧地址设置一个明确的跳转目标,指向最接近的新栏目或首页,并观察服务器日志里该地址的请求量变化。如果请求量在跳转后逐步下降,说明外部入口在减少;如果一直不降,说明仍有未被发现的入口,需要回到抓取结果里继续找。注意,请求量归零不能单独证明处理正确,它也可能是采集周期变化或日志采样差异造成的。
假设某栏目删除前,服务器日志一周内记录到1200次该栏目路径的请求,其中900次来自站内列表页,200次来自外部,100次来自直接访问。删除并设置跳转后,下一周同一路径请求降到300次。这个下降只能说明部分入口已改,不能说明全部改完,因为季节、搜索需求和采集时间都会影响请求量。此时应继续检查那300次请求的来源页面,而不是直接宣布完成。如果来源集中在某个未改的模板,就改模板;如果来源分散且没有站内来源,才考虑外部链接和用户收藏。
最后要记住适用条件:这套方法适合栏目结构清晰、有服务器日志可查的站点;如果站点没有日志、没有抓取工具,只能手工排查,那么漏项风险会明显上升,此时更稳妥的做法是保留旧栏目并改为跳转,而不是直接删除。