先把带参数的URL当成一个独立对象,而不是把整站重新提交一遍。缩小复现条件的核心动作是:固定其他变量,只改变一个参数,观察搜狗收录查询结果是否从正常变为异常;一旦找到触发异常的最小参数组合,再决定是保留、改写还是让这类URL退出。
带参数的URL常被误判。先取一个收录正常的无参数页面,再取它的带参数版本,两者内容若基本相同,差异就落在参数处理上。此时要做的是排除三类干扰:
如果无参数版本正常、带参数版本异常,且正文几乎一致,那么问题更可能出在参数解析或URL规范上,而不是内容质量。这个判断会直接影响下一步:前者需要收敛参数,后者才需要改内容。
假设你手里有一个旧筛选页,URL形如 <span>example.com/list?type=a&page=2&from=old</span>,其中只有 type 和 page 会改变可见内容。可以按下面的顺序做对照,每一步只动一个参数:
如果删掉 from=old 后恢复正常,而保留 type 和 page 仍正常,那么触发条件就落在来源标记这类不改变正文的参数上。此时合理动作是让该参数不再进入可抓取URL,而不是把它写进robots.txt。robots.txt限制抓取不等于可靠的索引移除,已收录URL仍可能保留在结果中,所以更稳妥的是用规范链接或服务端跳转把带标记版本指向无标记版本。
这两类参数的处理方式相反,判断依据是页面主体是否随参数变化:
如果混淆两者,容易出现两种反向错误:把有价值的筛选页全部屏蔽,或把大量跟踪URL当成独立页面提交。缩小复现条件时,先给每个参数打上这两类标签,再决定保留哪些组合。
找到最小触发条件后,不要停在“已定位”。把结果转成对具体页面对象的处理方案:
站点地图不保证收录,所以修正后不必急于把全部参数URL塞进站点地图。更实际的做法是保留少量代表性URL,观察搜狗收录查询结果是否随规范链接生效而变化。如果代表URL恢复,再逐步扩展到同类参数;如果未恢复,说明触发条件可能不止一个参数,需要回到单变量对照继续拆。
当你能用一句话描述触发条件,例如“只要URL带来源标记且正文与主版本一致,该URL就不被收录”,并且已经对这类URL做了统一处理,就可以停止逐个排查。此时若请求量或抓取量归零,不能单独证明处理正确,还要看主版本是否仍正常、规范链接是否被识别、以及是否有其他参数组合仍在产生异常。保留仍有价值的部分,让无价值的参数组合退出,才是这轮缩小复现条件的最终目的。