采集规则编写周期长时用哪些中间行为判断方向
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /16d2af76e26d.html
📄
采集规则编写周期长时用哪些中间行为判断方向
当采集规则编写进入长周期，最可靠的中间信号不是抓取量或收录量，而是规则对页面结构变化的适应成本：每次目标站点改版后，需要改动的规则行数、新增例外分支数，以及复核通过的样本比例。如果这些成本在连续几个迭代中下降或持平，说明方向可以保留；如果每次改版都要推翻核心选择器，说明该规则结构已不适合继续投入。
保留：中间行为收敛，例外不再扩散
保留的前提是规则在样本外仍能稳定工作。具体可观察三种行为：一是新增字段时，只增加局部选择器，不需要重写列表页与详情页的解析路径；二是同一类结构异常反复出现，但已有统一的兜底分支处理；三是复核人员能在不看规则源码的情况下，仅凭字段映射文档判断某条数据是否应被采集。
假设一个场景：规则最初针对十种页面模板编写，运行三个月后模板增加到十四种，但新增的四种都能归入已有的三种解析分支，且每次新增平均只改两到三行配置。这种收敛说明规则抽象层级选对了，继续投入的边际成本可控。此时应把新增模板的归类依据写进变更记录，而不是急着扩展字段。
改写：样本成立但规模化后例外比例上升
个别样本成立、规模化后出现例外，是采集规则编写中最常见的转折点。判断是否需要改写，关键看例外是否集中在同一环节。如果例外都出现在分页参数或列表排序上，改写应针对分页逻辑；如果例外分散在字段提取、编码转换和反爬响应上，说明当前规则把多个职责耦合在一起，需要先拆分再改写。
改写前先做一个动作：把最近一批失败样本按失败原因分类，统计每类占比。若某一类占比超过一半，且该类失败在早期样本中几乎不出现，说明规模化暴露了规则对站点多样性的假设错误。这个统计只能说明相关性，不能直接证明某个选择器是根因，需要再取一组未参与分类的样本验证。
改写时优先保留字段映射和输出结构，只替换解析层。这样做的结果是，下游的数据校验和入库逻辑不用跟着变，复核成本不会随规则改动同步上升。如果改写后例外比例没有下降，下一步应检查目标站点是否在服务端做了内容差异，而不是继续调整选择器。
退出：中间行为指向维护成本不可逆
退出的信号不是抓取量归零，而是规则维护开始依赖个别人员的记忆。具体表现包括：每次修复都要重新阅读全部历史变更；同一站点的小改动会引发多个分支的连锁调整；复核通过率长期低于可接受水平，且下降趋势与站点改版频率同步。
抓取量下降还有别的解释，比如目标站点临时限流、网络波动或调度任务排队，这些不能单独作为退出依据。退出判断应基于规则本身的结构指标：核心解析路径的改动次数、例外分支与总分支的比例、以及修复一个已知问题所需的平均改动范围。如果核心路径在多个周期内反复改动，且每次改动都影响超过三成字段，说明规则与目标站点的结构假设已经脱节。
退出不一定是放弃采集，也可以是把该规则降级为低频抽样，仅用于监控站点结构是否发生重大变化。这个动作的结果是释放维护人力，同时保留对目标站点的基本感知，便于后续判断是否值得重新编写。
用一组可区分的原因决定下一步
把中间行为分成三类，分别对应不同动作：
- 结构适应成本下降：新增模板能归入已有分支，复核通过率稳定。动作是保留，并把归类依据写入文档。
- 例外集中在单一环节：失败样本可按分页、编码或字段提取归类，且某类占多数。动作是局部改写，先替换该环节的解析逻辑。
- 核心路径反复改动：每次站点小改都波及多个字段，修复依赖个人经验。动作是退出或降级为抽样，不再按全量规则维护。
这三种判断都需要同一组前提：失败样本已被分类，且分类标准在多个周期内保持一致。如果分类标准本身在变，中间行为就失去比较意义，此时应先固定分类口径，再谈保留、改写或退出。
假设示例：三个周期的比较方法
假设某规则在三个周期内记录以下行为：周期一新增两种模板，改动五行配置；周期二新增三种模板，改动四行配置，但出现一类新的编码异常；周期三新增一种模板，改动两行配置，编码异常通过兜底分支处理。按这个假设，结构适应成本在下降，例外被收敛到已有分支，方向可以保留。如果周期三的改动行数突然上升到十五行，且集中在核心字段提取上，则应触发改写评估，而不是继续按原方向投入。
这个例子的数字只用于说明比较方法，不代表任何真实项目的阈值。实际使用时，应把改动行数、例外分支数和复核通过率放在同一时间轴上观察，避免只看单次波动就改变方向。
