友链查询：脚本调用工具遇到限流时怎样保护已有结果
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /274ca4ec15fd.html
📄
友链查询：脚本调用工具遇到限流时怎样保护已有结果
先把已经拿到的结果落盘，再决定是否继续请求。限流发生时，最该保护的不是“把这一轮跑完”，而是让已抓到的数据可复用、可续跑、可核对。做法是：把每个目标站点的结果按“已完成/待确认/未开始”分层保存，限流触发后立即停止新请求，只对已完成部分做校验和补全。
先判断限流发生在哪一层
脚本调用友链查询工具时，限流可能来自三个位置：工具服务端对调用频率的限制、目标站点对抓取行为的限制、以及你本机或代理出口的并发限制。三者表现相似，但处理方式不同。
- 服务端限流：通常返回统一的错误码或提示，且对同一账号下所有请求同时生效。此时换目标站点没用，需要降低调用频率或分批执行。
- 目标站点限流：往往只对某个域名下的请求失败，其他站点仍能正常返回。此时应把失败域名单独隔离，不要拖累整批任务。
- 出口限流：同一时间大量并发从同一出口发出，表现为间歇性失败，降低并发后恢复。需要检查脚本的并发设置，而不是查询逻辑。
区分方法很简单：限流触发后，先用一个已知正常的域名做单次请求。如果单次也失败，问题在服务端或出口；如果单次成功，问题在目标站点或并发策略。这个判断决定了下一步是改频率、改并发，还是改任务顺序。
把已有结果转成可续跑的检查点
假设你手头有一个脚本，正在对一批友情链接页面做查询，已经跑完一部分，此时收到限流提示。不要直接重跑，先把当前输出整理成检查点文件。检查点至少包含：目标域名、查询时间、返回状态、已提取的友链列表、以及该条记录是否通过基本校验。
具体动作：把脚本的输出从“覆盖写”改为“追加写”，每条记录写入后立即刷新到磁盘。这样即使进程被中断，已写入的记录不会丢失。同时给每条记录加一个状态字段，取值限定为 done、partial、pending。限流发生后，只处理 pending 和 partial，跳过 done。
这个动作的结果是：你不再需要重新查询已经完成的域名，续跑时请求量下降，触发再次限流的概率也随之降低。如果检查点里 done 占比很高，说明主要工作已经完成，可以优先做结果核对，而不是急着补全剩余部分。
限流后先做结果核对，再决定补跑顺序
已有结果里可能混入不完整记录。典型情况是：页面返回了，但友链列表只解析出一部分；或者请求超时，但缓存里留下了旧数据。这两种记录如果直接当成有效结果使用，后续核对会出问题。
核对时按以下顺序处理：
- 先看状态为
partial的记录，确认缺失的是友链条目还是页面本身。如果页面本身没拿到，这条记录应退回pending。 - 再看
done记录中查询时间较早的条目。如果目标站点在此期间改版，旧结果可能已经失效，需要标记为待复核，而不是直接删除。 - 最后处理
pending，按域名分组，同一域名下的多个页面合并成一次请求，减少调用次数。
这个顺序的依据是：补跑的成本高于核对，而核对能帮你排除掉不需要补跑的部分。如果核对后发现 pending 只剩少量域名，可以改用低频手动查询，而不是继续跑脚本。
续跑时怎样降低再次限流的概率
续跑不是把原脚本重跑一遍。需要做三处调整：
- 请求间隔：在每次请求之间加入固定或递增的等待。固定等待适合目标站点数量少的情况；递增等待适合连续失败后自动拉长间隔。
- 并发数：把并发降到 1 或 2，先确认单线程能稳定返回，再逐步增加。不要一次性恢复到限流前的并发。
- 失败重试：对限流类错误设置有限次重试，重试前先等待。重试仍失败则写入
pending，留到下一轮处理，不要在同一个执行周期内反复冲击。
一个假设例子：假设你原本并发为 10，限流后改为并发 2、每次请求间隔 2 秒。如果连续 20 次请求都没有再触发限流，可以把并发提到 3 再观察。这个调整过程的目标是找到当前环境下的稳定上限，而不是追求最快跑完。具体间隔和并发数需要根据工具返回的错误类型和你自己的请求规模来定，没有通用数值。
什么时候该放弃脚本，改用手动或分批处理
如果续跑后限流仍然频繁出现，且 pending 数量不大，继续调脚本的收益已经很低。此时更实际的做法是：把 pending 列表导出，按域名拆成若干小批，每批之间留出较长时间间隔，或者直接对少量关键域名做手动查询。
判断依据不是“脚本能不能跑”，而是“剩余任务量是否值得继续维护脚本”。如果剩余域名少于你手动能在短时间内处理的数量，手动处理反而更可控。反过来，如果剩余量很大且限流只是偶发，保留检查点、降低频率后继续跑是合理的。无论选哪种，已经落盘的结果都不应丢弃，它们是后续核对和交付的基础。
