跳至正文
OpenAgentSkill
浏览已开放 · 目录记录日期 2026-11-21 · 自动更新和账户服务暂时关闭。
其他技能

cf-bypass-methods

当需要选择/新增/评估"过 Cloudflare 盾"的方法时使用——四种已实测方法(Camoufox / pydoll / cfsolve 纯协议 / CloakBrowser·patchright)的速度与成功率、硬约束、新增一个方法的判定标准与步骤、A/B 实测协议。

lza6 · 已有 AI 审核记录

安装与使用

运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。

npx skills add lza6/CF-Bypass-Research --skill cf-bypass-methods

技能说明


name: cf-bypass-methods description: 当需要选择/新增/评估"过 Cloudflare 盾"的方法时使用——四种已实测方法(Camoufox / pydoll / cfsolve 纯协议 / CloakBrowser·patchright)的速度与成功率、硬约束、新增一个方法的判定标准与步骤、A/B 实测协议。

Cloudflare 过盾方法选型与扩展

什么时候用这个 skill

  • 要给某个抓取/Gateway 场景选一个过盾方案
  • 要新增一种求解方法(新引擎 / 新后端)
  • 要评估/对比现有方法(跑 A/B)
  • 用户问"纯算行不行""为什么这么慢""能不能不加浏览器"

一、先看实测数据(2026-11-01,同出口 IP,3 站,每格一次)

排名方法类型成功率平均成功耗时一句话
1Camoufox浏览器(Firefox,C++ 层)3/318.7s默认首选:最快最稳
2pydoll浏览器(Chromium,CDP 直连)2/374.5s用系统 Chrome,慢 4 倍,可作第二引擎
3cfsolve纯协议(Rust CLI,无浏览器)✅ 可用(站点相关)18.43s(同站最快)已构建+打补丁跑通;只对"会弹挑战且无国家跳转"的站有效
—CloakBrowser浏览器(Chromium,87 处 C++ 补丁)未测—二进制专有,最新版需订阅
—patchright浏览器(Chromium fork)未测—历史同类实测 0/4

完整数据与逐站点明细:docs/AB实测-三种过盾方法.md。

同站对比(glassdoor.co.uk):cfsolve 18.43s < Camoufox 19.56s < pydoll 失败(25.72s)。 纯协议不但能过,还是最快、且不起浏览器进程。

⚠️ "不弹挑战" ≠ "失败":steamdb/udemy/quora 对 Safari-iOS 指纹直接放行,cfsolve 会报 page has no .cf-turnstile container —— 那说明没有可解的挑战,不是方案不行。 选站时要先确认目标站真的会弹挑战(用 Camoufox 访问看是否 403 + cf-mitigated)。

一点五、第一步永远是"先探测"

别上来就求解。先跑一次探测(只发一次普通 GET,秒级):

python scripts/detect.py https://target/          # 或 POST /detect

它会告诉你:有没有盾、哪家厂商、置信度、CF 挑战类型,以及建议走哪条路 (direct / browser / pure_protocol_may_work / browser_token / browser_unsupported)。

规则来自 scrapfly/Antibot-Detector(33 个厂商字面特征)+ 我们补的 5 条强特征。 详见 docs/检测-防护识别.md。

二、四条硬约束(任何方法都逃不掉,先检查这个再调参)

  1. 同出口 IP:求解与回放必须同一出口 → 缓存键要含出口标识,代理要用一致性哈希粘性
  2. 同 UA:回放必须用求解时那个 UA(user_agent 字段),否则静默 403
  3. 时效:约 30 分钟(以 cookie 自身 expires 为准),到期前续期
  4. 按域隔离:一个 clearance 只对一个 zone 有效

90% 的"突然过不了了"都是这四条之一被破坏,不是算法问题。

三、"纯算"这个词要拆开说

说法含义结论
纯算(离线推 token)不接触浏览器、纯算法推导❌ 已证伪(挑战 VM 每轮重混淆 + 绑运行时)
纯 JS 引擎自己起 goja/jsdom 跑脚本❌ 语法层能跑,环境不自洽 → 拿不到凭证
纯协议(录制回放)用录制的真实浏览器快照回答指纹质询 + 离线算挑战✅ 可行(cfsolve),但 profile 是消耗品

差别在"环境从哪来":前两者现场编造,第三种重放真实环境。

四、要新增一种方法:先判断它是 engine 还是 backend

新方法能不能"返回一个 Playwright 兼容的 browser 对象"?
├─ 能(Playwright/CloakBrowser/patchright 这类) → 加 engine(solver/engines.py)
└─ 不能(CLI 子进程 / 自有异步 API / 远程服务)   → 加 backend(solver/backends.py 或新模块)
  • engine:engines.Engine 加枚举 + build_factory() 加分支 + INSTALL_HINT 补安装命令 + preflight() 覆盖
  • backend:实现 name() / is_configured() / solve(url, timeout, force, **kwargs) -> dict; 失败必须抛 SolveError 并带准确 error_code;is_configured() 要在发请求前判断(缺 key/缺依赖 → 直接 skip)

返回体必须与 /solve 同形状(至少 ok/solved、产物字段、user_agent、cacheable、egress_id)。 一次性 token 一定 cacheable=false。

新增后必做:

  1. 离线单测(假实现/打桩,不联网)
  2. 加进 --help 与 docs/API.md
  3. 跑一次 A/B(见下)并更新 docs/AB实测-三种过盾方法.md

五、A/B 实测协议(别乱跑,会烧 IP 信誉)

python scripts/ab_test.py --sites "https://a/,https://b/,https://c/" --gap 5

纪律:

  • 每格只打一次,失败不重试(重试会污染结论)
  • 方法之间 sleep(--gap),不要同时压同一站
  • 记录:方法、站点、是否成功、耗时、失败原因
  • 结果落 plans/证据/ab-methods-<时间戳>.json
  • 累计失败 ≥5 就停,隔天再测

五点五、服务里已经内建的两件事(别再手写)

  1. route=auto:POST /solve {"route":"auto"} 会先探测再决策 —— 无盾站不求解直接告知、不支持的厂商直接拒绝、CF managed/jsd 纯协议优先、 turnstile/recaptcha 浏览器优先。默认 route=fixed(= 老行为),不传时不会多发探测请求。 服务端有 --detect-cache-ttl(默认 300s)按域缓存探测结论,fresh=1 可强制实时。
  2. 治理挂在入口 + 路由层:SSRF 守卫、inflight 准入、缓存、指标对所有后端生效。

这一块最容易踩的坑(v4.0 踩过一次,v4.1 才真修)

不要把治理写进某个后端实现里(例如只写进 Solver.solve)。 除 Camoufox 以外的后端(cfsolve / pydoll / flaresolverr)都不走 Solver.solve, 治理写在那里等于对它们完全不生效 —— 表现是:不缓存(热路径命中率归零)、 不受 inflight 约束(能被打穿)、指标全 0(监测在说谎)。 判断方法:配一个额外后端,连续打两次同一域,看第二次是不是 cached:true, 再看 /metrics 的 cfsolve_solves_total 有没有涨。

第二个同类坑:把治理接到 router 之后,纯 Camoufox 部署(没有额外后端)反而 没有 backend/host 维度了。记账要做成唯一入口(本仓库是 Solver._account), 主路径与路由路径共用。

六、踩过的坑(血泪清单)

  1. headless Chrome 的 UA 带 HeadlessChrome → 强检测信号;pydoll 生产要非 headless(服务器配 xvfb)
  2. render=explicit 不会自动渲染 .cf-turnstile → Turnstile 必须主动 turnstile.render()
  3. await grecaptcha.execute() 的 Promise 可能永不 resolve → 改"点火 + 轮询全局变量"(58s → 18.5s)
  4. cfsolve 不支持 Windows(tokio::signal::unix / clock_gettime);需 2 处 cfg 补丁
  5. cfsolve 的 profile 是消耗品,且只支持 Safari/Chromium 类型。作者自带的 safari profile 在 我们出口上是可用的(glassdoor.co.uk 3/3),但录制新 profile 目前卡在 CF 改版 (cf-chl token 运行时生成)——详见 tools/cfsolve-patches/README.md
  6. cfsolve 不支持 Windows(tokio::signal::unix、clock_gettime);补丁在 tools/cfsolve-patches/cfsolve-windows-and-capture-fixes.patch(git apply 即用)
  7. capture-proxy 只在收到 Ctrl-C/SIGTERM 时落盘,且 Windows 上信号投递不可靠 → 补丁改成每 5 秒周期性 flush
  8. SSRF 守卫只守首跳会被 302 绕过 → 必须在 context 上挂 route 拦每个请求
  9. 子资源解析失败(NXDOMAIN)不能判成越权 → 三态(blocked/unresolvable/allowed),且子资源被拦不该整次失败
  10. 0.0.0.0 要拦:Linux 上 connect(0.0.0.0) 等价于连 localhost

六点五、geoip 已被否决(有证据)

camoufox 的 geoip=True 会调用 download_mmdb() 下载 GeoIP 数据库(geolocation.py, 落到 user_cache_dir("camoufox")/geoip/mmdb/)。这是运行期外部依赖 + 隐私面, 按 计划书/CF-Bypass-Research-项目总状态与待办清单.md §4.2 的 geoip 否决结论直接否决,不做 A/B、保持 geoip=False。 要重开必须同时满足:①离线可用的 MMDB 供给方式 ②有实测收益(同站双臂)。

七、相关文档

文档内容
docs/方案矩阵.md五条路线对照 + 决策树 + 全部实测数据
docs/00-索引.md总索引:能力清单 / 参考仓库→取用→落地 / 文档地图 / 证据
docs/AB实测-三种过盾方法.md本次 A/B 的完整结果与逐站点明细(含同站对比)
docs/参考仓库深度调研.mdcfsolve / CloakBrowser / Scrapling 深度调研
docs/纯协议-cfsolve.md纯协议构建(含 Windows 补丁)、profile 录制、契约
docs/API.md/solve 契约与错误码
docs/对接-new-api.md怎么接进 new-api(三种接法 + 验收清单)