AdsCrawl
简体中文
English简体中文

如何将 AdsCrawl 与 browse.sh 结合使用：AI 浏览器工作流

8 分钟阅读
⌯

快速一览

了解如何将 AdsCrawl 的浏览器自动化 API 与 browse.sh 技能相结合，为 AI 代理提供可靠、可复用的大规模 Web 工作流。

如何将 AdsCrawl 与 browse.sh 结合使用：AI 浏览器工作流

AI 代理擅长推理，但在点击操作上却很脆弱。AdsCrawl 为它们提供了一个真实的云浏览器，支持代理和会话；browse.sh 则为它们提供了一个针对特定网站的现成配方目录。两者结合使用，你就能获得可重复的自动化，能够应对 JavaScript 密集型页面、地理限制和选择器漂移。本文介绍了工作流程、设置方法以及这种组合在哪些场景下能带来收益。

每个工具的作用

browse.sh 首屏截图

browse.sh 首屏截图。

AdsCrawl 是一个浏览器自动化 API 和云浏览器平台。它提供同步端点，用于获取渲染后的 HTML、Markdown、截图和 SPA 提取，还提供有状态的远程 Chromium 会话，可连接到 Playwright、Puppeteer 或原始 CDP 客户端。它处理托管浏览器身份、随机 User-Agent、受信任和住宅代理以及动态区域路由。你可以保存云浏览器配置文件并进行生命周期管理，并在交互式查看器中观察会话。

browse.sh 是一个开放的网站浏览器自动化技能目录，配有一个专为 AI 代理构建的浏览器 CLI。每个技能都是一个 SKILL.md 配方，教导代理如何在某个域上完成任务——例如，比较 ACA 计划或查找火车路线。技能编码了建议的 DOM 选择器和 XHR 请求，据该目录称，这可将令牌成本降低 50 倍。你可以使用 browse CLI 安装它们：

npm i -g browse
browse skills add alltrails.com
browse skills add healthcare.gov/compare-plans-ruai96

该 CLI 将技能、浏览器原语、调试和云会话捆绑在一个工具中。

为什么要结合使用

browse.sh 首屏截图

browse.sh 首屏截图。

browse.sh 告诉代理在网站上做什么；AdsCrawl 决定浏览器在哪里以及如何运行。这种分工解决了三个常见问题：

  • 反机器人摩擦。 AdsCrawl 的住宅代理和区域路由让技能可以从目标网站期望的地理位置运行。
  • 会话连续性。 需要登录状态的技能可以复用带有已保存 Cookie 的 AdsCrawl 云浏览器配置文件，而不是每次运行都重新认证。
  • 选择器漂移。 当技能建议的选择器失效时，你可以回退到 AdsCrawl 的 SPA 提取或渲染 HTML 来恢复数据，而无需重写整个配方。

先决条件

开始之前，你需要：

  1. 一个 AdsCrawl 账户，并从仪表板获取 API 密钥。
  2. 安装 Node.js，以便运行 browse CLI。
  3. 一个能够执行 shell 命令和调用 HTTP 端点的 AI 代理或编码助手。

AdsCrawl 注册即送 500 个免费积分，足以在决定付费计划之前验证工作流。

分步设置

browse.sh 首屏截图

browse.sh 首屏截图。

1. 安装 browse CLI 和技能

npm i -g browse
browse skills add alltrails.com

按域、技能、方法或区域浏览目录，找到与你的任务匹配的配方。许多技能是只读的，解析公共 API 或服务器渲染的 HTML，这使它们成为低风险的起点。

2. 验证你的 AdsCrawl 凭据

发送一个最小请求以确认密钥有效：

curl --fail-with-body -sS \
  -X POST "https://api.adscrawl.net/html" \
  -H "x-api-key: $ADSCRAWL_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "url": "https://www.adscrawl.net",
    "contentMode": "html",
    "waitUntil": "domcontentloaded"
  }' \
  --output page.html

如果你更喜欢 Markdown 输出，请将 contentMode 设置为 markdown。

3. 将技能指向 AdsCrawl 会话

对于需要交互的技能，创建一个 CDP 会话，并将你的自动化客户端连接到返回的 webSocketDebuggerUrl。对于只需要页面内容的技能，通过 /html 或 /spa-extract 端点路由它们。浏览器使用 API 概述 解释了渲染、提取和会话管理如何协同工作。

4. 添加代理和区域路由

如果目标网站阻止你的默认区域，请在 AdsCrawl 请求中配置代理。每次 Cloud Browser 启动都需要一个有效的代理，凭据应放在指定字段中，而不是代理服务器 URL 中。如需更深入的演练，请参阅如何将 AdsCrawl 与 Proxidize 结合使用。

5. 运行、检查并迭代

通过你的代理执行技能，然后检查输出。browse.sh 技能页面包含回放录像和完整的 SKILL.md，因此你可以将预期行为与实际发生的情况进行比较。如果选择器失败，请检查 AdsCrawl 响应中的 missingFields，查看哪些字段未找到。

实际示例

示例 1：比较 ACA 健康计划

像 healthcare.gov/compare-plans-ruai96 这样的技能编码了计划比较的导航和提取步骤。在正确的美国区域通过 AdsCrawl 会话运行它，以便网站提供正确的内容。代理遵循技能的选择器，而 AdsCrawl 处理渲染和代理身份。

示例 2：跟踪跨区域的航班价格

航班跟踪技能可以查询航空公司网站，但价格通常因销售点而异。在不同区域启动 AdsCrawl 会话，并对每个区域运行相同的技能。将结果收集到一个数据集中进行比较。

示例 3：读取公共交通和火车路线

许多交通技能是只读的，解析服务器渲染的 HTML。这些非常适合 AdsCrawl 的 /html 端点：不需要交互式会话，并且你可以大规模批量请求。

示例 4：需要认证的工作流

对于需要登录账户的任务，在手动登录后保存 AdsCrawl 云浏览器配置文件，然后复用它。仅对你被授权访问的账户使用 Cookie，并在每次运行前验证域、路径和过期时间。

决策指南：何时使用哪一层

browse.sh 首屏截图

browse.sh 首屏截图。

需求 使用 browse.sh 技能 直接使用 AdsCrawl
已知网站且有已发布的配方 是 作为执行层
新颖或未列出的网站 否 是，使用 /spa-extract 或 CDP
地理限制内容 是，配合区域路由 是
大批量只读提取 是 是，通过 /html 或 /spa-extract
多步骤认证流程 是，配合已保存的配置文件 是，通过 CDP 会话

如果你仍在评估浏览器层本身，AdsCrawl vs Playwright vs Stagehand 的比较涵盖了控制、托管基础设施和 AI 代理适配性。

常见陷阱与修复

  • 超时。 页面可能很慢、代理不可达，或者等待的选择器从未出现。检查错误响应，验证 URL 和代理，然后调整等待条件。
  • HTTP 402。 你的积分已用完。在仪表板中检查余额和计划。
  • HTTP 429。 你触发了速率限制。降低并发数并使用退避重试。
  • 查看器保持打开。 关闭交互式查看器不会停止 Cloud Browser。调用停止端点并确认 runtime.status 为 stopped。

相关阅读

来源与进一步阅读

常见问题

如果 AdsCrawl 已经渲染页面，我还需要 browse.sh 吗？

不需要。仅 AdsCrawl 就可以渲染、提取和自动化。browse.sh 增加了可复用的、站点特定的配方，减少了代理所需的提示工程和选择器工作。

我可以不使用 AdsCrawl 而使用 browse.sh 技能吗？

可以。browse CLI 包含浏览器原语和云会话。当你需要托管代理、区域路由、已保存的配置文件或大批量提取时，AdsCrawl 就变得有用。

browse.sh 技能运行起来安全吗？

许多是只读的，解析公共 API 或服务器渲染的 HTML。在运行任何执行写入、预订或提交的技能之前，请查看 SKILL.md。

如何调试失败的技能？

将技能的回放录像与你的运行进行比较，检查 AdsCrawl 响应中的 missingFields，并检查渲染的 HTML 以查看 DOM 是否发生了变化。

我的编码代理可以为我设置 AdsCrawl 吗？

可以。AdsCrawl 发布了一个代理设置提示，引导完成注册、API 密钥授权和集成。你在浏览器中批准访问。

结论

AdsCrawl 和 browse.sh 解决了同一问题的不同方面。browse.sh 提供站点特定的知识；AdsCrawl 提供浏览器、身份和规模。从一个只读技能开始，通过 /html 端点验证它，然后随着工作流的增长添加代理和已保存的配置文件。如需了解工具领域的更广泛视图，请参阅顶级 AI 网页抓取和监控平台。

分享

相关阅读