如何将 AdsCrawl 与 Nimble 结合用于智能体网络搜索
快速一览
将 AdsCrawl 的云端 Chromium 浏览器与 Nimble 的搜索智能体连接,为 AI 智能体提供可靠、结构化的实时网络数据。包含设置、工作流程和示例。
如何将 AdsCrawl 与 Nimble 结合用于智能体网络搜索
AI 智能体的能力取决于它们能访问到的网络数据。搜索为智能体提供了广度,但许多高价值页面需要真实浏览器:JavaScript 渲染的仪表板、登录门控的门户、受机器人保护的店面。AdsCrawl 以云 Chromium API 的形式提供这一浏览器层。Nimble 提供搜索和提取层,将实时网络转化为结构化数据。二者结合,覆盖了从问题到经过验证的结构化答案的完整路径。
本文解释了分工、端到端工作流程、设置步骤以及该组合消除的故障模式。
为什么智能体需要搜索层和浏览器层
搜索 API 回答“哪些页面相关?”浏览器回答“在脚本运行、Cookie 加载和机器人检查通过后,页面上实际有什么?”大多数智能体栈需要两者,而大多数故障发生在两者交汇处。
- 仅搜索栈返回片段和链接。当智能体必须读取价格、表格或登录后记录时,片段不够。
- 仅浏览器栈可以渲染任何内容,但没有发现步骤。智能体必须已经知道 URL。
- 组合栈让智能体广泛搜索,然后在具有稳定身份和代理路由的托管浏览器中打开困难页面。
AdsCrawl 专为第二项工作而构建:云中的真实 Chromium、Playwright/Puppeteer/CDP 连接、JavaScript 渲染、住宅代理路由以及用于认证会话的保存配置文件。Nimble 专为第一项工作而构建:专门构建的搜索智能体,将实时互联网转化为结构化、可靠的数据,供 AI 和分析使用。
AdsCrawl 和 Nimble 如何分工

www.nimbleway.com 首屏截图。
| 阶段 | Nimble | AdsCrawl |
|---|---|---|
| 查询规划和发现 | 运行网络搜索智能体,返回排名结果和提取字段 | — |
| 困难页面检索 | — | 启动云 Chromium,渲染 SPA,处理反机器人摩擦 |
| 身份和会话 | — | 保存配置文件、Cookie 持久化、住宅代理路由 |
| 输出整形 | 为智能体和分析提供结构化数据 | HTML、Markdown、JSON、截图 |
| 规模控制 | 搜索智能体吞吐量 | 浏览器并发和基于积分的计划 |
一个有用的心智模型:Nimble 决定在哪里查找以及哪些字段重要;AdsCrawl 决定当普通 HTTP 获取不够时如何忠实读取页面。
端到端工作流程
步骤 1:定义问题和目标模式
从输出开始,而不是抓取。例如:“对于 20 个竞争对手中的每一个,返回产品名称、标价、货币和库存状态。”该模式告诉 Nimble 从搜索结果中提取哪些字段,并告诉 AdsCrawl 从需要渲染的页面中提取什么。
步骤 2:使用 Nimble 运行发现
将问题发送给 Nimble 的搜索智能体。你会得到候选 URL 以及搜索层已经可以解析的任何结构化字段。标记那些内容单薄、过时或仅有片段的结果——这些将成为浏览器任务。
步骤 3:将困难页面路由到 AdsCrawl
对于每个标记的 URL,创建一个 AdsCrawl 浏览器任务。两种模式适合不同需求:
- 同步任务用于一次性作业:从单个页面获取渲染的 HTML、Markdown、截图或提取的 JSON。
- 有状态云浏览器用于多步骤作业:保持会话活跃,登录一次,导航多个页面,并稍后重用配置文件。
步骤 4:规范化并合并
将 AdsCrawl 输出转换为 Nimble 返回的相同模式。按规范 URL 去重,协调冲突价格,并记录来源(哪个层产生了每个字段)。当智能体后来引用其答案时,来源很重要。
步骤 5:缓存并选择性重新运行
存储合并记录及时间戳。在下一次运行时,让 Nimble 重新发现,但仅在缓存记录过时或已知页面经常变化时,才在 AdsCrawl 中重新打开页面。这使积分和并发使用与实际变化成比例。
设置步骤

www.nimbleway.com 首屏截图。
先决条件
- 一个 AdsCrawl API 密钥(免费层包括 500 积分;付费计划从 Hobby $9/月、Starter $49/月和 Pro $199/月开始,按积分、浏览器并发和 API 密钥限制区分)。
- 一个可访问其搜索智能体的 Nimble 账户。
- 一个可以发起 HTTP 调用的运行时,以及可选的 Playwright 或 Puppeteer 客户端,如果你想直接驱动 AdsCrawl 会话。
连接到 AdsCrawl
AdsCrawl 暴露 REST API 和远程 CDP 端点。一个最小的同步提取调用大致如下(查看当前 API 参考以获取确切字段名):
curl -X POST "https://api.adscrawl.example/v1/browser/tasks" \
-H "Authorization: Bearer $ADSCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/pricing",
"output": ["markdown", "json"],
"proxy": { "type": "residential", "country": "us" },
"wait_until": "networkidle"
}'
对于有状态工作,请求远程 CDP 会话并附加 Playwright:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.connect_over_cdp(CDP_ENDPOINT)
page = browser.contexts[0].pages[0]
page.goto("https://portal.example.com/reports")
page.wait_for_selector("table.report")
html = page.content()
连接到 Nimble
使用你的查询和目标模式调用 Nimble 的搜索智能体,然后解析结构化响应。将原始响应与规范化记录一起保存,以便以后审计提取质量。
连接编排器
胶水代码很小但很重要:
- 调用 Nimble,收集候选 URL 和字段。
- 为每个 URL 评分“需要浏览器”(动态内容、登录、已知机器人保护)。
- 将这些分派给 AdsCrawl,并发上限与你的计划匹配。
- 合并、根据模式验证并写入你的存储。
- 按原因记录失败:超时、阻止、选择器漂移、模式不匹配。
实际示例
示例 1:竞争对手价格监控
Nimble 在 20 个竞争对手中找到定价页面,并从搜索结果中提取它能提取的内容。通过客户端 JavaScript 渲染价格的页面交给 AdsCrawl,后者返回渲染的 Markdown 和 JSON 提取。合并后的表格为每日价格变化报告提供数据。浏览器层使数字可信;搜索层使 URL 列表保持最新。
示例 2:认证研究门户
一个研究团队需要从订阅门户获取数据。AdsCrawl 的保存配置文件保持会话,因此智能体登录一次并在多次运行中重用身份。Nimble 处理相关报告页面的发现及其周围的任何公共上下文。该组合将手动登录并复制的例程转变为可重复的流水线。
示例 3:智能体回答实时问题
智能体收到“本月该供应商的企业计划有什么变化?”Nimble 搜索计划页面和最近的公告。AdsCrawl 打开定价页面和变更日志,渲染两者,并返回截图和 Markdown。智能体与上个月的缓存快照进行差异比较,并引用答案。
该组合解决的问题
- 仅片段答案。 搜索结果描述页面;AdsCrawl 像浏览器一样读取它们。
- JavaScript 墙。 SPA 和懒加载表格对简单获取器返回空 HTML。云 Chromium 完全渲染它们。
- 机器人摩擦和地理差异。 住宅代理路由和按国家出口让智能体看到本地用户看到的内容。
- 会话丢失。 保存的配置文件在任务之间保持认证状态,而不是每次运行都重新认证。
- 无界成本。 发现成本低;浏览器工作是有针对性的。你只为改变答案的渲染付费。
何时该组合是合适的选择——何时不是

www.nimbleway.com 首屏截图。
当你的智能体必须定期回答关于动态、受保护或登录页面的问题时,使用两层。对于片段足够的广泛发现,单独使用 Nimble。当你已经有确切的 URL 并需要渲染、会话或截图时,单独使用 AdsCrawl。
如果你仍在选择浏览器层,云浏览器 API 替代方案比较和浏览器自动化 API 排名将选项并排展示。有关代理特定调优,请参阅将 AdsCrawl 与 DataImpulse 代理一起使用。
操作提示
- 将并发限制在你的计划内。 浏览器并发,而不是搜索量,通常是约束瓶颈。
- 为提取模式设置版本。 当网站更改布局时,模式差异比原始 HTML 差异更容易调试。
- 保留截图作为证据。 它们是证明提取字段时页面样子的最便宜方式。
- 使用退避重试,然后升级。 失败的渲染可能需要不同的代理国家或更长的等待条件,而不是更多重试。
- 分离发现和检索日志。 当出现问题时,你想立即知道哪个层失败了。
相关阅读
- 2026 年十大开源网络抓取框架 - 2026 年十大开源网络抓取框架排名,根据维护、生态系统、规模和 AI 时代数据管道的适用性评判。
- BrowserCloud 评论:面向 AI 应用的浏览器自动化 - 基于证据的 BrowserCloud for AI 应用评论。比较用例、优势、限制、定价信号、设置和决策标准。
来源与进一步阅读
- 小学数学小组教学的一项观察研究... - 1990 年 12 月 21 日 · 摘要 本文报告了小学数学课堂小组教学的一项自然主义研究。
常见问题
使用 AdsCrawl 与 Nimble 需要编写代码吗?
你需要少量编排代码——一个 HTTP 客户端和一个循环——除非你的平台已经提供无代码连接器。API 调用本身是简单的 REST 请求。
AdsCrawl 可以替代 Nimble 的搜索层吗?
不可以。AdsCrawl 是一个浏览器和抓取平台;它不规划查询或排名结果。它通过检索搜索无法完全读取的页面来补充搜索层。
如何处理需要登录的页面?
使用带有保存配置文件的 AdsCrawl 有状态浏览器。认证一次,持久化配置文件,并在后续任务中重用它。根据你的安全策略轮换凭据和配置文件。
我可以从 AdsCrawl 获得哪些输出格式?
HTML、Markdown、JSON 提取和截图。Markdown 便于 LLM 上下文;JSON 更适合模式验证的流水线。
如何控制成本?
仅将真正需要渲染的页面路由到 AdsCrawl,缓存带时间戳的结果,并根据每个源的变化频率安排重新渲染。
结论

www.nimbleway.com 首屏截图。
Nimble 为智能体提供了一种查找和结构化实时网络信息的方式;AdsCrawl 为它们提供了一个真实浏览器来访问最重要的页面。集成与其说是关于单个 API 调用,不如说是关于一个清晰的契约:一侧发现,另一侧忠实检索,中间规范化。构建一次该契约,你的智能体就不再从片段中猜测,而是从它们实际阅读的页面中回答。
有关检索侧的背景,请参阅 Nimble 的网络数据平台和 Playwright 文档以获取 CDP 连接详情。
