如何将 AdsCrawl 与 Nimble 结合用于智能体网络搜索

快速一览

将 AdsCrawl 的云端 Chromium 浏览器与 Nimble 的搜索智能体连接,为 AI 智能体提供可靠、结构化的实时网络数据。包含设置、工作流程和示例。

如何将 AdsCrawl 与 Nimble 结合用于智能体网络搜索

AI 智能体的能力取决于它们能访问到的网络数据。搜索为智能体提供了广度,但许多高价值页面需要真实浏览器:JavaScript 渲染的仪表板、登录门控的门户、受机器人保护的店面。AdsCrawl 以云 Chromium API 的形式提供这一浏览器层。Nimble 提供搜索和提取层,将实时网络转化为结构化数据。二者结合,覆盖了从问题到经过验证的结构化答案的完整路径。

本文解释了分工、端到端工作流程、设置步骤以及该组合消除的故障模式。

为什么智能体需要搜索层和浏览器层

搜索 API 回答“哪些页面相关?”浏览器回答“在脚本运行、Cookie 加载和机器人检查通过后,页面上实际有什么?”大多数智能体栈需要两者,而大多数故障发生在两者交汇处。

  • 仅搜索栈返回片段和链接。当智能体必须读取价格、表格或登录后记录时,片段不够。
  • 仅浏览器栈可以渲染任何内容,但没有发现步骤。智能体必须已经知道 URL。
  • 组合栈让智能体广泛搜索,然后在具有稳定身份和代理路由的托管浏览器中打开困难页面。

AdsCrawl 专为第二项工作而构建:云中的真实 Chromium、Playwright/Puppeteer/CDP 连接、JavaScript 渲染、住宅代理路由以及用于认证会话的保存配置文件。Nimble 专为第一项工作而构建:专门构建的搜索智能体,将实时互联网转化为结构化、可靠的数据,供 AI 和分析使用。

AdsCrawl 和 Nimble 如何分工

www.nimbleway.com 首屏截图

www.nimbleway.com 首屏截图。

阶段 Nimble AdsCrawl
查询规划和发现 运行网络搜索智能体,返回排名结果和提取字段 —
困难页面检索 — 启动云 Chromium,渲染 SPA,处理反机器人摩擦
身份和会话 — 保存配置文件、Cookie 持久化、住宅代理路由
输出整形 为智能体和分析提供结构化数据 HTML、Markdown、JSON、截图
规模控制 搜索智能体吞吐量 浏览器并发和基于积分的计划

一个有用的心智模型:Nimble 决定在哪里查找以及哪些字段重要;AdsCrawl 决定当普通 HTTP 获取不够时如何忠实读取页面。

端到端工作流程

步骤 1:定义问题和目标模式

从输出开始,而不是抓取。例如:“对于 20 个竞争对手中的每一个,返回产品名称、标价、货币和库存状态。”该模式告诉 Nimble 从搜索结果中提取哪些字段,并告诉 AdsCrawl 从需要渲染的页面中提取什么。

步骤 2:使用 Nimble 运行发现

将问题发送给 Nimble 的搜索智能体。你会得到候选 URL 以及搜索层已经可以解析的任何结构化字段。标记那些内容单薄、过时或仅有片段的结果——这些将成为浏览器任务。

步骤 3:将困难页面路由到 AdsCrawl

对于每个标记的 URL,创建一个 AdsCrawl 浏览器任务。两种模式适合不同需求:

  • 同步任务用于一次性作业:从单个页面获取渲染的 HTML、Markdown、截图或提取的 JSON。
  • 有状态云浏览器用于多步骤作业:保持会话活跃,登录一次,导航多个页面,并稍后重用配置文件。

步骤 4:规范化并合并

将 AdsCrawl 输出转换为 Nimble 返回的相同模式。按规范 URL 去重,协调冲突价格,并记录来源(哪个层产生了每个字段)。当智能体后来引用其答案时,来源很重要。

步骤 5:缓存并选择性重新运行

存储合并记录及时间戳。在下一次运行时,让 Nimble 重新发现,但仅在缓存记录过时或已知页面经常变化时,才在 AdsCrawl 中重新打开页面。这使积分和并发使用与实际变化成比例。

设置步骤

www.nimbleway.com 首屏截图

www.nimbleway.com 首屏截图。

先决条件

  • 一个 AdsCrawl API 密钥(免费层包括 500 积分;付费计划从 Hobby $9/月、Starter $49/月和 Pro $199/月开始,按积分、浏览器并发和 API 密钥限制区分)。
  • 一个可访问其搜索智能体的 Nimble 账户。
  • 一个可以发起 HTTP 调用的运行时,以及可选的 Playwright 或 Puppeteer 客户端,如果你想直接驱动 AdsCrawl 会话。

连接到 AdsCrawl

AdsCrawl 暴露 REST API 和远程 CDP 端点。一个最小的同步提取调用大致如下(查看当前 API 参考以获取确切字段名):

curl -X POST "https://api.adscrawl.example/v1/browser/tasks" \
  -H "Authorization: Bearer $ADSCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/pricing",
    "output": ["markdown", "json"],
    "proxy": { "type": "residential", "country": "us" },
    "wait_until": "networkidle"
  }'

对于有状态工作,请求远程 CDP 会话并附加 Playwright:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp(CDP_ENDPOINT)
    page = browser.contexts[0].pages[0]
    page.goto("https://portal.example.com/reports")
    page.wait_for_selector("table.report")
    html = page.content()

连接到 Nimble

使用你的查询和目标模式调用 Nimble 的搜索智能体,然后解析结构化响应。将原始响应与规范化记录一起保存,以便以后审计提取质量。

连接编排器

胶水代码很小但很重要:

  1. 调用 Nimble,收集候选 URL 和字段。
  2. 为每个 URL 评分“需要浏览器”(动态内容、登录、已知机器人保护)。
  3. 将这些分派给 AdsCrawl,并发上限与你的计划匹配。
  4. 合并、根据模式验证并写入你的存储。
  5. 按原因记录失败:超时、阻止、选择器漂移、模式不匹配。

实际示例

示例 1:竞争对手价格监控

Nimble 在 20 个竞争对手中找到定价页面,并从搜索结果中提取它能提取的内容。通过客户端 JavaScript 渲染价格的页面交给 AdsCrawl,后者返回渲染的 Markdown 和 JSON 提取。合并后的表格为每日价格变化报告提供数据。浏览器层使数字可信;搜索层使 URL 列表保持最新。

示例 2:认证研究门户

一个研究团队需要从订阅门户获取数据。AdsCrawl 的保存配置文件保持会话,因此智能体登录一次并在多次运行中重用身份。Nimble 处理相关报告页面的发现及其周围的任何公共上下文。该组合将手动登录并复制的例程转变为可重复的流水线。

示例 3:智能体回答实时问题

智能体收到“本月该供应商的企业计划有什么变化?”Nimble 搜索计划页面和最近的公告。AdsCrawl 打开定价页面和变更日志,渲染两者,并返回截图和 Markdown。智能体与上个月的缓存快照进行差异比较,并引用答案。

该组合解决的问题

  • 仅片段答案。 搜索结果描述页面;AdsCrawl 像浏览器一样读取它们。
  • JavaScript 墙。 SPA 和懒加载表格对简单获取器返回空 HTML。云 Chromium 完全渲染它们。
  • 机器人摩擦和地理差异。 住宅代理路由和按国家出口让智能体看到本地用户看到的内容。
  • 会话丢失。 保存的配置文件在任务之间保持认证状态,而不是每次运行都重新认证。
  • 无界成本。 发现成本低;浏览器工作是有针对性的。你只为改变答案的渲染付费。

何时该组合是合适的选择——何时不是

www.nimbleway.com 首屏截图

www.nimbleway.com 首屏截图。

当你的智能体必须定期回答关于动态、受保护或登录页面的问题时,使用两层。对于片段足够的广泛发现,单独使用 Nimble。当你已经有确切的 URL 并需要渲染、会话或截图时,单独使用 AdsCrawl。

如果你仍在选择浏览器层,云浏览器 API 替代方案比较和浏览器自动化 API 排名将选项并排展示。有关代理特定调优,请参阅将 AdsCrawl 与 DataImpulse 代理一起使用。

操作提示

  • 将并发限制在你的计划内。 浏览器并发,而不是搜索量,通常是约束瓶颈。
  • 为提取模式设置版本。 当网站更改布局时,模式差异比原始 HTML 差异更容易调试。
  • 保留截图作为证据。 它们是证明提取字段时页面样子的最便宜方式。
  • 使用退避重试,然后升级。 失败的渲染可能需要不同的代理国家或更长的等待条件,而不是更多重试。
  • 分离发现和检索日志。 当出现问题时,你想立即知道哪个层失败了。

相关阅读

来源与进一步阅读

常见问题

使用 AdsCrawl 与 Nimble 需要编写代码吗?

你需要少量编排代码——一个 HTTP 客户端和一个循环——除非你的平台已经提供无代码连接器。API 调用本身是简单的 REST 请求。

AdsCrawl 可以替代 Nimble 的搜索层吗?

不可以。AdsCrawl 是一个浏览器和抓取平台;它不规划查询或排名结果。它通过检索搜索无法完全读取的页面来补充搜索层。

如何处理需要登录的页面?

使用带有保存配置文件的 AdsCrawl 有状态浏览器。认证一次,持久化配置文件,并在后续任务中重用它。根据你的安全策略轮换凭据和配置文件。

我可以从 AdsCrawl 获得哪些输出格式?

HTML、Markdown、JSON 提取和截图。Markdown 便于 LLM 上下文;JSON 更适合模式验证的流水线。

如何控制成本?

仅将真正需要渲染的页面路由到 AdsCrawl,缓存带时间戳的结果,并根据每个源的变化频率安排重新渲染。

结论

www.nimbleway.com 首屏截图

www.nimbleway.com 首屏截图。

Nimble 为智能体提供了一种查找和结构化实时网络信息的方式;AdsCrawl 为它们提供了一个真实浏览器来访问最重要的页面。集成与其说是关于单个 API 调用,不如说是关于一个清晰的契约:一侧发现,另一侧忠实检索,中间规范化。构建一次该契约,你的智能体就不再从片段中猜测,而是从它们实际阅读的页面中回答。

有关检索侧的背景,请参阅 Nimble 的网络数据平台和 Playwright 文档以获取 CDP 连接详情。

分享