Search
中文
English中文
Get started免费开始
adscrawl 教程Adscrawl Api浏览器自动化网页抓取
7 min

AdsCrawl 教程：截图、HTML 提取与远程 CDP

AdsCrawl 分步教程：捕获截图、提取 HTML/Markdown，并通过远程 CDP 会话控制浏览器，实现网页抓取与自动化。

AAnonymous

AdsCrawl 教程：截图、HTML 提取与远程 CDP

AdsCrawl 提供了一个强大的浏览器自动化和数据提取 API，可运行真实的云浏览器会话。无论您需要整页截图、干净的 HTML 或 Markdown 内容，还是通过 Chrome DevTools 协议进行完全远程控制，本教程都将引导您完成关键步骤。最后，您将了解如何设置账户、进行首次 API 调用，以及配置反检测浏览器环境，以实现可靠的抓取、监控和 AI 数据管道。

前提条件

AdsCrawl 教程：截图、HTML 提取与远程 CDP 产品界面和功能概览。

在开始之前，请确保您具备：

  • 一个 AdsCrawl 账户（免费注册即可访问 API）
  • 来自 AdsCrawl 控制台的 API 密钥
  • 熟悉 REST API 和基本脚本（将使用 Python 或 curl 示例）

第 1 步：创建账户并获取 API 密钥

AdsCrawl 教程：截图、HTML 提取与远程 CDP 产品界面和功能概览。

前往 AdsCrawl 官方网站 并点击“注册”。验证电子邮件后，登录控制台。您将在“API 密钥”部分找到您的唯一 API 密钥。复制它——您需要在每个请求中将其作为 Bearer 令牌包含。

第 2 步：您的第一张截图 – 一个简单的 API 请求

AdsCrawl 教程：截图、HTML 提取与远程 CDP 产品界面和功能概览。

AdsCrawl 提供了一个专用端点，用于捕获整页或视口截图。让我们拍摄 example.com 的快照。

端点： POST https://api.adscrawl.net/v1/screenshot

请求头：

  • Authorization: Bearer YOUR_API_KEY
  • Content-Type: application/json

请求体：

{
  "url": "https://example.com",
  "format": "png"
}

使用 curl：

curl -X POST https://api.adscrawl.net/v1/screenshot \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "format": "png"}'

响应包含一个 screenshot_url 字段，其中包含渲染 PNG 图像的临时链接。您还可以通过在请求体中添加 "encoding": "base64" 来接收 base64 编码的字符串图像。

Python 示例：

import requests

api_url = "https://api.adscrawl.net/v1/screenshot"
headers = {"Authorization": "Bearer YOUR_API_KEY"}
payload = {"url": "https://example.com", "format": "png"}

response = requests.post(api_url, json=payload, headers=headers)
print(response.json()["screenshot_url"])

第 3 步：提取 HTML 和 Markdown 内容

AdsCrawl 教程：截图、HTML 提取与远程 CDP 产品界面和功能概览。

对于数据收集和 AI 增强，AdsCrawl 可以提取页面的原始 HTML 或干净的 Markdown 版本。使用 /scrape 端点。

端点： POST https://api.adscrawl.net/v1/scrape

示例请求（Markdown 提取）：

{
  "url": "https://example.com",
  "output_type": "markdown"
}

响应片段：

{
  "content": "# Example Domain\nThis domain is for use in illustrative examples...",
  "status_code": 200
}

您还可以设置 "output_type": "html" 以获取完整页面源代码，或设置 "output_type": "text" 以获取纯文本。有关所有支持端点的深入介绍，请参阅 AdsCrawl API 文档指南。

第 4 步：使用远程 CDP 进行交互式浏览器控制

当您需要与页面交互（登录、点击按钮、滚动）时，AdsCrawl 允许您启动远程 Chrome DevTools 协议（CDP）会话。这对于仅在用户操作后加载的动态内容非常理想。

端点： POST https://api.adscrawl.net/v1/browser

这将返回一个 WebSocket URL（ws://...），您可以使用 Puppeteer 或 Playwright 等库进行连接。

使用 websocket-client 的最小 Python 示例：

import requests
import websocket

api_url = "https://api.adscrawl.net/v1/browser"
headers = {"Authorization": "Bearer YOUR_API_KEY"}
resp = requests.post(api_url, headers=headers, json={"url": "https://example.com"})
ws_url = resp.json()["ws_endpoint"]

ws = websocket.WebSocket()
ws.connect(ws_url)
# 发送 CDP 命令以导航、评估 JavaScript 等。
ws.send('{"id":1,"method":"Page.navigate","params":{"url":"https://example.com"}}')
# 接收响应...

在远程会话中，您可以处理复杂的流程，而 AdsCrawl 负责管理浏览器基础设施、指纹和网络隔离。

第 5 步：配置指纹和浏览器环境

AdsCrawl 的一个突出特点是它与 AdsPower 的指纹浏览器核心集成。您可以定义真实的设备指纹——用户代理、时区、WebGL 渲染器、屏幕分辨率等——以避免检测和封禁。

创建截图或 CDP 会话时，包含一个 fingerprint_profile 对象：

{
  "url": "https://example.com",
  "fingerprint_profile": {
    "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...",
    "timezone": "America/New_York",
    "webgl_vendor": "Google Inc. (Intel)"
  }
}

预配置的配置文件可以存储在您的 AdsPower 账户中，并通过 ID 引用。有关每个设置的完整演练，请参阅我们的 AdsCrawl 指纹设置指南。

第 6 步：管理并发会话和速率限制

AdsCrawl 支持多个并行会话，使其适用于批量抓取和监控。允许的并发会话数取决于您的订阅计划。免费层让您体验服务，而付费计划解锁更高的并发性和优先路由。

扩展时，始终注意 HTTP 429（请求过多）并实现指数退避。有关成本和计划比较，请查看 AdsCrawl 定价指南。

第 7 步：错误处理与最佳实践

以下是一些保持自动化稳健的提示：

  • 重试瞬时错误 – 如果您收到 5xx 或 429，请等待几秒钟然后重试。
  • 在会话之间存储 Cookie – 对于需要身份验证的抓取，保存 CDP 会话返回的 Cookie，并重新注入以避免重复登录。
  • 轮换指纹 – 在规模抓取同一站点时，循环使用多个指纹配置文件以减少模式检测。
  • 使用 /health 端点 – 在启动大型任务之前监控 API 可用性。

相关阅读

来源与进一步阅读

常见问题解答

什么是 AdsCrawl？

AdsCrawl 是一个浏览器自动化和数据提取 API，运行真实的云浏览器会话。它捕获截图、提取结构化内容（HTML、Markdown、文本），并提供完整的远程 CDP 控制，全部与反检测指纹技术集成。

有免费试用吗？

有。免费层包括每月有限数量的 API 调用，非常适合测试和小型项目。对于更高容量，可提供可扩展的定价计划。

AdsCrawl 能否处理需要登录的网站？

当然可以。使用远程 CDP 会话导航到登录页面，填写凭据，并在需要时解决验证码。一旦通过身份验证，您可以重用会话 Cookie 进行后续请求。

支持哪些指纹配置？

您可以自定义用户代理、时区、WebGL 参数、屏幕分辨率、语言以及许多其他浏览器属性。AdsPower 的预构建指纹配置文件可以直接在您的 API 调用中引用。

响应速度有多快？

控制平面的平均 API 响应时间约为 50 毫秒，而实际渲染时间取决于目标页面。AdsCrawl 的全球节点基础设施确保大多数地区的低延迟。

结论

AdsCrawl 将复杂的浏览器自动化转变为简单、可组合的 API。在本教程中，您学习了如何捕获截图、提取干净的内容、启动交互式 CDP 会话，以及配置不可检测的浏览器指纹。无论您是在构建价格监控器、SEO 审计工具，还是为 AI 数据管道提供数据，AdsCrawl 都提供了真实的浏览器基础设施，而无需运维麻烦。

有关更深入的自动化和抓取资源，请探索 AdsCrawl 上的其他指南。

Related Articles

Browse all articles

如何使用AdsCrawl：完整API教程

了解如何使用AdsCrawl的浏览器自动化API捕获截图、提取HTML/Markdown，并控制远程CDP会话。逐步设置及代码示例。