Як використовувати AdsCrawl з Cloudflare Developer Docs

Швидкий огляд

Дізнайтеся, як поєднати API автоматизації браузера AdsCrawl з Cloudflare Developer Docs, щоб збирати відрендерену документацію та створювати надійні контекстні конвеєри для ШІ.

Як використовувати AdsCrawl з Cloudflare Developer Docs

Документація для розробників є одним із найцінніших джерел контексту для ШІ-агентів, помічників з кодування та внутрішніх баз знань. Її також найважче збирати надійно: сайти документації насичені JavaScript, мають посторінкову навігацію, версіонування та дедалі частіше захищені від ботів. Cloudflare Developer Docs публікує довідкові матеріали для платформи розробників Cloudflare та периферійної інфраструктури, а AdsCrawl забезпечує рівень автоматизації браузера, який перетворює ці сторінки на чистий структурований вивід.

Цей посібник пояснює, як вони поєднуються, робочий процес і кроки налаштування, практичні приклади та проблеми, які вирішує це поєднання. Він написаний для розробників, які створюють контекстні конвеєри для ШІ, дзеркала документації або автоматичне відстеження змін.

Чому варто поєднувати AdsCrawl з Cloudflare Developer Docs

Скріншот першого екрана сайту developers.cloudflare.com

Скріншот першого екрана сайту developers.cloudflare.com.

Cloudflare Developer Docs є канонічним джерелом того, як працює платформа розробників Cloudflare: Workers, Pages, R2, D1, KV, Durable Objects та ширший стек периферійної інфраструктури. Якщо ви будуєте на цій платформі або створюєте ШІ-агента, який відповідає на запитання про неї, вам потрібна документація в машиночитаній формі.

Проблема в тому, що сайти документації не є статичними HTML-файлами. Багато з них відображають навігацію, зразки коду та селектори версій на стороні клієнта. Деякі застосовують обмеження швидкості або перевірки на ботів. Звичайний HTTP-запит часто повертає оболонку сторінки, а не потрібний вміст.

AdsCrawl вирішує це за допомогою справжнього браузерного середовища. Він пропонує синхронні кінцеві точки для скріншотів, відрендереного HTML, Markdown і вилучення SPA, а також віддалені сесії Chromium зі збереженням стану, які підключаються до Playwright, Puppeteer або клієнтів CDP. Для роботи з документацією кінцева точка Markdown зазвичай найкорисніша: вона повертає читабельний вміст відрендереної сторінки без навігаційних елементів.

Розподіл обов'язків простий:

  • Cloudflare Developer Docs є джерелом істини щодо поведінки платформи, довідників API та прикладів конфігурації.
  • AdsCrawl є рівнем отримання та рендерингу, який витягує цей вміст у придатному для використання форматі, у масштабі, без блокування.

Що дає кожен продукт

Скріншот першого екрана сайту developers.cloudflare.com

Скріншот першого екрана сайту developers.cloudflare.com.

Cloudflare Developer Docs: довідковий рівень

Cloudflare Developer Docs організовує документацію за продуктами та завданнями. Вона охоплює конфігурацію, обмеження, ціни та приклади коду для платформи розробників. Для контекстних конвеєрів ШІ документація цінна тим, що вона авторитетна та часто оновлюється. Вона також містить індекс llms.txt, призначений допомагати ШІ-системам виявляти та навігувати структурою документації.

AdsCrawl: рівень рендерингу та вилучення

AdsCrawl — це API автоматизації браузера та хмарна платформа браузера. Його відповідні можливості для роботи з документацією включають:

  • Синхронні кінцеві точки для відрендереного HTML, Markdown, JSON і скріншотів.
  • Віддалені сесії Chromium зі збереженням стану для багатокрокових робочих процесів.
  • Керована ідентичність браузера, випадкові User-Agent, довірені проксі та маршрутизація через резидентні проксі.
  • Динамічна маршрутизація за регіонами для геозалежного вмісту.
  • Збережені профілі хмарного браузера з управлінням життєвим циклом і доступом до інтерактивного переглядача.
  • Специфікація OpenAPI та зручний для ШІ індекс llms.txt для власної документації.

Для скрейпінгу документації поєднання відрендереного виводу Markdown і маршрутизації через проксі робить робочий процес практичним у масштабі.

Робочий процес: від URL документації до структурованого контексту

Скріншот першого екрана сайту developers.cloudflare.com

Скріншот першого екрана сайту developers.cloudflare.com.

Надійний конвеєр документації має п'ять етапів. Кожен етап відповідає певній можливості AdsCrawl.

Етап 1: Виявлення структури документації

Почніть з індексу llms.txt, який публікує Cloudflare Developer Docs. Він перелічує основні розділи документації та дає вам карту сайту. Використовуйте його, щоб скласти початковий список URL-адрес, а не сканувати наосліп.

Якщо вам потрібно перейти за навігаційними посиланнями, які відображаються на стороні клієнта, використовуйте кінцеву точку відрендереного HTML AdsCrawl, щоб захопити сторінку після виконання JavaScript, а потім розберіть посилання з цього виводу.

Етап 2: Рендеринг кожної сторінки у справжньому браузері

Для кожної URL-адреси з вашого початкового списку запитайте вивід Markdown від AdsCrawl. Це повертає читабельний вміст сторінки після того, як браузер виконав JavaScript. Ви уникаєте поширеної проблеми, коли статичний запит повертає оболонку завантаження або часткову сторінку.

Етап 3: Нормалізація та розбиття вмісту

Вивід Markdown легше розбивати на частини, ніж необроблений HTML. Розділіть вміст за структурою заголовків так, щоб кожна частина відповідала розділу документації. Збережіть вихідну URL-адресу та заголовок сторінки як метадані, щоб подальше отримання могло посилатися на оригінальну сторінку.

Етап 4: Зберігання та індексація

Зберігайте нормалізовані частини у вашому векторному сховищі, пошуковому індексі або базі знань. Якщо ви будуєте на самому Cloudflare, Workers KV, R2 або D1 є природними цілями для зберігання. Та сама платформа, яка розміщує документацію, може розміщувати й ваш контекстний конвеєр.

Етап 5: Оновлення за розкладом

Документація змінюється. Плануйте періодичні повторні сканування та порівнюйте хеші виводу Markdown, щоб виявляти зміни. Повторно індексуйте лише сторінки, які справді змінилися. Це підтримує ваш контекст актуальним без повторної обробки всього сайту.

Кроки налаштування

Крок 1: Отримайте ключ API AdsCrawl

Зареєструйте обліковий запис AdsCrawl. Нові облікові записи отримують 500 безкоштовних кредитів, чого достатньо, щоб протестувати сканування документації перед переходом на платний план. Плани Free, Hobby, Starter і Pro базуються на кредитах, тож ви можете масштабуватися зі зростанням обсягу сканування.

Крок 2: Виберіть кінцеву точку

Для більшості робіт з документацією правильною є кінцева точка Markdown. Використовуйте кінцеву точку відрендереного HTML, коли потрібно переглянути DOM або витягти структуровані дані, як-от дерева навігації. Використовуйте скріншоти, коли потрібна візуальна перевірка макета сторінки.

Крок 3: Налаштуйте проксі та регіон

Якщо сайт документації застосовує геозалежну поведінку або захист від ботів, налаштуйте маршрутизацію через резидентні проксі та динамічну маршрутизацію за регіонами у вашому запиті. Керована ідентичність браузера та випадкові User-Agent від AdsCrawl допомагають запитам виглядати як звичайний трафік браузера.

Крок 4: Побудуйте цикл сканування

Пройдіть по ваших початкових URL-адресах, викличте кінцеву точку AdsCrawl для кожної та запишіть вивід у ваш рівень зберігання. Додайте повторні спроби та обмеження швидкості, щоб залишатися в межах бюджету кредитів і не перевантажувати цільовий сайт.

Крок 5: Перевірте вивід

Вибірково перевірте кілька сторінок. Переконайтеся, що блоки коду, таблиці та заголовки збереглися після перетворення. Перетворення в Markdown іноді може сплющувати складні таблиці, тому перевіряйте такі сторінки окремо.

Практичні приклади

Приклад 1: Створення ШІ-помічника для Cloudflare Workers

Припустімо, ви створюєте внутрішнього помічника, який відповідає на запитання про розгортання Workers. Вам потрібна документація Workers, довідник API середовища виконання та відповідні сторінки конфігурації.

  1. Отримайте індекс llms.txt, щоб визначити розділ Workers.
  2. Скануйте кожну сторінку за допомогою кінцевої точки Markdown AdsCrawl.
  3. Розбийте за заголовками та збережіть з вихідними URL-адресами.
  4. Підключіть індекс до вашого рівня отримання.

Коли розробник запитує, як налаштувати прив'язку, помічник отримує відповідну частину та посилається на оригінальну сторінку документації.

Приклад 2: Відстеження змін документації

Платформи часто оновлюють свою документацію. Якщо ваш продукт інтегрується з Cloudflare, ви хочете знати, коли змінюється відповідна сторінка.

  1. Скануйте цільові сторінки щотижня за допомогою AdsCrawl.
  2. Обчисліть хеш виводу Markdown для кожної сторінки.
  3. Порівняйте хеші з попереднім запуском.
  4. Надішліть сповіщення про різницю для змінених сторінок.

Це легка система виявлення змін, яка не потребує розбору повної HTML-різниці.

Приклад 3: Перевірка документації в кількох регіонах

Деяка документація містить регіональні обмеження або примітки щодо доступності. Використовуйте динамічну маршрутизацію за регіонами AdsCrawl, щоб отримати ту саму сторінку з різних регіонів і порівняти відрендерений вивід. Це виявляє регіональні відмінності, які пропустило б сканування з одного регіону.

Проблеми, які вирішує поєднання

Проблема Як поєднання її вирішує
Відрендерена JavaScript документація повертає порожні оболонки AdsCrawl рендерить сторінки у справжньому браузері перед вилученням
Захист від ботів блокує автоматичні запити Керована ідентичність браузера, випадкові User-Agent і резидентні проксі
Необроблений HTML важко розбивати Вивід Markdown зберігає структуру і його легше розділяти
Вміст змінюється непомітно Заплановані повторні сканування з порівнянням хешів виявляють оновлення
Регіональні відмінності невидимі Динамічна маршрутизація за регіонами отримує геозалежні варіанти
Багатокрокова автентифікована документація Віддалені сесії Chromium зі збереженням стану підтримують стан сесії

Коли використовувати AdsCrawl, а коли простіші підходи

Не кожен конвеєр документації потребує повного API автоматизації браузера. Скористайтеся цим посібником для прийняття рішень:

  • Статична HTML-документація без захисту від ботів: може бути достатньо простого HTTP-клієнта та HTML-парсера.
  • Документація, відрендерена JavaScript: використовуйте кінцеву точку Markdown або відрендереного HTML AdsCrawl.
  • Документація за захистом від ботів або обмеженнями швидкості: використовуйте AdsCrawl з маршрутизацією через проксі.
  • Автентифікована або багатокрокова документація: використовуйте віддалену сесію Chromium зі збереженням стану через Playwright або Puppeteer.
  • Високооб'ємні повторювані сканування: використовуйте платний план AdsCrawl і плануйте повторні сканування з виявленням змін.

Якщо ви ширше порівнюєте варіанти автоматизації браузера, дивіться порівняння AdsCrawl vs Steel vs Zyte для розбору робочих процесів CDP проти керованої доставки даних. Для робочих процесів документації з інтенсивним використанням сесій посібник із збереження сесій в автоматизації браузера пояснює, як сесії зі збереженням стану підтримують файли cookie та входи активними між кроками.

Пов'язане читання

Джерела та додаткове читання

  • Віддалені сервери MCP - Офіційний сервер MCP від Ahrefs, який дозволяє ШІ-агентам безпечно отримувати доступ до даних SEO Ahrefs, метрик сайту, дослідження ключових слів і аналізу конкурентів через API Ahrefs.
  • Індекс агентного доступу - APIs.io - Перегляньте рекомендовані контракти виконання x-agentic-access для постачальників API в мережі APIs.io — клас дії, рівень наслідків, область дії, короткочасні токени та ескалація з залученням людини для кожної операції, яку може викликати ШІ-агент. Класифіковано з OpenAPI постачальника відповідно до Curity
  • Як «мозок клієнта» дає ШІ контекст, потрібний для SEO-роботи - Структурована пам'ять клієнта допомагає роботі, згенерованій ШІ, залишатися обґрунтованою на брендових настановах, історії кампаній і технічних обмеженнях.

Часті запитання

Скріншот першого екрана сайту developers.cloudflare.com

Скріншот першого екрана сайту developers.cloudflare.com.

Що таке Cloudflare Developer Docs?

Cloudflare Developer Docs — це сайт документації для платформи розробників Cloudflare та периферійної інфраструктури. Він охоплює такі продукти, як Workers, Pages, R2, D1, KV і Durable Objects, включаючи конфігурацію, обмеження та приклади коду.

Чи працює AdsCrawl з будь-яким сайтом документації, не лише з Cloudflare?

Так. AdsCrawl — це загальний API автоматизації браузера. Описаний тут робочий процес застосовний до будь-якого сайту документації, який відображає вміст за допомогою JavaScript або застосовує захист від ботів. Cloudflare Developer Docs — це просто добре структурований приклад.

Чи можу я використовувати AdsCrawl без написання коду автоматизації браузера?

Так. Синхронні кінцеві точки для Markdown, HTML і скріншотів можна викликати безпосередньо HTTP-запитами. Віддалені сесії Chromium зі збереженням стану доступні, коли вам потрібен контроль через Playwright, Puppeteer або безпосередньо CDP.

Як підтримувати актуальність контексту документації?

Плануйте повторювані сканування та порівнюйте хеші вмісту між запусками. Повторно індексуйте лише сторінки, які змінилися. Плани AdsCrawl на основі кредитів роблять це передбачуваним за вартістю.

Чи є зручний для ШІ індекс для власної документації AdsCrawl?

Так. AdsCrawl публікує специфікацію OpenAPI та індекс llms.txt, призначений для того, щоб ШІ-системи могли виявляти та навігувати його документацією.

Що робити, якщо сторінка не рендериться?

Додайте повторні спроби та логіку резервного варіанту до вашого циклу сканування. Якщо сторінка постійно не працює, перевірте її за допомогою скріншота або запиту відрендереного HTML, щоб визначити, чи проблема в захисті від ботів, помилці на стороні клієнта або структурній зміні сторінки.

Висновок

Поєднання AdsCrawl з Cloudflare Developer Docs дає вам надійний спосіб перетворити авторитетну документацію платформи на структурований машиночитаний контекст. AdsCrawl бере на себе складні частини отримання: рендеринг JavaScript, захист від ботів, маршрутизацію через проксі та структурований вивід. Cloudflare Developer Docs надає довідковий матеріал, потрібний ШІ-агентам, помічникам з кодування та внутрішнім інструментам для точних відповідей на реальні запитання.

Почніть з індексу llms.txt, скануйте невеликий розділ за допомогою кінцевої точки Markdown і перевірте вивід перед масштабуванням. Коли конвеєр стабілізується, додайте виявлення змін і заплановані оновлення. Результатом є рівень контексту документації, який залишається точним у міру розвитку платформи.

Поділитися