Як використовувати AdsCrawl зі ScrapeOps для надійного скрапінгу

Швидкий огляд

Поєднайте хмарний рендеринг браузера AdsCrawl з агрегацією проксі ScrapeOps, щоб створити стійкий робочий процес скрапінгу. Кроки налаштування, код і практичні приклади.

Як використовувати AdsCrawl зі ScrapeOps для надійного скрапінгу

Надійний скрапінг динамічних веб-сайтів вимагає двох речей, які легко зробити неправильно окремо: справжнього браузера, який може рендерити JavaScript, і проксі-шару, який запобігає блокуванню запитів. AdsCrawl забезпечує перше — керовані хмарні сесії Chromium із маршрутизацією через резидентні проксі, доступом до CDP та відрендереним виводом у форматах HTML, Markdown, JSON або скріншотів. ScrapeOps забезпечує друге — єдину інтеграцію, яка агрегує понад 20 постачальників проксі та кілька API для скрапінгу, автоматично вибираючи найефективніший проксі для кожного сайту та перемикаючись на інший у разі збою.

Цей посібник пояснює, як ці два продукти доповнюють один одного, як налаштувати комбінований робочий процес і які проблеми вирішує це поєднання, з якими жоден інструмент не впорається окремо.

Чому варто поєднувати AdsCrawl і ScrapeOps?

Скріншот першого екрана сайту scrapeops.io

Скріншот першого екрана сайту scrapeops.io.

AdsCrawl уже маршрутизує запити через резидентні проксі, тому може виникнути питання, навіщо взагалі додавати ScrapeOps. Відповідь — контроль і стійкість у масштабі.

  • AdsCrawl керує рендерингом і станом браузера. Він запускає справжній Chromium, чекає, поки сторінка досягне запитаного стану завантаження, впроваджує файли cookie та налаштування відбитків, і повертає відрендерений HTML, чистий Markdown, структурований JSON або PNG. Для багатокрокових сценаріїв віддалені CDP-сесії залишаються активними між запитами, що дозволяє входити в систему, клацати, прокручувати та витягувати дані після автентифікації.
  • ScrapeOps керує вибором проксі та відмовостійкістю. Замість ручного тестування постачальників проксі для кожного цільового сайту ScrapeOps вибирає найефективніший проксі для кожного домену та перемикається на альтернативний у разі збоїв. Він також додає моніторинг, планування та Parser API для перетворення HTML у структурований JSON.

На практиці AdsCrawl дає вам надійне браузерне середовище; ScrapeOps дає вам надійний мережевий шлях до нього та страхувальну сітку, коли цільовий сайт посилює захист. Разом вони зменшують дві найпоширеніші причини збою скрапера: сторінки з великою кількістю JavaScript, які ніколи не рендеряться, та пули проксі, які непомітно деградують.

Як ці два продукти поєднуються

Скріншот першого екрана сайту scrapeops.io

Скріншот першого екрана сайту scrapeops.io.

Існують два практичні шаблони інтеграції. Виберіть залежно від того, чи потрібен вам рендеринг браузера, чи достатньо отримання на рівні HTTP.

Шаблон 1: ScrapeOps як проксі-шар для запитів AdsCrawl

AdsCrawl приймає користувацькі проксі у своїх завданнях браузера та профілях хмарного браузера. Ви можете налаштувати AdsCrawl на використання проксі-кінцевої точки ScrapeOps, щоб кожен запит браузера виходив через агреговану проксі-мережу ScrapeOps. Це найпотужніша комбінація для динамічних сайтів: AdsCrawl рендерить сторінку в справжньому Chromium, а ScrapeOps забезпечує ротацію резидентних або мобільних виходів.

Шаблон 2: AdsCrawl як рендерер за конвеєром, керованим ScrapeOps

Якщо ваш конвеєр уже використовує ScrapeOps для керування проксі та моніторингу, спрямовуйте лише складні сторінки — SPA, автентифіковані панелі керування, сторінки за перевірками ботів — до AdsCrawl. ScrapeOps продовжує керувати проксі та плануванням для простих сторінок, тоді як AdsCrawl обробляє рендеринг і автоматизацію CDP для решти. Це робить витрати передбачуваними, оскільки ви витрачаєте кредити браузера лише там, де рендеринг справді потрібен.

Корисне правило: якщо дані присутні в сирій HTML-відповіді, достатньо запиту на рівні проксі. Якщо дані з'являються лише після виконання JavaScript або вимагають входу в систему, надсилайте їх до AdsCrawl.

Налаштування: попередні вимоги

Скріншот першого екрана сайту scrapeops.io

Скріншот першого екрана сайту scrapeops.io.

Перш ніж з'єднати ці два інструменти, переконайтеся, що у вас є:

  • Обліковий запис AdsCrawl з API-ключем із панелі керування. Нові облікові записи отримують 500 кредитів під час реєстрації, а безкоштовний рівень включає ротацію резидентних проксі.
  • Обліковий запис ScrapeOps з API-ключем. Безкоштовний рівень включає 1 000 запитів і 100 МБ трафіку.
  • Серверне середовище для ваших ключів — ніколи не вбудовуйте жоден ключ у клієнтський код.
  • Клієнтську бібліотеку: cURL, Python requests, Node.js fetch або Playwright/Puppeteer для робочих процесів CDP.

Покроково: рендеринг динамічної сторінки через проксі ScrapeOps за допомогою AdsCrawl

Скріншот першого екрана сайту scrapeops.io

Скріншот першого екрана сайту scrapeops.io.

Крок 1: Зробіть свій перший запит до AdsCrawl

Почніть із синхронної кінцевої точки HTML. Вона використовує безпечні налаштування браузера за замовчуванням і дозволяє уникнути керування сесією зі станом, що робить її найшвидшим способом переконатися, що ваш ключ працює.

export ADSCRAWL_API_KEY="your-api-key"

curl --fail-with-body -sS -X POST "https://api.adscrawl.net/html" \
  -H "content-type: application/json" \
  -H "x-api-key: $ADSCRAWL_API_KEY" \
  -d '{
    "url": "https://example.com/article",
    "contentMode": "markdown",
    "waitUntil": "domcontentloaded"
  }'

Успішна відповідь повертає відрендерений вміст у запитаному форматі. Якщо вам потрібні структуровані поля замість документа, використовуйте CSS-селектори або перехоплені мережеві відповіді в тому ж сімействі кінцевих точок.

Крок 2: Налаштуйте проксі ScrapeOps для AdsCrawl

У вашому запиті AdsCrawl або профілі хмарного браузера вкажіть проксі ScrapeOps як користувацький проксі. Точний хост і порт проксі беруться з вашої панелі керування ScrapeOps; шаблон — це стандартний HTTP- або SOCKS-проксі з вашими обліковими даними ScrapeOps. Після налаштування трафік Chromium від AdsCrawl виходить через агрегатор ScrapeOps, який вибирає найефективнішого постачальника для цільового домену.

Майте на увазі два моменти:

  • Узгодженість сесії. Якщо робочий процес вимагає однакової IP-адреси для кількох запитів (наприклад, багатокрокове оформлення замовлення або панель керування з посторінковою навігацією), використовуйте опцію липкої сесії, а не ротацію для кожного запиту.
  • Географічне націлювання. Обидві платформи підтримують маршрутизацію на рівні країни. Встановіть країну в одному місці — бажано в ScrapeOps — щоб уникнути конфліктних гео-правил між проксі-шаром і профілем браузера.

Крок 3: Додайте CDP-сесію для багатокрокових сценаріїв

Коли сторінка потребує взаємодії — входу в систему, натискання "Завантажити ще" або прокручування нескінченної стрічки — перейдіть від синхронної кінцевої точки HTML до віддаленої CDP-сесії. AdsCrawl повертає URL сесії, до якого ви можете підключитися за допомогою Playwright або Puppeteer через Chrome DevTools Protocol.

import requests
from playwright.sync_api import sync_playwright

resp = requests.post(
    "https://api.adscrawl.net/browser",
    headers={"x-api-key": "your-api-key"},
    json={"url": "https://example.com/login"},
)
ws_url = resp.json()["ws_endpoint"]

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp(ws_url)
    page = browser.contexts[0].pages[0]
    page.fill("#email", "user@example.com")
    page.fill("#password", "secret")
    page.click("button[type=submit]")
    page.wait_for_load_state("networkidle")
    html = page.content()
    browser.close()

Оскільки браузер залишається активним між командами, ви автентифікуєтеся один раз і повторно використовуєте файли cookie для подальшого вилучення даних. AdsCrawl керує життєвим циклом браузера; ScrapeOps керує мережевим шляхом під ним.

Крок 4: Додайте моніторинг і резервне перемикання

Моніторинг ScrapeOps відстежує стан і продуктивність скрапера, тому ви можете бачити, коли цільовий сайт починає давати збої та який постачальник проксі за це відповідальний. Поєднайте це з власними сигналами помилок AdsCrawl — відповідями HTTP 429 і збоями сесій — і впровадьте експоненційну затримку повторних спроб у вашому клієнті. Проста обгортка повторних спроб навколо виклику AdsCrawl, де ScrapeOps обробляє відмовостійкість проксі під нею, покриває більшість режимів відмов у виробництві.

Крок 5: Перетворіть HTML у структурований JSON

Після того як AdsCrawl поверне відрендерений HTML, у вас є два варіанти парсингу. Розпарсіть його самостійно за допомогою улюбленої бібліотеки або надішліть до Parser API ScrapeOps, щоб перетворити HTML у структурований JSON. Останнє корисно, коли ви хочете мати узгоджені схеми виводу для багатьох сайтів без підтримки парсера для кожного цільового сайту.

Практичний приклад: конвеєр моніторингу цін

Розглянемо роздрібного продавця, чиї сторінки продуктів рендерять ціни через JavaScript і іноді подають перевірки на ботів.

  1. Заплануйте завдання за допомогою Server Manager & Scheduler від ScrapeOps.
  2. Відрендеріть кожен URL продукту за допомогою кінцевої точки HTML AdsCrawl, запитуючи Markdown або структурований JSON.
  3. Маршрутизуйте трафік AdsCrawl через агрегатор проксі ScrapeOps, щоб заблоковані запити автоматично повторювалися через іншого постачальника.
  4. Розпарсіть відрендерений вивід у поля цін або за допомогою CSS-селекторів у AdsCrawl, або за допомогою Parser API ScrapeOps.
  5. Відстежуйте показники успіху в ScrapeOps і сповіщайте, коли частота збоїв для домену перевищує поріг.

Цей конвеєр вирішує дві класичні точки відмови — невідрендерений вміст і виснаження проксі — без необхідності керувати парком браузерів або тестувати постачальників проксі.

Коли використовувати лише один із двох

Поєднання потужне, але не завжди необхідне.

Сценарій Рекомендований підхід
Статичні HTML-сторінки, великий обсяг, низька чутливість до витрат Лише проксі-шар ScrapeOps
SPA з великою кількістю JavaScript, скріншоти, автентифіковані сесії AdsCrawl окремо або з проксі ScrapeOps
Змішаний портфель простих і складних цілей AdsCrawl для складних сторінок, ScrapeOps для маршрутизації та планування
Суворий бюджет на запит із непередбачуваним захистом від ботів Агрегація ScrapeOps плюс AdsCrawl для рендерингу лише за потреби

Якщо ви все ще оцінюєте постачальників автоматизації браузера, наше порівняння AdsCrawl vs ScraperAPI пояснює, чим справжні сесії браузера відрізняються від простого API для скрапінгу. Для ширшого огляду компромісів між рендерингом, проксі та CDP дивіться AdsCrawl vs Bright Data vs Lightpanda.

Поширені помилки та як їх уникнути

  • Подвійна ротація проксі. Якщо і AdsCrawl, і ScrapeOps ротують IP-адреси, залежні від сесії процеси ламаються. Виберіть один шар для керування ротацією.
  • Невідповідні гео-налаштування. Встановіть цільову країну в ScrapeOps і залиште опцію країни в AdsCrawl невстановленою, або навпаки — не обидві.
  • Ігнорування станів завантаження. Використовуйте значення waitUntil, що відповідають поведінці сторінки; domcontentloaded швидкий, але може пропустити дані, що рендеряться пізно.
  • Пропуск повторних спроб. Завжди обробляйте відповіді 429 і тимчасові 5xx із затримкою перед переходом на інший проксі-маршрут.
  • Надмірне використання сесій браузера. Кожен запит AdsCrawl споживає кредити; маршрутизуйте лише сторінки, які справді потребують рендерингу.

Для команд, які створюють виробничу автоматизацію, інструментування використання та показників успіху так само важливе, як і сама логіка скрапінгу. Наш посібник з аналітики використання для автоматизації браузера розповідає, як фіксувати події та вимірювати надійність завдань хмарного браузера.

Пов'язане читання

  • AdsCrawl vs Context.dev vs Spider: що підходить? - Порівняйте AdsCrawl, Context.dev і Spider для автоматизації браузера, вилучення даних за допомогою ШІ та сканування. Дізнайтеся, який інструмент підходить для вашого робочого процесу.
  • Автоматизація браузера та веб-скрапінг: огляд без коду vs з кодом - Огляд інструментів автоматизації браузера та веб-скрапінгу на основі доказів, що порівнює підходи без коду та з кодом. Охоплює ідеальних користувачів, варіанти використання, переваги, обмеження, ціноутворення, налаштування та критерії вибору.

Джерела та додаткове читання

Часті запитання

AdsCrawl уже включає проксі, то навіщо додавати ScrapeOps?

AdsCrawl включає ротацію резидентних проксі та підтримує користувацькі проксі. ScrapeOps додає автоматичний вибір постачальника, відмовостійкість між понад 20 постачальниками та моніторинг. Якщо ви скрапите кілька сайтів, вбудованих проксі AdsCrawl може бути достатньо. Якщо ви скрапите багато доменів із різним захистом, ScrapeOps зменшує ручне керування проксі.

Чи можна використовувати ScrapeOps з віддаленими CDP-сесіями AdsCrawl?

Так. Налаштуйте проксі ScrapeOps у профілі хмарного браузера або сесії, потім підключіться через Playwright або Puppeteer за CDP. Трафік браузера виходить через ScrapeOps, поки ви зберігаєте повний контроль DevTools.

Який інструмент має парсити дані?

Підходить будь-який. AdsCrawl може повертати структурований JSON за допомогою CSS-селекторів або перехоплених мережевих відповідей. Parser API ScrapeOps перетворює HTML у JSON з узгодженими схемами. Виберіть залежно від того, чи ви віддаєте перевагу парсингу під час рендерингу, чи на наступному етапі.

Чи є безкоштовний спосіб перевірити поєднання?

Так. AdsCrawl пропонує 500 кредитів під час реєстрації з безкоштовним рівнем, а ScrapeOps надає 1 000 безкоштовних запитів і 100 МБ трафіку. Цього достатньо, щоб перевірити невеликий конвеєр перед переходом на платні плани.

А як щодо робочих процесів зі штучним інтелектом?

ScrapeOps пропонує MCP Server для інтеграції з агентами ШІ та AI Scraper Builder, який генерує код скрапера. Вивід Markdown від AdsCrawl добре підходить для подачі великим мовним моделям. Поєднання чистого Markdown від AdsCrawl з інструментами для агентів ScrapeOps — це практичний шаблон для збору даних за допомогою ШІ.

Висновок

AdsCrawl і ScrapeOps вирішують різні половини однієї проблеми. AdsCrawl дає вам справжній хмарний браузер, який рендерить динамічні сторінки, підтримує автентифіковані сесії та повертає чистий вивід. ScrapeOps дає вам стійкий проксі-шар, який вибирає найкращого постачальника для кожного сайту, автоматично перемикається у разі збою та відстежує продуктивність. Використані разом, вони дозволяють маршрутизувати лише складні сторінки через рендеринг браузера, тоді як проксі-шар поглинає блокування та збої постачальників — комбінація, надійніша, ніж будь-який інструмент окремо, для виробничого скрапінгу динамічних веб-сайтів.

Почніть із невеликого тесту: відрендеріть одну сторінку з великою кількістю JavaScript через AdsCrawl із проксі ScrapeOps, переконайтеся в правильності виводу, а потім масштабуйте шаблон на весь ваш цільовий список.

Поділитися