Как использовать AdsCrawl с browse.sh: рабочие процессы ИИ-браузера

Быстрый обзор

Узнайте, как объединить API автоматизации браузера AdsCrawl с навыками browse.sh, чтобы дать ИИ-агентам надежные и переиспользуемые веб-процессы в масштабе.

Как использовать AdsCrawl с browse.sh: рабочие процессы ИИ-браузера

ИИ-агенты хорошо рассуждают, но хрупки в кликах. AdsCrawl дает им настоящий облачный браузер с прокси и сессиями; browse.sh дает им каталог готовых рецептов для конкретных сайтов. Используемые вместе, вы получаете повторяемую автоматизацию, которая выдерживает страницы с интенсивным JavaScript, гео-ограничения и дрейф селекторов. Эта статья объясняет рабочий процесс, настройку и где комбинация окупается.

Что делает каждый инструмент

Скриншот первого экрана сайта browse.sh

Скриншот первого экрана сайта browse.sh.

AdsCrawl — это API автоматизации браузера и платформа облачного браузера. Он предоставляет синхронные эндпоинты для отрендеренного HTML, Markdown, скриншотов и извлечения SPA, а также сессии удаленного Chromium с сохранением состояния, которые подключаются к Playwright, Puppeteer или клиентам raw CDP. Он управляет идентичностью браузера, случайными User-Agent, доверенными и резидентными прокси и динамической маршрутизацией по регионам. Вы можете сохранять профили облачного браузера с управлением жизненным циклом и наблюдать за сессиями в интерактивном просмотрщике.

browse.sh — это открытый каталог навыков автоматизации браузера для веб-сайтов, в паре с браузерным CLI, созданным для ИИ-агентов. Каждый навык — это рецепт SKILL.md, который учит агента выполнять задачу на домене — например, сравнивать планы ACA или находить маршруты поездов. Навыки кодируют предлагаемые DOM-селекторы и XHR-запросы, что, по словам каталога, снижает затраты токенов в 50 раз. Вы устанавливаете их с помощью browse CLI:

npm i -g browse
browse skills add alltrails.com
browse skills add healthcare.gov/compare-plans-ruai96

CLI объединяет навыки, браузерные примитивы, отладку и облачные сессии в одном инструменте.

Зачем их объединять

browse.sh говорит агенту, что делать на сайте; AdsCrawl определяет, где и как работает браузер. Это разделение решает три распространенные проблемы:

  • Противодействие ботам. Резидентные прокси и маршрутизация по регионам AdsCrawl позволяют навыку работать из географии, которую ожидает целевой сайт.
  • Непрерывность сессии. Навыки, которым нужно состояние входа, могут повторно использовать профиль облачного браузера AdsCrawl с сохраненными cookie вместо повторной аутентификации при каждом запуске.
  • Дрейф селекторов. Когда предлагаемые селекторы навыка ломаются, вы можете вернуться к извлечению SPA или отрендеренному HTML AdsCrawl, чтобы восстановить данные без переписывания всего рецепта.

Предварительные требования

Перед началом вам нужно:

  1. Аккаунт AdsCrawl с API-ключом из панели управления.
  2. Установленный Node.js, чтобы запускать browse CLI.
  3. ИИ-агент или помощник по программированию, который может выполнять shell-команды и вызывать HTTP-эндпоинты.

AdsCrawl предлагает 500 бесплатных кредитов при регистрации, чего достаточно для проверки рабочего процесса перед переходом на платный план.

Пошаговая настройка

browse.sh — open catalog of browser automation skills

browse.sh — open catalog of browser automation skills.

1. Установите browse CLI и навык

npm i -g browse
browse skills add alltrails.com

Просмотрите каталог по домену, навыку, методу или региону, чтобы найти рецепт, соответствующий вашей задаче. Многие навыки только для чтения и анализируют публичные API или серверный HTML, что делает их низкорисковыми отправными точками.

2. Проверьте свои учетные данные AdsCrawl

Отправьте минимальный запрос, чтобы подтвердить работу ключа:

curl --fail-with-body -sS \
  -X POST "https://api.adscrawl.net/html" \
  -H "x-api-key: $ADSCRAWL_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "url": "https://www.adscrawl.net",
    "contentMode": "html",
    "waitUntil": "domcontentloaded"
  }' \
  --output page.html

Если вы предпочитаете вывод Markdown, установите contentMode в markdown.

3. Направьте навык на сессию AdsCrawl

Для навыков, требующих взаимодействия, создайте CDP-сессию и подключите ваш клиент автоматизации к возвращенному webSocketDebuggerUrl. Для навыков, которым нужно только содержимое страницы, направьте их через эндпоинты /html или /spa-extract. Обзор API использования браузера объясняет, как рендеринг, извлечение и управление сессиями сочетаются друг с другом.

4. Добавьте прокси и маршрутизацию по регионам

Если целевой сайт блокирует ваш регион по умолчанию, настройте прокси в запросе AdsCrawl. Каждый запуск Cloud Browser требует действительного прокси, и учетные данные должны находиться в designated fields, а не в URL прокси-сервера. Для более подробного руководства см. как использовать AdsCrawl с Proxidize.

5. Запускайте, проверяйте и повторяйте

Выполните навык через вашего агента, затем проверьте вывод. Страницы навыков browse.sh включают записи воспроизведения и полный SKILL.md, так что вы можете сравнить ожидаемое поведение с тем, что произошло на самом деле. Если селектор не срабатывает, проверьте missingFields в ответе AdsCrawl, чтобы увидеть, какие поля не найдены.

Практические примеры

Пример 1: Сравнение планов здравоохранения ACA

Навык вроде healthcare.gov/compare-plans-ruai96 кодирует шаги навигации и извлечения для сравнения планов. Запустите его через сессию AdsCrawl в правильном регионе США, чтобы сайт выдавал нужный контент. Агент следует селекторам навыка, а AdsCrawl обрабатывает рендеринг и идентичность прокси.

Пример 2: Отслеживание цен на авиабилеты по регионам

Навык отслеживания рейсов может запрашивать сайт авиакомпании, но цены часто различаются в зависимости от точки продажи. Запускайте сессии AdsCrawl в разных регионах и применяйте один и тот же навык к каждому. Соберите результаты в единый набор данных для сравнения.

Пример 3: Чтение маршрутов общественного транспорта и поездов

Многие навыки транзита только для чтения и анализируют серверный HTML. Они идеальны для эндпоинта /html AdsCrawl: интерактивная сессия не нужна, и вы можете пакетировать запросы в масштабе.

Пример 4: Аутентифицированные рабочие процессы

Для задач, требующих учетной записи с выполненным входом, сохраните профиль облачного браузера AdsCrawl после ручного входа, затем повторно используйте его. Используйте cookie только для учетных записей, к которым у вас есть право доступа, и проверяйте домен, путь и срок действия перед каждым запуском.

Рекомендации по выбору: когда какой слой использовать

Скриншот первого экрана сайта browse.sh

Скриншот первого экрана сайта browse.sh.

Потребность Использовать навык browse.sh Использовать AdsCrawl напрямую
Известный сайт с опубликованным рецептом Да Как слой выполнения
Новый или не указанный сайт Нет Да, с /spa-extract или CDP
Контент с гео-ограничениями Да, с маршрутизацией по регионам Да
Высокообъемное извлечение только для чтения Да Да, через /html или /spa-extract
Многошаговый аутентифицированный поток Да, с сохраненным профилем Да, через CDP-сессию

Если вы все еще оцениваете сам браузерный слой, сравнение AdsCrawl vs Playwright vs Stagehand охватывает контроль, управляемую инфраструктуру и соответствие ИИ-агенту.

Распространенные ошибки и исправления

  • Таймауты. Страница может быть медленной, прокси недоступен или ожидаемый селектор так и не появился. Проверьте ответ с ошибкой, убедитесь в правильности URL и прокси, затем скорректируйте условие ожидания.
  • HTTP 402. У вас закончились кредиты. Проверьте баланс и план в панели управления.
  • HTTP 429. Вы достигли ограничения скорости. Снизьте параллелизм и повторите с задержкой.
  • Просмотрщик оставлен открытым. Закрытие интерактивного просмотрщика не останавливает Cloud Browser. Вызовите эндпоинт остановки и убедитесь, что runtime.status равен stopped.

Связанное чтение

Источники и дополнительное чтение

  • AdsCrawl MCP Server | Awesome MCP Servers - Размещенный облачный браузер, автоматизация браузера и извлечение веб-данных для разработчиков и ИИ-агентов. Просмотрите AdsCrawl MCP Server для Claude, Cursor, VS Code и...
  • Browser Use MCP Server | Awesome MCP Servers - MCP-сервер, который позволяет ИИ-агентам управлять веб-браузером с помощью библиотеки browser-use. Просмотрите Browser Use MCP Server для Claude, Cursor, VS Code и...
  • Chrome MCP Server | Awesome MCP Servers - Управляйте браузером Chrome через Chrome DevTools Protocol (CDP) из клиентов MCP для просмотра, инспекции и рабочих процессов автоматизации.

Часто задаваемые вопросы

Скриншот первого экрана сайта browse.sh

Скриншот первого экрана сайта browse.sh.

Нужен ли мне browse.sh, если AdsCrawl уже рендерит страницы?

Нет. AdsCrawl сам по себе может рендерить, извлекать и автоматизировать. browse.sh добавляет переиспользуемые рецепты для конкретных сайтов, которые уменьшают работу по промпт-инжинирингу и селекторам, необходимую вашему агенту.

Могу ли я использовать навыки browse.sh без AdsCrawl?

Да. browse CLI включает браузерные примитивы и облачные сессии. AdsCrawl становится полезным, когда вам нужны управляемые прокси, маршрутизация по регионам, сохраненные профили или высокообъемное извлечение.

Безопасно ли запускать навыки browse.sh?

Многие только для чтения и анализируют публичные API или серверный HTML. Просмотрите SKILL.md перед запуском любого навыка, который выполняет записи, бронирования или отправки.

Как отладить неработающий навык?

Сравните запись воспроизведения навыка с вашим запуском, проверьте missingFields в ответе AdsCrawl и просмотрите отрендеренный HTML, чтобы увидеть, изменился ли DOM.

Может ли мой агент по программированию настроить AdsCrawl за меня?

Да. AdsCrawl публикует промпт настройки агента, который проводит через регистрацию, авторизацию API-ключа и интеграцию. Вы одобряете доступ в своем браузере.

Заключение

AdsCrawl и browse.sh решают разные половины одной и той же проблемы. browse.sh поставляет знания о конкретном сайте; AdsCrawl поставляет браузер, идентичность и масштаб. Начните с одного навыка только для чтения, проверьте его через эндпоинт /html, затем добавьте прокси и сохраненные профили по мере роста ваших рабочих процессов. Для более широкого обзора ландшафта инструментов см. топ платформ ИИ для веб-скрапинга и мониторинга.

Поделиться