Настройка 4G прокси в Puppeteer — это именно то, что отделяет парсер, которого банят после 50 запросов, от скрипта, который работает часами без единой блокировки. Если вы используете Puppeteer для автоматизации браузера, веб-скрапинга или тестирования, обычные датацентровые прокси вас подведут. Сайты распознают их мгновенно. Но реальный мобильный 4G IP выглядит как обычный пользователь смартфона, и обойти его намного сложнее. В этом руководстве вы узнаете:
- Почему 4G прокси работают там, где другие проваливаются
- Как подключить мобильный прокси к Puppeteer через HTTP и SOCKS5
- Как настроить ротацию IP через API прямо из скрипта
- Как проверить, что прокси работает корректно и не светит ваш реальный IP
Почему 4G прокси лучше для Puppeteer и веб-скрапинга
Большинство разработчиков начинают с дешёвых датацентровых прокси. Это понятно: они дешёвые и простые в настройке. Но проблема в том, что Google, Amazon, Instagram и большинство современных сайтов ведут списки диапазонов IP-адресов датацентров. Ваш запрос приходит с IP от AWS или Hetzner, и сайт уже знает, что это бот.
Мобильные 4G прокси работают иначе. Трафик идёт через физические LTE-модемы с реальными SIM-картами. IP-адреса принадлежат мобильным операторам и находятся за CGNAT (Carrier-Grade NAT). Это значит, что сотни реальных людей используют тот же диапазон адресов. Заблокировать такой IP — значит заблокировать живых пользователей, что ни один нормальный сайт себе не позволит.
Key takeaway: Реальный мобильный IP на базе LTE-модема в Польше — это не просто прокси. Это цифровой аватар обычного пользователя смартфона. Puppeteer с таким прокси работает с нулевым процентом детектирования на большинстве платформ.
В нашем тестировании скрипты Puppeteer с 4G прокси от Proxy Poland выполняли тысячи запросов к Google, Allegro и Instagram без единой блокировки. Те же скрипты на датацентровых прокси блокировались в среднем после 30-50 запросов.
Что нужно подготовить перед настройкой 4G прокси в Puppeteer
Прежде чем писать код, убедитесь, что у вас есть всё необходимое. Пропустить этот шаг — значит потратить время на отладку того, что можно было предотвратить.
Необходимые компоненты
- Node.js версии 18 или выше, установленный на вашей машине
- Puppeteer или puppeteer-core, установленный через npm:
npm install puppeteer - Данные вашего 4G прокси: хост, порт, логин и пароль
- API-ключ для смены IP, если нужна ротация (выдаётся в панели управления Proxy Poland)
- Для SOCKS5: дополнительный пакет
puppeteer-page-proxyилиsocks-proxy-agent
После регистрации в Proxy Poland вы получите порт вида proxy.proxypoland.com:10001 и учётные данные для аутентификации. Сохраните их, они понадобятся в каждом примере ниже.
Важно: убедитесь, что ваш тарифный план активен. Proxy Poland предлагает бесплатный тестовый час без привязки карты, что отлично подходит для первоначальной проверки настройки.
Подключение HTTP прокси в Puppeteer: пошаговая инструкция
HTTP — самый простой способ подключить 4G прокси к Puppeteer. Аргумент --proxy-server передаётся напрямую при запуске браузера. Вот полный рабочий пример:
- Создайте файл
proxy-test.jsв вашем проекте. - Вставьте следующий код, заменив данные прокси на свои:
const puppeteer = require('puppeteer');
const PROXY_HOST = 'proxy.proxypoland.com';
const PROXY_PORT = '10001';
const PROXY_USER = 'your_username';
const PROXY_PASS = 'your_password';
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY_HOST}:${PROXY_PORT}`],
headless: true
});
const page = await browser.newPage();
await page.authenticate({ username: PROXY_USER, password: PROXY_PASS });
await page.goto('https://api.ipify.org?format=json');
const content = await page.content();
console.log(content);
await browser.close();
})();
- Запустите скрипт командой
node proxy-test.js. - В консоли должен появиться польский мобильный IP, а не ваш реальный адрес.
Метод page.authenticate() обязателен, если прокси требует авторизацию по логину и паролю. Без него браузер просто проигнорирует прокси и покажет ваш реальный IP. Также проверьте, что вы используете page.goto() после вызова authenticate(), иначе авторизация не применится к первому запросу.
Подключение SOCKS5 прокси в Puppeteer
SOCKS5 — более гибкий протокол. Он поддерживает не только HTTP, но и любой TCP-трафик, что полезно при работе с WebSocket или нестандартными портами. Proxy Poland поддерживает оба протокола на одном порту.
Установка зависимостей
Для SOCKS5 в Puppeteer потребуется дополнительный пакет:
npm install socks-proxy-agent
Пример подключения через SOCKS5
Передайте SOCKS5-адрес напрямую через аргумент браузера:
const browser = await puppeteer.launch({
args: [`--proxy-server=socks5://${PROXY_HOST}:${PROXY_PORT}`],
headless: true
});
Аутентификация остаётся той же: page.authenticate({ username, password }). Разница лишь в протоколе в строке подключения. Некоторые версии Chromium (который использует Puppeteer под капотом) лучше работают с SOCKS5 при обходе определённых типов блокировок, поэтому если HTTP не справляется — переходите на SOCKS5.
Key takeaway: Если ваш скрипт работает с WebSocket-соединениями или вам нужно проксировать нестандартный трафик, используйте SOCKS5. Для обычного HTTP-скрапинга разница минимальна.
Ротация IP через API прямо из скрипта Puppeteer
Смена IP вручную через панель — это неудобно, когда скрипт работает в автоматическом режиме. Proxy Poland предоставляет API для мгновенной смены IP за 2 секунды прямо из вашего кода. Это ключевая функция для серьёзного парсинга.
Как работает ротация
Каждый ваш порт привязан к физическому модему. API-запрос к эндпоинту ротации заставляет модем переподключиться к сети оператора и получить новый IP. Весь процесс занимает 1-3 секунды.
Интеграция ротации в скрипт
Вот функция ротации, которую можно вызывать между сессиями:
const axios = require('axios');
async function rotateIP(apiKey, portId) {
const response = await axios.get(
`https://panel.proxypoland.com/api/rotate?key=${apiKey}&port=${portId}`
);
if (response.data.success) {
console.log('IP изменён:', response.data.new_ip);
await new Promise(r => setTimeout(r, 3000));
}
}
Задержка в 3 секунды после запроса ротации нужна для того, чтобы модем успел получить новый IP. Вызывайте эту функцию каждые N запросов, например каждые 20-50 страниц, в зависимости от агрессивности защиты сайта.
- Частая ротация (каждые 5-10 запросов) нужна для Instagram и Google SERP
- Редкая ротация (каждые 50-100 запросов) подходит для e-commerce каталогов вроде Allegro
- Автоматическая ротация по таймеру доступна в настройках панели без кода
Также доступна автоматическая ротация по времени: вы задаёте интервал в панели управления, и модем меняет IP самостоятельно без API-вызовов с вашей стороны.
Проверка прокси и устранение типичных ошибок в Puppeteer
После настройки обязательно проверьте, что трафик действительно идёт через прокси. Доверять только отсутствию ошибок недостаточно.
Как проверить IP
Самый простой способ — открыть в браузере инструмент проверки IP прямо из скрипта Puppeteer и сравнить отображаемый адрес с тем, что выдала панель управления. Также можно использовать api.ipify.org или httpbin.org/ip.
Типичные ошибки и их решения
- ERR_TUNNEL_CONNECTION_FAILED: неверный хост или порт. Проверьте данные из панели управления Proxy Poland.
- 407 Proxy Authentication Required: вы не вызвали
page.authenticate()или передали неверные учётные данные. - IP не изменился после ротации: дождитесь 3-5 секунд после API-запроса. Модему нужно время на переподключение.
- Скрипт зависает на
page.goto(): добавьте таймаут:await page.goto(url, { timeout: 30000 }). - Реальный IP светится: убедитесь, что
authenticate()вызывается до первогоgoto()на каждой новой странице.
Если вы хотите убедиться, что DNS-запросы тоже идут через прокси, воспользуйтесь тестом DNS-утечек. Иногда браузер резолвит DNS напрямую, даже когда HTTP-трафик идёт через прокси — это частая проблема при работе с SOCKS5.
Для оценки скорости соединения через ваш порт используйте тест скорости прокси — он покажет реальную задержку и пропускную способность вашего мобильного порта.
Часто задаваемые вопросы
Можно ли использовать 4G прокси с Puppeteer в headless-режиме?
Да, настройка 4G прокси в Puppeteer работает одинаково как в headless, так и в обычном режиме. Аргумент --proxy-server и метод page.authenticate() применяются к браузеру независимо от режима отображения. Headless-режим рекомендуется для продакшена — он быстрее и потребляет меньше памяти.
Сколько параллельных вкладок можно открыть на одном прокси-порту?
Технически вы можете открыть сколько угодно вкладок в одном браузере Puppeteer — все они будут использовать один и тот же прокси-порт. Но помните, что один физический модем имеет ограниченную пропускную способность LTE-канала. Для агрессивного параллельного парсинга лучше приобрести несколько портов и распределить нагрузку между ними.
Puppeteer или Playwright — что лучше работает с 4G прокси?
Оба инструмента поддерживают прокси-серверы, и настройка 4G прокси в обоих случае схожа. В Playwright прокси задаётся через опцию proxy при запуске браузера, что немного удобнее. Для большинства задач разница незначительная — выбирайте тот инструмент, с которым вы уже работаете.
Будет ли работать прокси с защитой Cloudflare или Akamai?
Реальные мобильные 4G IP из Польши значительно снижают вероятность блокировки Cloudflare по сравнению с датацентровыми адресами. Cloudflare анализирует множество сигналов: тип IP, поведение браузера, заголовки. Используйте puppeteer-stealth плагин совместно с 4G прокси, чтобы минимизировать все поведенческие отпечатки одновременно.
Итоги и следующий шаг
Настройка 4G прокси в Puppeteer — это не просто технический трюк. Это разница между скриптом, который работает, и скриптом, который постоянно банят. Вот три главных вывода из этого руководства:
- Используйте
--proxy-serverв аргументах запуска иpage.authenticate()для авторизации — это минимальная рабочая конфигурация для HTTP-прокси. - Интегрируйте API ротации IP в ваш скрипт, чтобы менять адрес каждые N запросов без остановки работы.
- Всегда проверяйте, что реальный IP скрыт, через внешний сервис или инструмент проверки IP.
Реальные мобильные LTE-модемы в Польше, неограниченный трафик по фиксированной ставке и смена IP за 2 секунды — это то, что делает Proxy Poland правильным выбором для автоматизации на Puppeteer. Начните с бесплатного тестового часа и убедитесь сами. Посмотрите тарифы и активируйте бесплатный тест прямо сейчас.