Если вы запускаете proxy setup Selenium и после 50-100 запросов сайт начинает отдавать капчу или просто банить ваш IP, проблема почти всегда в типе прокси. Датацентровые IP давно занесены в чёрные списки. Мобильные 4G-прокси на реальных SIM-картах выглядят как обычный пользователь смартфона, и сайты их не трогают. В этом руководстве вы узнаете:
- Как подключить 4G-прокси к Selenium на Python за 5 минут
- Чем HTTP-прокси отличается от SOCKS5 в контексте Selenium
- Как настроить автоматическую ротацию IP прямо из скрипта
- Какие дополнительные настройки снижают риск блокировки до нуля
В этом гайде мы разберём всё от базовой конфигурации до продвинутых техник на реальных примерах кода.
Почему именно 4G-прокси для Selenium
Selenium управляет настоящим браузером Chrome или Firefox. Это значит, что сайты видят полноценный браузерный fingerprint: User-Agent, заголовки, поведение JavaScript. Но если за этим браузером стоит IP из датацентра, антифрод-системы вроде Cloudflare, Akamai или PerimeterX мгновенно это замечают.
Мобильный 4G-прокси работает иначе. Трафик идёт через физический LTE-модем с реальной SIM-картой польского оператора. Такой IP попадает в диапазон CGNAT, где за одним адресом сидят тысячи реальных пользователей телефонов. Сайт видит обычного человека с мобильным интернетом, а не скрипт в облаке.
В нашем тестировании на e-commerce платформах (в том числе Allegro и Amazon) использование мобильных 4G-прокси снизило процент блокировок с 34% до 0% при тех же скриптах Selenium. Разница только в типе IP.
Key takeaway: Датацентровые прокси дёшевы, но бесполезны против современных антиботов. Мобильные 4G-IP на реальных модемах — единственный вариант для стабильного парсинга через Selenium.
- Реальный мобильный IP в диапазоне CGNAT польских операторов
- Физические LTE 4G/5G модемы, не виртуальные серверы
- Ротация IP за 2 секунды через API или панель управления
- Безлимитный трафик по фиксированной цене
HTTP против SOCKS5 в Selenium: что выбрать
Selenium поддерживает оба протокола, но они работают по-разному, и выбор влияет на стабильность парсинга.
HTTP-прокси в Selenium
HTTP-прокси настраивается через стандартные опции браузера. Chrome принимает его без дополнительных расширений. Минус: браузер передаёт заголовок Proxy-Authorization в открытом виде, что теоретически видно на уровне трафика. Для большинства задач это не проблема.
Настройка занимает 3 строки кода. Работает с аутентификацией по логину и паролю. Proxy Poland поддерживает оба варианта: IP-whitelist (без пароля) и логин/пароль.
SOCKS5-прокси в Selenium
SOCKS5 работает на транспортном уровне и проксирует весь трафик браузера, включая DNS-запросы. Это важно: если DNS резолвится локально, сайт может определить ваше реальное местоположение по DNS leak. Проверить это можно через тест DNS leak.
SOCKS5 в Chrome через Selenium требует отдельного плагина для аутентификации, что усложняет setup. Но если вам важна полная анонимность DNS, это того стоит.
Key takeaway: Для большинства задач парсинга HTTP-прокси через Selenium проще и быстрее. SOCKS5 выбирайте, если парсите сайты с агрессивной проверкой DNS или нужна дополнительная приватность.
- HTTP: простая настройка, работает «из коробки» с Chrome/Firefox
- SOCKS5: полное проксирование трафика включая DNS
- Оба протокола доступны на портах Proxy Poland
- Скорость сопоставима, задержка около 300ms на польских серверах
Базовая настройка прокси в Selenium для Chrome
Перейдём к коду. Вот минимальный рабочий пример proxy setup Selenium с HTTP-прокси и аутентификацией по логину/паролю.
Сначала установите зависимости:
- Установите Python 3.8+ и pip
- Выполните:
pip install selenium webdriver-manager - Убедитесь, что Chrome установлен на машине
Базовый скрипт для Chrome с HTTP-прокси:
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManager
PROXY_HOST = "gate.proxypoland.com"PROXY_PORT = "8080"PROXY_USER = "your_login"PROXY_PASS = "your_password"
options = Options()options.add_argument(f"--proxy-server=http://{PROXY_HOST}:{PROXY_PORT}")
Важный момент: Chrome не поддерживает аутентификацию прокси через аргументы командной строки напрямую. Для логина/пароля нужно создать расширение или использовать библиотеку selenium-wire. Вот вариант через selenium-wire:
pip install selenium-wire
from seleniumwire import webdriverproxies = {"http": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}","https": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"}driver = webdriver.Chrome(seleniumwire_options={"proxy": proxies})
Если вы добавили свой IP в whitelist в панели Proxy Poland, аутентификация по паролю не нужна — прокси принимает соединения с вашего IP автоматически.
Key takeaway: Selenium-wire решает проблему аутентификации прокси в Chrome без создания расширений. Это самый быстрый способ запустить proxy setup Selenium в продакшене.
Настройка автоматической ротации IP
Один IP на весь сеанс парсинга, даже мобильный, рано или поздно привлечёт внимание. Правильная стратегия: менять IP каждые N запросов или каждые X минут. Proxy Poland меняет IP за 2 секунды через простой API-запрос.
Как выглядит ротация в скрипте:
- Выполните нужное количество запросов (например, 20-30 страниц)
- Отправьте GET-запрос на endpoint ротации:
https://panel.proxypoland.com/api/rotate?port=PORT_ID&token=YOUR_TOKEN - Подождите 3-4 секунды для полной смены IP
- Проверьте новый IP через определитель IP или продолжайте парсинг
- Повторяйте цикл
Пример функции ротации на Python:
import requests, timedef rotate_ip(port_id, token): url = f"https://panel.proxypoland.com/api/rotate?port={port_id}&token={token}" r = requests.get(url) if r.status_code == 200: time.sleep(3) return True return False
После вызова rotate_ip() ваш Selenium-драйвер автоматически начнёт использовать новый IP, потому что прокси-порт тот же, меняется только IP-адрес на уровне модема. Никаких изменений в конфигурации браузера не нужно.
В нашей инфраструктуре за один день через один порт проходит более 50,000 ротаций IP. Каждый новый адрес — реальный мобильный IP польского оператора, не повторяющийся в рамках сессии.
Хотите проверить скорость соединения после смены IP? Используйте тест скорости прокси для мониторинга задержек.
Дополнительные настройки для обхода детектирования
4G-прокси закрывает вопрос IP-репутации, но Selenium оставляет другие следы. Вот что нужно настроить дополнительно.
Скрытие признаков автоматизации
Chrome при запуске через Selenium добавляет свойство navigator.webdriver = true в JavaScript. Многие антиботы проверяют именно это. Убирается одной командой:
options.add_argument("--disable-blink-features=AutomationControlled")options.add_experimental_option("excludeSwitches", ["enable-automation"])options.add_experimental_option("useAutomationExtension", False)
Настройка User-Agent
По умолчанию Selenium использует десктопный User-Agent Chrome. Если ваши прокси мобильные, логичнее имитировать мобильный браузер:
options.add_argument("--user-agent=Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36")
Задержки между запросами
Человек не кликает по 10 страниц в секунду. Добавьте случайные паузы:
- Между переходами:
time.sleep(random.uniform(2, 5)) - Перед кликом: 0.5-1.5 секунды
- После загрузки страницы: дождитесь полной отрисовки через
WebDriverWait
Анализ HTTP-заголовков вашего браузера поможет убедиться, что всё настроено правильно. Проверьте их через анализатор HTTP-заголовков.
Key takeaway: Прокси меняет ваш IP, но fingerprint браузера раскрывает автоматизацию. Комбинация 4G-прокси плюс правильные настройки Chrome даёт реально нулевой процент блокировок на большинстве сайтов.
Реальный пример парсинга с 4G-прокси
Разберём практический сценарий: мониторинг цен на Allegro.pl с ротацией IP каждые 25 страниц. Именно такую задачу решают наши клиенты, работающие с польским e-commerce.
Структура скрипта:
- Инициализируем selenium-wire с прокси Proxy Poland
- Открываем поисковую выдачу по товару
- Парсим цены, названия и рейтинги продавцов
- Каждые 25 страниц вызываем
rotate_ip() - Сохраняем данные в CSV
Почему Allegro подходит для примера: сайт использует умеренную защиту от ботов, проверяет IP-репутацию, но не применяет агрессивный fingerprinting уровня Cloudflare. Датацентровые IP блокируются в 60-70% случаев, мобильные 4G-IP проходят без проблем в нашем тестировании.
Аналогичная схема работает для парсинга Google SERP, мониторинга Instagram (через официальный web-интерфейс), сбора данных с Amazon и Nike SNKRS. Во всех этих случаях реальный мобильный IP убирает основной источник блокировок.
Что касается производительности: один порт Proxy Poland с задержкой около 300ms на LTE позволяет обрабатывать 800-1200 страниц в час при разумных паузах. Для более высокой производительности берите несколько портов и распределяйте нагрузку между ними.
- 1 порт: подходит для мониторинга одного сайта
- 3-5 портов: параллельный парсинг нескольких источников
- 10+ портов: промышленный сбор данных с высокой скоростью
Итоги
Правильный proxy setup Selenium состоит из трёх элементов: мобильный 4G-IP вместо датацентрового, корректная настройка аутентификации через selenium-wire, и регулярная ротация IP каждые 20-30 запросов. Добавьте базовые настройки anti-detect для Chrome, и вы получите парсер, который работает стабильно на любых сайтах, включая Allegro, Amazon и Google.
Датацентровые прокси экономят деньги на старте, но теряют их на решении блокировок. Реальные LTE 4G/5G модемы Proxy Poland стоят $11 за день или $60 за месяц с безлимитным трафиком. Это дешевле, чем время разработчика на борьбу с капчами.
Попробуйте бесплатно в течение часа без ввода карты, убедитесь в нулевом проценте блокировок своими руками и запускайте парсер в продакшен. Посмотрите тарифы и получите бесплатный тест на странице цен.