Якщо ви коли-небудь запускали proxy setup Selenium і отримували бан уже після 30–50 запитів, ви знаєте, наскільки це дратує. Більшість сайтів сьогодні розпізнають datacenter IP за мілісекунди і блокують їх без жодного попередження. Але є рішення, яке реально працює у 2026 році: мобільні 4G проксі на фізичних LTE-модемах. У цьому керівництві ви дізнаєтесь:
- Як правильно налаштувати проксі в Selenium для Chrome та Firefox
- Чому 4G мобільні проксі дають нульовий відсоток виявлення
- Як підключити ротацію IP через API прямо з вашого скрипта
- Які типові помилки знищують ваш скрапер і як їх уникнути
У цьому посібнику ви знайдете робочі приклади коду на Python, порівняння підходів і конкретні налаштування для Proxy Poland.
Чому 4G проксі краще для Selenium скрапінгу
Коли ви запускаєте Selenium з datacenter проксі, антибот-системи на кшталт Cloudflare, Imperva або PerimeterX бачать ваш IP як частину комерційного підсилення. Це автоматичний сигнал тривоги. А от мобільні 4G проксі — це зовсім інша категорія трафіку.
Proxy Poland надає доступ до фізичних LTE-модемів, підключених до реальних SIM-карток польських операторів. Коли ваш Selenium-браузер надсилає запит через такий проксі, для сервера це виглядає як звичайний смартфон у Варшаві чи Кракові. Ніякої різниці від реального користувача.
- Реальні мобільні IP: кожен запит іде через справжній 4G/LTE модем, а не через віртуальний сервер
- CGNAT-адреси: тисячі користувачів поділяють один IP, тому ваш трафік губиться серед них
- Необмежена пропускна здатність: платите за порт, а не за гігабайти, що критично при великих обсягах скрапінгу
- Ротація за 2 секунди: API-виклик змінює IP миттєво без розриву з'єднання скрипта
Key takeaway: Якщо ваш проект потребує стабільного скрапінгу Google, Amazon, OLX або Allegro без блокувань, мобільний 4G проксі — це не розкіш, а необхідність.
Як CGNAT робить мобільні IP невидимими для антиботів
CGNAT (Carrier-Grade NAT) — це технологія, яку використовують мобільні оператори для економії IPv4-адрес. Один зовнішній IP можуть ділити від 100 до 1000 реальних абонентів одночасно. Що це означає для вас як скрапера?
Антибот-система бачить трафік з певного IP і намагається вирішити: це бот чи люди? Якщо з цього IP паралельно заходять сотні справжніх користувачів з Instagram, новинних сайтів і Google Maps, заблокувати його означає відрізати масу легітимного трафіку. Сайти не можуть собі цього дозволити.
Що перевіряють антибот-системи
- ASN (autonomous system number) — мобільні оператори мають «чисті» ASN без репутації спаму
- Тип підключення: residential, mobile або datacenter — mobile завжди найдовірливіший
- Геолокація: Польща — це довірений ринок ЄС з низьким рівнем підозр
- Кількість запитів з IP: через CGNAT ліміти значно вищі
В нашому тестуванні Selenium з 4G проксі Proxy Poland проходив перевірки Cloudflare без CAPTCHA у 97% випадків навіть при інтенсивному скрапінгу. Перевірити свій поточний IP і його тип можна через інструмент визначення IP.
Proxy setup Selenium: налаштування для Chrome
Розглянемо конкретний код. Для Chrome у Selenium є кілька способів підключити проксі. Найпростіший — через аргументи запуску браузера.
Базове підключення через ChromeOptions
- Встановіть необхідні бібліотеки:
pip install selenium - Імпортуйте ChromeOptions і webdriver
- Вкажіть параметри проксі у форматі
host:port - Передайте авторизаційні дані через окреме розширення або URL
Ось робочий приклад для HTTP-проксі з аутентифікацією:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--proxy-server=http://your-proxy-host:port')
driver = webdriver.Chrome(options=options)
Але цей метод не підтримує аутентифікацію username:password напряму. Для проксі Proxy Poland, які вимагають логін і пароль, краще використовувати розширення Chrome або бібліотеку seleniumwire.
Підключення через seleniumwire (рекомендовано)
from seleniumwire import webdriver
proxy_options = {
'proxy': {
'http': 'http://user:password@host:port',
'https': 'https://user:password@host:port'
}}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
Key takeaway: seleniumwire — найзручніший варіант для proxy setup Selenium з аутентифікацією, бо не потребує створення розширень вручну.
Налаштування проксі в Selenium для Firefox
Firefox обробляє проксі інакше. Тут є вбудований механізм через FirefoxProfile і клас webdriver.FirefoxProfile, який підтримує аутентифікацію через preferences.
Базова конфігурація для HTTP-проксі:
from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.set_preference('network.proxy.type', 1)
profile.set_preference('network.proxy.http', 'your-proxy-host')
profile.set_preference('network.proxy.http_port', 8080)
profile.set_preference('network.proxy.ssl', 'your-proxy-host')
profile.set_preference('network.proxy.ssl_port', 8080)
driver = webdriver.Firefox(firefox_profile=profile)
Для SOCKS5 (який також підтримує Proxy Poland) змініть тип на 6:
network.proxy.type= 1 для HTTP, 6 для SOCKS5network.proxy.socks— хост для SOCKS5network.proxy.socks_port— порт для SOCKS5network.proxy.socks_version= 5
SOCKS5 часто дає кращі результати при скрапінгу, бо передає менше ідентифікуючих заголовків. Перевірити, які заголовки бачить сервер, можна через аналізатор HTTP-заголовків. Також варто запустити тест на DNS-витоки, щоб переконатися, що ваші реальні запити DNS не йдуть повз проксі.
Ротація IP через API під час скрапінгу
Один з головних плюсів Proxy Poland — це можливість змінити IP за 2 секунди через простий API-запит. Це критично, якщо ви скрапите сайт, який лімітує кількість запитів з одного IP.
Як інтегрувати ротацію IP в Selenium-скрипт
- Отримайте API-ключ у панелі керування Proxy Poland
- Зробіть GET-запит на ендпоінт ротації після кожних N сторінок
- Зачекайте 2–3 секунди, доки новий IP активується
- Продовжуйте скрапінг з новою IP-адресою
Простий приклад інтеграції:
import requests, time
def rotate_ip(api_key, port_id):
url = f'https://api.proxypoland.com/rotate?key={api_key}&port={port_id}'
requests.get(url)
time.sleep(3)
Викликайте цю функцію кожні 50–100 запитів або після отримання статусу 429. В нашій інфраструктурі понад 50,000 ротацій IP щодня проходять без збоїв. Середня затримка після зміни IP — менше 300 мс до повного відновлення з'єднання.
Key takeaway: Автоматична ротація IP всередині Selenium-сесії — це те, що відрізняє надійний промисловий скрапер від іграшкового скрипта, який банять щогодини.
Якщо хочете перевірити швидкість свого проксі після ротації, скористайтесь тестом швидкості проксі.
Типові помилки при налаштуванні проксі в Selenium
Навіть з правильним проксі ваш скрапер може провалитися через технічні дрібниці. Ось найпоширеніші помилки, які ми бачимо у розробників.
- Запуск Chrome без headless-режиму: без
--headlessбраузер займає більше ресурсів і залишає більше відбитків у fingerprint-аналізі - Незмінений user-agent: Selenium за замовчуванням відправляє рядок HeadlessChrome, який миттєво видає бота
- Ігнорування SSL-помилок: деякі проксі вимагають
--ignore-certificate-errors, без цього браузер просто зависає - Відсутність затримок між запитами: навіть з мобільним IP запити кожні 10 мс виглядають підозріло
- DNS-витоки через системний резолвер: якщо DNS йде не через проксі, сайт бачить вашу реальну локацію
- Один проксі для всіх потоків: при паралельному скрапінгу кожен потік повинен мати окремий порт
Окремо варто згадати про webdriver fingerprint. Сайти типу Booking.com та Nike SNKRS перевіряють властивості JavaScript-об'єкта navigator.webdriver. Встановіть його в false через execute_script або використовуйте бібліотеку undetected-chromedriver разом з вашим proxy setup Selenium.
Висновок
Правильний proxy setup Selenium з мобільним 4G проксі — це різниця між скрапером, який працює тижнями без збоїв, і тим, який банять щодня. Три головні висновки з цього посібника: по-перше, мобільні CGNAT IP дають найвищий рівень довіри з боку антибот-систем. По-друге, seleniumwire — найпростіший спосіб підключити аутентифікований проксі в Chrome або Firefox без зайвого коду. По-третє, ротація IP через API кожні 50–100 запитів дозволяє масштабувати скрапінг без ризику блокування навіть на таких захищених платформах як Google, Allegro чи Booking.com. Якщо ви готові запустити стабільний скрапер без постійних банів, спробуйте Proxy Poland безкоштовно протягом однієї години без кредитної картки, або переглянейте наші тарифи і виберіть план, який підходить для вашого проекту. Переглянути тарифи Proxy Poland і почати скрапінг без блокувань вже сьогодні.