Як уникнути блокування IP під час парсингу сайтів

Якщо ви коли-небудь запускали скрапер на великому інтернет-магазині й через 200 запитів отримували помилку 403 або CAPTCHA, ви знаєте, наскільки болісно уникнути блокування IP під час парсингу. Сайти на кшталт Amazon, Allegro або Rozetka вкладають значні ресурси у системи захисту від ботів, і звичайний датацентровий проксі тут не врятує. У цьому керівництві ви дізнаєтесь:

• чому саме ваш IP потрапляє під бан і як це відбувається технічно;
• які методи ротації та маскування справді працюють у 2026 році;
• як мобільні 4G-проксі вирішують проблему детектування на рівні мережі;
• практичні налаштування для Python-скраперів і хромових розширень.

У цьому керівництві ви знайдете конкретні кроки, порівняльні таблиці та реальні приклади конфігурацій. Жодної води, тільки те, що реально допомагає не потрапляти у бан.

Чому сайти блокують IP під час парсингу

Більшість великих інтернет-магазинів використовують декілька рівнів захисту одночасно. Перший рівень, найпростіший, це частота запитів. Якщо одна IP-адреса надсилає 500 запитів за хвилину, система автоматично помічає її як підозрілу. Людина фізично не може клікати так швидко.

Другий рівень, складніший, це аналіз репутації IP. Сервіси на кшталт Cloudflare, Imperva або PerimeterX перевіряють, чи належить ваша адреса до ASN датацентрів. Якщо IP зареєстрований на Amazon AWS, Google Cloud або Hetzner, він отримує підвищений рівень підозри ще до першого запиту. І це логічно: звичайний покупець не заходить на сайт із серверного датацентру.

Третій рівень, найскладніший, це поведінковий аналіз. Системи відстежують:

• послідовність сторінок, які відвідує користувач;
• час між кліками та скролінгом;
• наявність cookies і сесійних токенів;
• відбиток браузера (canvas fingerprint, WebGL, шрифти);
• геолокацію IP відносно мовних налаштувань браузера.

Key takeaway: Заблокований IP, це не завжди наслідок занадто частих запитів. Часто достатньо одного «неправильного» сигналу, наприклад IP з датацентру з польськими cookies, щоб система вас відфільтрувала.

Типи блокувань і як їх розрізнити

Перш ніж змінювати конфігурацію, потрібно зрозуміти, що саме відбувається. Не кожна помилка означає бан IP. Розрізняють кілька сценаріїв.

HTTP 403 Forbidden

Це класичний бан. Сервер розпізнав вас як бота і відмовляє у доступі. Може бути тимчасовим (на 10-30 хвилин) або постійним. Перевірте свою поточну адресу через сервіс визначення IP, щоб переконатись, що вона не фігурує у публічних чорних списках.

CAPTCHA і JavaScript-челенджі

Cloudflare виводить сторінку перевірки замість блокування. Це м'якша форма захисту, але для автоматизованого скрапера вона так само руйнівна.

Тихе блокування (silent block)

Найнебезпечніший варіант. Сайт повертає код 200 і HTML-сторінку, але з підробленими або порожніми даними. Ви думаєте, що все працює, але збираєте сміття. Деякі e-commerce платформи підставляють завищені ціни для підозрілих IP, щоб ввести конкурентів в оману.

Rate limiting (429 Too Many Requests)

Сервер явно повідомляє про перевищення ліміту. Зазвичай включає заголовок Retry-After з часом очікування. Це вирішується затримками між запитами, але не усуває основну проблему, якщо ваш IP вже помічений.

Key takeaway: Завжди логуйте статус-коди відповідей і довжину HTML. Різка зміна розміру сторінки, це перший сигнал тихого блокування.

Ротація IP як основний метод, щоб уникнути блокування IP

Ротація IP, це заміна вашої адреси після певної кількості запитів або через фіксований проміжок часу. Це найефективніший спосіб уникнути блокування IP під час парсингу, але є нюанси.

Проста ротація через пул із 10 датацентрових IP не врятує вас на серйозних платформах. Системи захисту давно навчились розпізнавати патерн «один запит, один IP» як ознаку ротаційного проксі. Ефективна ротація виглядає органічно: кілька запитів з одного IP, потім зміна, потім знову кілька запитів.

Стратегії ротації

1. Per-request rotation. Новий IP на кожен запит. Добре для сайтів без сесій, але ламає cookies-based авторизацію.
2. Per-session rotation. Один IP на всю сесію (5-20 сторінок), потім зміна. Найбільш схожа на поведінку людини.
3. Time-based rotation. Зміна IP кожні 2-5 хвилин незалежно від кількості запитів.
4. On-ban rotation. IP змінюється тільки при отриманні 403 або CAPTCHA. Консервативний підхід для сайтів з невеликим захистом.

У нашому тестуванні на Allegro і OLX стратегія per-session rotation з 8-15 сторінками на IP і затримкою 1.5-3 секунди між запитами дала найкращий результат: менше 1% заблокованих сесій за 48 годин неперервного парсингу.

Мобільні 4G-проксі проти датацентрових: чому це важливо

Датацентровий проксі дає вам IP з ASN, що належить хостинг-провайдеру. Система захисту бачить це одразу. Жодна реальна людина не переглядає Amazon з IP-адреси Hetzner або DigitalOcean.

Мобільний 4G-проксі працює інакше. Трафік іде через реальну SIM-карту і LTE-модем, тому IP належить мобільному оператору, наприклад Play або Orange у Польщі. Такі адреси знаходяться за CGNAT (Carrier-Grade NAT), що означає: за однією IP-адресою реально сидять тисячі живих абонентів. Заблокувати такий IP означає відрізати від сайту тисячі реальних користувачів. Тому платформи вкрай обережні з блокуванням мобільних адрес.

Порівняння типів проксі

• Датацентрові проксі: дешеві ($0.5-2/IP), легко детектуються, блокуються масово, не підходять для серйозного скрапінгу e-commerce.
• Residential проксі: краща репутація ASN, але часто це зламані або куплені мережі, нестабільні, швидкість непередбачувана.
• Мобільні 4G-проксі: найвища довіра систем захисту, CGNAT-адреси, реальні оператори, стабільна швидкість, найкращий варіант для e-commerce парсингу.

Proxy Poland надає виділені порти на реальних LTE 4G/5G модемах у Польщі. Кожен порт підключений до фізичного модема з реальною SIM-карткою польського оператора. Ротація IP займає 2 секунди через API або панель управління, а пропускна здатність необмежена, ви платите фіксовану ставку без рахунків за гігабайти. Плани починаються від $11 на день, а безкоштовний 1-годинний тріал не вимагає карти. Перевірте швидкість з'єднання через тест швидкості проксі, перш ніж обирати план.

Key takeaway: Для парсингу Allegro, Rozetka, Amazon або будь-якого сайту з Cloudflare, мобільний IP з польського оператора дає вам нульовий рівень детектування там, де датацентровий проксі блокується з першого запиту.

Заголовки, User-Agent і поведінкові патерни

Навіть найкращий мобільний проксі не допоможе, якщо ваш скрапер надсилає запити з порожніми заголовками або з User-Agent Python/requests. Системи аналізують весь HTTP-запит цілком. Перевірити, що саме бачить сервер, можна через аналізатор HTTP-заголовків.

Обов'язкові заголовки для e-commerce парсингу

• User-Agent: реальний рядок мобільного браузера Chrome на Android або Safari на iOS;
• Accept-Language: pl-PL,pl;q=0.9,en-US;q=0.8 для польських сайтів;
• Accept-Encoding: gzip, deflate, br;
• Referer: попередня сторінка з того ж домену (імітація навігації);
• Cookie: зберігайте і передавайте cookies між запитами в межах сесії.

Поведінкові затримки

Не використовуйте фіксовані затримки на кшталт time.sleep(1). Це легко детектується. Натомість генеруйте випадкові інтервали з нормальним розподілом: середнє 2 секунди, стандартне відхилення 0.8. Так затримки виглядають органічно. Також додавайте випадкові паузи після кожних 10-15 запитів, імітуючи, що людина «читає» сторінку (5-15 секунд).

І ще один момент, який часто ігнорують: перевірте DNS-витоки. Якщо ваш реальний IP «виглядає» через системний DNS-резолвер, захист сайту може це зафіксувати. Скористайтесь тестом DNS-витоків, щоб переконатись, що весь трафік іде через проксі.

Практична конфігурація скрапера з проксі

Ось базова структура Python-скрапера з підтримкою ротаційних мобільних проксі. Цей підхід працює для збору цін, аналізу каталогів і моніторингу наявності товарів.

1. Налаштуйте підключення до проксі. Proxy Poland надає endpoint у форматі host:port:login:password для HTTP і SOCKS5. Вкажіть proxies={"http": "http://login:password@host:port", "https": "http://login:password@host:port"} у параметрах requests.
2. Ротуйте IP через API. Після кожної сесії (або при отриманні 403) викличте API-ендпоінт ротації. Нова адреса з'явиться протягом 2 секунд. Обробляйте відповідь і продовжуйте скрапінг автоматично.
3. Реалізуйте retry-логіку. При отриманні 403, 429 або CAPTCHA: зачекайте 3-5 секунд, запитайте нову IP через API, повторіть запит. Не більше 3 спроб на одну URL.
4. Зберігайте cookies між запитами. Використовуйте requests.Session() і не скидайте сесію при ротації IP. Деякі сайти перевіряють наявність cookies від попередніх відвідувань.
5. Логуйте все. Зберігайте статус-код, розмір відповіді, час запиту і використаний IP. Це дозволить виявити тихі блокування і налаштувати параметри під конкретний сайт.

У нашому тестуванні з'єднання через Proxy Poland на модемах із SIM-картками польських операторів показало середню затримку 280-350ms, що є цілком прийнятним для серійного збору даних. Оскільки пропускна здатність необмежена, ви можете завантажувати повні HTML-сторінки без турботи про витрату трафіку.

Key takeaway: Правильна конфігурація скрапера з мобільним проксі, це не тільки зміна IP. Це комбінація реальних заголовків, органічних затримок, коректного управління cookies і автоматичної ротації при детектуванні.

Висновок

Підсумуємо три головні висновки. По-перше, більшість IP-блокувань під час парсингу відбуваються не через частоту запитів, а через репутацію ASN і поведінкові аномалії. Датацентрові IP детектуються ще до першого запиту. По-друге, щоб надійно уникнути блокування IP під час парсингу, потрібна комбінація мобільних проксі, реалістичних заголовків, органічних затримок і автоматичної ротації при отриманні помилок. По-третє, мобільні 4G-адреси за CGNAT польських операторів дають найвищий рівень довіри для польських e-commerce платформ і міжнародних сайтів з геотаргетингом на Польщу.

Якщо ви готові перейти від постійних банів до стабільного збору даних, спробуйте Proxy Poland безкоштовно протягом однієї години без карти. Переглянути плани та запустити безкоштовний тріал і переконатись, наскільки по-іншому працює скрапінг через реальний мобільний LTE-модем у Польщі.