Якщо ви хочете скрейпити Google SERP і при цьому не отримати бан вже після 20 запитів, ви знаєте, наскільки це болісна тема. Google блокує ботів агресивніше, ніж будь-коли: CAPTCHA з'являється після кількох запитів, IP потрапляє в чорний список ще до того, як ви встигли зібрати й сотню рядків. У цьому гайді ви дізнаєтесь, чому Google вас блокує, які проксі реально допомагають у 2026 році, як налаштувати ротацію IP, і які технічні прийоми дозволяють збирати дані пошукової видачі стабільно та без переривань. Ми розберемо конкретні сценарії, покажемо приклади конфігурацій і пояснимо, чому мобільні 4G проксі стали стандартом для серйозних SEO-фахівців і дата-інженерів.
Чому Google блокує скрейпери
Google інвестує серйозні ресурси в захист своєї пошукової видачі від автоматизованих запитів. Причина проста: масовий скрейпінг навантажує інфраструктуру і позбавляє Google можливості монетизувати ці дані через власні API. Але знаючи логіку детекції, ви можете її обійти.
Ось що Google перевіряє при кожному запиті:
- IP-адреса та її репутація. Дата-центрові IP блокуються практично миттєво. Якщо ваша адреса вже фігурує в базах спаму або ASN дата-центру, запит не пройде.
- Частота запитів (rate limiting). Більше 10-15 запитів з одного IP за хвилину, і Google починає показувати CAPTCHA або повертає 429.
- User-Agent та HTTP-заголовки. Відсутність реалістичних заголовків браузера, неправильний порядок заголовків або відсутність
Accept-Language— класичні ознаки бота. - Поведінкові патерни. Рівномірні інтервали між запитами, відсутність JavaScript-активності, однотипні параметри запиту.
- TLS fingerprint. Бібліотеки на кшталт
requestsв Python мають характерний TLS-відбиток, який відрізняється від Chrome.
Key takeaway: Google блокує не просто ботів, а все, що не схоже на реального користувача Chrome на звичайному пристрої. Ваша задача, відповідно, полягає в тому, щоб максимально імітувати таку поведінку.
Які проксі працюють для Google SERP у 2026 році
Не всі проксі однакові. І якщо ви хочете стабільно скрейпити Google SERP, вибір типу проксі критичний. Давайте порівняємо основні варіанти.
Дата-центрові проксі
Дешеві, швидкі, але практично марні для Google. ASN дата-центрів (AWS, Hetzner, OVH) давно в чорних списках. Google блокує їх на рівні підмережі ще до першого запиту. Підходять хіба що для тестових середовищ.
Residential проксі
Кращий варіант, ніж дата-центри, але є нюанси. Більшість residential-мереж формуються з пристроїв реальних користувачів через SDK без їхнього повного усвідомлення. Google навчився розпізнавати такі мережі за патернами трафіку. Ціна за GB висока, а якість нестабільна.
Мобільні 4G/5G проксі
Найефективніший варіант у 2026 році. IP-адреси з реальних LTE-модемів виглядають як звичайні смартфони в мережі оператора. Google практично не блокує мобільні IP, бо за однією адресою через CGNAT ховаються сотні реальних користувачів. Заблокувати такий IP означає відрізати живих людей від Google.
Key takeaway: Мобільні проксі з реальних 4G-модемів дають найнижчий рівень детекції для скрейпінгу Google. Це вже не перевага, а базовий стандарт для серйозних проектів.
Мобільні 4G проксі як рішення для скрейпінгу Google
Proxy Poland надає доступ до виділених портів на фізичних LTE 4G/5G модемах, розташованих в Польщі. Кожен порт, це окремий модем з реальною SIM-картою польського оператора. Трафік проходить через мережу оператора і виходить з IP-адреси, яка виглядає як звичайний смартфон.
Чому це важливо для скрейпінгу Google саме з Польщі:
- Польські IP дозволяють збирати локалізовану пошукову видачу Google.pl без геоблоків.
- CGNAT-адреси мобільних операторів мають ASN зовсім іншого характеру, ніж хостинг.
- Ротація IP через API займає 2 секунди, що дозволяє змінювати адресу між пачками запитів.
- Безлімітна пропускна здатність: ви не платите за гігабайти, тільки за час.
В нашому тестуванні з використанням Proxy Poland разом з Python і бібліотекою httpx вдалося зібрати понад 10,000 сторінок SERP за 8 годин без жодного блокування або CAPTCHA. При тих же умовах з дата-центровими проксі блокування починалось вже після 200-300 запитів.
Плани починаються від $11 за 1 день і $60 за 30 днів з необмеженим трафіком. Для тих, хто хоче спробувати перед покупкою, є безкоштовна 1-годинна пробна версія без кредитної картки. Перевірте актуальні тарифи на сторінці цін.
Ротація IP та затримки між запитами
Навіть з мобільними проксі неправильна стратегія запитів може підняти тривогу. Ротація IP і правильні затримки, це дві сторони однієї медалі.
Скільки запитів робити з одного IP
Для Google SERP безпечний діапазон: 5-10 запитів з одного IP, потім ротація. Якщо ви збираєте видачу для кількох ключових слів підряд, це нормальна поведінка. Але 50 запитів з одного IP за 2 хвилини, навіть мобільного, вже підозріло.
Як налаштувати ротацію через API
Proxy Poland надає API для зміни IP. Простий приклад на Python:
- Зробіть GET-запит до ендпоінту ротації:
https://panel.proxypoland.com/api/rotate?port=PORT&token=TOKEN - Дочекайтесь підтвердження (зазвичай менше 2 секунд).
- Перевірте новий IP через наш інструмент перевірки IP.
- Продовжуйте збір даних з новою адресою.
Затримки між запитами
Рівномірні паузи, це класична ознака бота. Використовуйте випадкові затримки в діапазоні від 3 до 12 секунд між запитами. В Python це реалізується через time.sleep(random.uniform(3, 12)). Такий підхід імітує природній темп читання і кліків живої людини.
Key takeaway: Ротуйте IP кожні 5-8 запитів і використовуйте випадкові затримки. Це єдина комбінація, яка реально працює для тривалих сесій збору SERP-даних.
Технічні налаштування: Scrapy, Python та заголовки запитів
Правильний код — половина успіху. Навіть з ідеальним проксі бот буде заблокований, якщо заголовки запиту виглядають підозріло.
Обов'язкові HTTP-заголовки
Кожен запит до Google повинен містити реалістичний набір заголовків. Ось мінімальний необхідний набір:
User-Agent: актуальна версія Chrome для Android або Windows. В 2026 році це Chrome 124+. Оновлюйте UA регулярно.Accept-Language:pl-PL,pl;q=0.9,en-US;q=0.8для польської видачі.Accept-Encoding:gzip, deflate, brReferer: іноді корисно передаватиhttps://www.google.com/для імітації переходу.Sec-Fetch-*заголовки: Chrome автоматично додає їх, і їхня відсутність підозрілa.
Перевірити, що саме бачить Google у ваших запитах, можна через інструмент аналізу HTTP-заголовків.
Scrapy vs httpx vs Playwright
Вибір інструменту залежить від масштабу задачі:
- httpx + asyncio: оптимально для 1,000-50,000 запитів на день. Швидко, легко налаштувати, добре інтегрується з проксі.
- Scrapy: підходить для великих проектів з чергами завдань. Потребує правильного middleware для проксі-ротації.
- Playwright / Puppeteer: використовуйте, коли потрібен повноцінний браузер для обходу JavaScript-захисту. Повільніше, але найбільш реалістично.
Для більшості SEO-завдань, моніторингу позицій або збору featured snippets, httpx з правильними заголовками і мобільним проксі повністю вистачає.
Обхід CAPTCHA та браузерного фінгерпринтингу
Якщо CAPTCHA все ж з'являється, є кілька стратегій. Але спочатку важливо розуміти: якщо ваш проксі і заголовки налаштовані правильно, CAPTCHA при скрейпінгу Google SERP з'являтиметься рідко.
TLS fingerprinting
Google і Cloudflare аналізують TLS-рукостискання. Стандартна бібліотека requests в Python має характерний відбиток, відмінний від Chrome. Рішення: використовуйте curl_cffi з імпресонацією Chrome або tls-client. Ці бібліотеки відтворюють точний TLS-відбиток реального браузера.
Перевірка на витік DNS
Навіть з хорошим проксі DNS-запити можуть йти через ваш реальний провайдер і видати вас. Перевіряйте відсутність витоків DNS через тест DNS-витоків перед початком серйозних сесій збору даних.
Що робити, якщо CAPTCHA все ж з'явилась
- Зупиніть запити з цього IP негайно.
- Виконайте ротацію через API Proxy Poland.
- Збільште випадкові паузи в 1.5-2 рази.
- Перевірте реалістичність заголовків у вашому коді.
- Якщо CAPTCHA з'являється регулярно, знизьте кількість запитів з одного IP до 3-5.
Не варто автоматично розгадувати CAPTCHA через сторонні сервіси для скрейпінгу Google. Це порушує умови використання і в довгостроковій перспективі дорожче, ніж правильно налаштований мобільний проксі, який CAPTCHA взагалі не викликає.
