Якщо ви хоча б раз намагалися зібрати ціни з кількох інтернет-магазинів автоматично, ви знаєте, що відбувається після 30–50 запитів: сторінка повертає CAPTCHA, IP потрапляє в бан, і весь скрипт зупиняється. Price comparison scraping proxy вирішує саме цю проблему, дозволяючи вашому інструменту виглядати як звичайний мобільний користувач, а не як бот. У цьому посібнику ви дізнаєтеся:
- Як побудувати архітектуру інструменту порівняння цін від нуля
- Чому мобільні 4G проксі обходять захист краще, ніж датацентрові IP
- Як налаштувати ротацію IP через API Proxy Poland
- Практичні приклади коду та конфігурацій для реальних e-commerce сайтів
В цьому посібнику ми розберемо кожен крок: від вибору архітектури до запуску скрапера, який не блокується.
Чому звичайні проксі не справляються з порівнянням цін
Датацентрові проксі — це перше, до чого тягнеться рука, коли потрібно зібрати ціни. Вони дешеві, швидкі і здаються логічним вибором. Але є проблема: Amazon, Allegro, Ceneo, OLX та інші великі платформи вже давно навчилися розпізнавати їх за лічені секунди.
Справа в ASN-перевірці. Коли ваш запит надходить з IP-адреси, яка належить хостинг-провайдеру (Amazon AWS, Digital Ocean, OVH), антибот-система бачить це миттєво. Такі IP не можуть бути звичайними покупцями — жодна людина не переглядає товари з серверної стійки.
Key takeaway: Мобільні IP з реальних SIM-карток оператора мобільного зв'язку відносяться антиботами до категорії «довірених», тому що з таких адрес дійсно заходять мільйони живих користувачів щодня.
- Датацентрові IP — блокуються на рівні ASN за 10–30 запитів
- Residential проксі — кращі, але часто повільні та дорогі за трафік
- Мобільні 4G проксі — реальні LTE-модеми з польськими SIM, CGNAT-адреси, найвищий рівень довіри
- Один мобільний IP може поділятися між тисячами реальних абонентів через CGNAT, тому блокування такого IP коштує сайту занадто дорого
Саме через CGNAT-природу мобільних адрес навіть великі платформи рідко їх блокують. Ваш скрапер стає одним із тисяч «звичайних телефонів» у мережі оператора.
Архітектура інструменту порівняння цін
Перш ніж писати перший рядок коду, варто спроектувати систему правильно. Погана архітектура призводить до дублікатів даних, пропущених оновлень і складного масштабування. Хороша — дозволяє додавати нові магазини за 20 хвилин.
Основні компоненти
- Scheduler — планувальник запусків (cron або Celery). Визначає, коли і які URL перевіряти
- Scraper workers — Python-процеси, які роблять HTTP-запити через проксі
- Proxy manager — модуль, який видає свіжий IP перед кожним запитом або групою запитів
- Parser — витягує ціну, назву, наявність товару з HTML/JSON відповіді
- Database — зберігає історію цін (PostgreSQL або SQLite для старту)
- Alert module — надсилає сповіщення, коли ціна змінилася більш ніж на X%
Принцип роботи
Scheduler запускає worker кожні 30–60 хвилин. Worker бере URL зі черги, запитує свіжий проксі через API, робить запит до магазину, парсить ціну і записує в базу. Якщо запит завершився помилкою 403 або CAPTCHA — worker запитує новий IP і повторює спробу. Весь цикл займає 2–5 секунд на один товар.
Така архітектура дозволяє паралельно моніторити тисячі товарів на десятках майданчиків одночасно, витрачаючи мінімум ресурсів.
Налаштування мобільних проксі для скрапінгу цін
Proxy Poland надає виділені порти на реальних LTE 4G/5G модемах з польськими SIM-картками. Кожен порт доступний за протоколами HTTP та SOCKS5, що підходить для будь-якого Python-фреймворку. Ротація IP відбувається за 2 секунди через API або панель керування.
Отримання облікових даних
Після реєстрації ви отримуєте:
- Host: наприклад,
pl.proxy.example:10001 - Username та Password для авторизації
- URL для ротації IP:
https://api.proxypoland.com/rotate?port=10001&token=YOUR_TOKEN
Базова конфігурація в Python
Ось мінімальний приклад підключення через requests:
proxies = {"http": "http://user:pass@pl.proxy.example:10001", "https": "http://user:pass@pl.proxy.example:10001"}
response = requests.get("https://www.ceneo.pl/produkt/123", proxies=proxies, timeout=15)
Перевірити, який IP бачить сервер, можна через наш інструмент визначення IP-адреси — переконайтеся, що відображається мобільна польська адреса, а не ваш домашній IP.
Key takeaway: Безлімітний трафік на одному порті за фіксованою ціною від $11/день дозволяє запускати скрапінг без страху несподіваних рахунків за гігабайти.
Написання скрапера: покроковий Python-приклад
Розглянемо реальний сценарій: ви хочете відстежувати ціну конкретної категорії товарів на трьох польських майданчиках — Ceneo, Allegro і OLX. Скрапер повинен запускатися кожну годину і зберігати дані в базу.
Крок 1: Структура проекту
- Створіть файл
config.pyз налаштуваннями проксі та URL магазинів - Напишіть клас
ProxyManager, який викликає API ротації перед кожним запитом - Для кожного магазину — окремий parser-модуль (різна структура HTML)
- Клас
PriceStorageдля запису в SQLite
Крок 2: ProxyManager
Клас має два методи: get_proxy() повертає поточні облікові дані, rotate() викликає API і чекає 2 секунди, поки модем отримає нову IP-адресу. У нашому тестуванні ротація займає в середньому 1.8 секунди — достатньо швидко для більшості сценаріїв.
Крок 3: Парсинг ціни
Для Ceneo ціна зазвичай знаходиться в span.price. Allegro використовує JSON-LD розмітку на сторінці товару — це набагато надійніший метод, ніж CSS-селектори, які змінюються при редизайні. OLX повертає дані через внутрішній API при прокручуванні — тому тут варто аналізувати XHR-запити через DevTools і звертатися напряму до JSON-endpoint замість парсингу HTML.
- Використовуйте
BeautifulSoupдля статичного HTML - Використовуйте
httpxз HTTP/2 для платформ, які блокують HTTP/1.1 ботів - Додайте реалістичні заголовки: User-Agent мобільного Chrome, Accept-Language: pl-PL
Заголовки запитів — критична деталь. Перевірити, які заголовки бачить сервер, можна через аналізатор HTTP-заголовків.
Ротація IP та управління сесіями
Не кожен запит потребує нового IP. Надмірна ротація — така ж помилка, як і відсутність ротації. Якщо ви змінюєте IP після кожного кліку, поведінка стає підозрілою: жоден реальний користувач не перемикає мережу між переходами по сторінках.
Правильна стратегія: одна сесія — один «візит» до магазину. Визначте сценарій: головна сторінка → категорія → товар. Весь цей ланцюжок виконується з одним IP. Після завершення — ротація, і наступний «візит» починається з нової адреси.
- Ротуйте IP між різними магазинами, а не між сторінками одного магазину
- Додавайте затримку 3–8 секунд між запитами в межах однієї сесії
- Зберігайте cookies сесії — сайти перевіряють їх консистентність
- Автоматична ротація доступна в панелі Proxy Poland: можна встановити інтервал від 5 хвилин до декількох годин
Перевірити відсутність DNS-витоків, які можуть видати реальний IP вашого сервера, варто через тест DNS-витоків. Це особливо важливо, якщо ви використовуєте проксі разом з Docker або VPN.
Щоб оцінити реальну швидкість з'єднання через мобільний проксі, скористайтеся тестом швидкості проксі перед запуском масового скрапінгу.
Обхід антибот-захисту на популярних маркетплейсах
Кожна велика платформа використовує власну комбінацію засобів захисту. Знати специфіку кожної — половина успіху.
Allegro
Allegro використовує Cloudflare і власну систему поведінкового аналізу. Ключ до успіху — правильні TLS fingerprints. Стандартний requests бібліотека видає Python-клієнт за TLS-відбитком. Використовуйте curl_cffi з імітацією Chrome. В нашому тестуванні цей підхід + мобільний проксі дав 0% блокувань на 5,000 запитів.
Ceneo
Ceneo — відносно лояльний до скрапінгу майданчик, але блокує датацентрові IP агресивно. З мобільними польськими IP проблем майже не виникає. Головне — не перевищувати 1 запит на 5 секунд з одного IP.
Amazon.pl та міжнародні магазини
Amazon застосовує складну систему ризик-скорингу: аналізує поведінку, час між запитами, послідовність URL і навіть порядок завантаження ресурсів. Найнадійніший підхід — Product Advertising API для авторизованих партнерів. Для неофіційного моніторингу: мобільний проксі + headless браузер (Playwright) з реалістичним профілем.
Key takeaway: Мобільні польські IP від Proxy Poland проходять гео-перевірку для польських версій магазинів — ваш скрапер отримує ті ж ціни, що й звичайний покупець з Польщі, без редиректів на інші регіони.
Висновок
Побудувати надійний інструмент порівняння цін цілком реально навіть для невеликої команди. Три ключові висновки з цього посібника: по-перше, архітектура з окремими компонентами (scheduler, worker, parser, storage) масштабується без переписування; по-друге, price comparison scraping proxy на базі реальних мобільних 4G модемів — єдиний надійний спосіб обійти антибот-захист великих маркетплейсів; по-третє, правильна стратегія ротації IP важливіша за кількість IP — імітуйте людську поведінку, а не бот-активність.
Proxy Poland надає виділені LTE 4G/5G порти з польськими SIM-картками, безлімітним трафіком і API ротацією за 2 секунди. Перший безкоштовний тест на 1 годину доступний без кредитної картки. Переглянути тарифи та розпочати безкоштовний тест і переконайтеся самі, що мобільні проксі справді не блокуються.