Скрапер ловит баны уже после нескольких сотен запросов - почти всегда узкое место в размере пула прокси. Proxy pool size scraping - не мелочь, а то, на чём держится стабильный сбор. Мало IP значит одни и те же адреса крутятся снова и снова, быстро садятся в бан-листы, данные пропадают. Ниже:
- Что такое пул прокси и как прикинуть его размер
- Почему мобильные IP при скрапинге часто сильнее дата-центровых
- Как выбрать стратегию ротации под проект
- Цифры и примеры для Google, Amazon, Instagram
От базовой логики до рабочих конфигураций - без воды про «просто купите больше IP».
Что такое пул прокси и зачем он нужен
Пул прокси - набор IP, через которые скрапер гоняет запросы по очереди или случайно. Собираете цены с Amazon: 10 000 запросов с одного IP - бан после первых 100-200. Те же 10 000 по 500 адресам - по ~20 запросов на IP, радар сайта часто не срабатывает.
Размер пула задаёт, сколько запросов выдержите до блокировок. Зависимость не линейная: чем ценнее данные для сайта, тем жёстче защита и тем больший (или «чище») пул нужен.
Из чего состоит пул прокси
- Дата-центровые прокси - дешёвые, но легко ловятся по ASN и диапазонам IP
- Резидентные прокси - домашние IP, часто медленные и нестабильные
- Мобильные 4G-прокси - IP операторов, сайты доверяют им сильнее
Сайты давно держат базы дата-центровых IP и обновляют их регулярно. Cloudflare, Akamai, DataDome смотрят ASN в первую очередь - часто ещё до User-Agent и cookies. Поэтому огромный дата-центровый пул может проигрывать небольшому мобильному: не количество адресов решает, а то, как сайт классифицирует каждый из них.
Качество IP в пуле важнее голого количества. 50 мобильных часто бьют 5 000 дата-центровых на защищённых сайтах.
Как рассчитать нужный размер пула
Формула опирается на три переменные: объём запросов в сутки, сколько запросов выдерживает один IP и как быстро IP в пуле обновляются. На примере.
Базовая формула расчёта
- Общий объём запросов в сутки (например, 100 000)
- Лимит с одного IP до бана (Google - ~50-100, Amazon - ~200-500)
- Делите первое на второе: 100 000 / 100 = 1 000 уникальных IP
- Буфер 20-30% на «сгоревшие» адреса
В примере - пул ~1 200-1 300 уникальных IP. Это статичная модель. Если есть ротация (смена IP каждые несколько секунд), реальный «физический» пул может быть меньше.
В тестах на инфраструктуре Proxy Poland один мобильный порт с авторотацией каждые 2 минуты даёт порядка 720 уникальных IP в сутки с одного модема. Это не «виртуальный пул из таблицы», а реальные адреса, которые оператор выдаёт при переподключении. Расчёты резко уходят в пользу мобильных: меньше железа, больше уникальных IP за сутки.
- Ротация каждые 2 секунды: до 43 200 уникальных IP в сутки с одного порта
- Каждые 5 минут: 288 уникальных IP в сутки
- Каждые 30 минут: 48 уникальных IP в сутки
Проверить IP и факт смены после ротации - через инструмент проверки вашего IP.
Почему мобильные 4G-прокси меняют расчёты
Мобильные IP идут через CGNAT: тысячи абонентов делят один внешний адрес оператора. Сайт видит мобильный IP и понимает, что за ним могут стоять очень разные люди. Резать такой адрес - риск задеть живых клиентов.
Поэтому proxy pool size scraping с мобильными IP обычно требует меньше адресов на ту же нагрузку. Пороги блокировки мягче: сайт скорее замедлит или покажет капчу точечно, чем выкинет весь CGNAT-пул оператора.
Сравнение типов прокси для скрапинга
- Дата-центр: бан после 50-200 запросов, ASN легко детектится, низкое доверие
- Резидентные: бан после 500-2 000, нестабильная доступность, высокая латентность
- Мобильные 4G: бан после 1 000-10 000, CGNAT, высокое доверие
На Proxy Poland - реальные LTE 4G/5G SIM польских операторов в физических модемах. IP из мобильной сети, не из дата-центра. С точки зрения ASN и типа подключения вы выглядите как абонент, а не как хостинг. На большинстве защищённых платформ детект близкий к нулю при нормальных заголовках и паузах.
Плюс неограниченный трафик: фиксированная ставка за порт от $11 в день, без счётчика гигабайт. На интенсивном скрапинге это заметно.
Стратегии ротации IP в пуле
Идеальный пул не спасёт, если ротация кривая. Слишком редко - бан, слишком часто - рвётся сессия и снова авторизация.
Три основные стратегии ротации
- Round-robin - запросы по кругу по всем IP. Просто, но для антибота предсказуемо.
- Random rotation - случайный IP на запрос. Менее предсказуемо, хватает большинству задач.
- Session-based rotation - один IP на сессию (аккаунт или цепочка пагинации). Удобно при авторизации.
В Proxy Poland ротация: API (смена IP за 2 секунды) или авторотация по таймеру. Без сессий - авторотация каждые 1-3 минуты. С сессией - sticky и ручная смена через API между задачами.
Скорость после смены IP - тест скорости прокси.
Для большинства скрапинга удобна случайная ротация с интервалом 60-180 секунд: баланс между «не светиться» и не ронять сессию.
Размер пула для популярных платформ
Пороги детекта разные. Что живёт на одном сайте, сыпется на другом. Ориентиры с реальной инфраструктуры.
Google и поисковики
Защита агрессивная. Дата-центровые IP режут почти сразу. С мобильными - типично 50-100 поисковых запросов в час с одного IP без CAPTCHA. SERP на 10 000 запросов/сутки: 5-10 мобильных портов с активной ротацией.
Amazon и e-commerce
Amazon смотрит поведение, не только IP. Мобильные прокси + нормальные User-Agent и заголовки: 200-500 запросов с одного IP. Мониторинг 50 000 продуктов/сутки: 3-5 портов, ротация каждые 2 минуты.
Instagram и социальные сети
Важна стабильность IP на аккаунте. Один аккаунт - один IP на сессию. 100 аккаунтов - до 100 IP или меньше, если аккуратно планировать окна активности.
- Google SERP: 5-10 мобильных портов на 10K запросов/сутки
- Amazon: 3-5 портов на 50K продуктов/сутки
- Instagram: 1 IP на 1-3 аккаунта при осторожной работе
- Allegro/e-commerce РУ: 2-4 порта на средний мониторинг
Ошибки при построении пула прокси
Провалы чаще из-за стратегии пула, а не из-за «плохого кода». Код можно чинить неделями, если IP-слой изначально не тянет нагрузку.
Ошибка 1: Экономия на качестве IP
Тысячи дешёвых дата-центровых вместо десятков мобильных - классика. Пул большой, толку мало. Сайты режут целые ASN одним правилом. Деньги ушли, задача нет.
Ошибка 2: Игнорирование заголовков запросов
Идеальный мобильный IP + пустой User-Agent или без браузерных заголовков = бан. Что видит сервер - в анализаторе HTTP-заголовков.
Ошибка 3: Одинаковые паттерны запросов
Ровно раз в секунду - лёгкий детект даже при смене IP. Случайные паузы: 0.5-3 секунды между запросами.
Ошибка 4: Нет мониторинга здоровья пула
Прокси «умирают», висят, попадают в бан. Без автопроверки вы теряете запросы и не понимаете почему. Проверка каждые 5-10 минут.
- Не тащите дата-центровые IP на жёстко защищённые сайты
- Ставьте реалистичные браузерные заголовки
- Рандомизируйте задержки
- Мониторьте доступность IP в пуле
- Проверяйте DNS-утечки через тест DNS-утечек
Итог: правильный подход к пулу прокси
Proxy pool size scraping - не «купить как можно больше IP». Это баланс качества адресов, размера пула и ротации. Мобильные 4G требуют меньшего пула, но дают лучший результат за счёт CGNAT и доверия. Размер считайте через объём, лимит на IP и частоту ротации, а не на глаз. Кривые заголовки и паттерны запросов убивают даже хороший пул: сайт смотрит на связку сигналов, а не на одну строку User-Agent.
Proxy Poland: реальные LTE 4G/5G модемы в Польше, безлимитный трафик, ротация каждые 2 секунды через API, HTTP, SOCKS5, OpenVPN и Xray. Бесплатный часовой тест без карты. Посмотреть тарифы и начать бесплатный тест.
Практичное правило на август 2026 для listing PL marketplace: при 8-12 worker на один mobile IP и ротации на каждый request пул 20-30 адресов 4G часто держит около 25-40 тыс. запросов в день без резкого роста captcha, если backoff адекватный. Когда доля банов на IP переваливает ~15% за час, сначала поднимите cooldown или снизьте concurrency, и только потом докупайте IP.
Больший пул без правки темпа всё равно сожжёт новые адреса с той же скоростью.
Кейс мониторинга цен на польском marketplace: три магазина, обновление витрины каждые 15 минут, около 6 тыс. карточек. При 10 worker на IP и ротации на каждый request пул из 24 адресов 4G обычно держит сутки без скачка captcha выше фона, если доля банов за час ниже 15%.
Когда ban share растёт, сначала добавьте 30-60 с cooldown или снизьте concurrency до 6-8 worker - докупка IP без правки темпа только быстрее сжигает новые адреса.
Состояние на август 2026 для лёгкого SERP rank tracking в PL: 4-6 worker на IP, обновление 50-80 фраз каждый час и ротация на request. Пул 8-12 адресов 4G обычно держит сутки без скачка captcha, если доля банов на IP за час ниже примерно 10%. Это меньше, чем при сборе карточек товаров, потому что payload легче. Если success падает больше чем на 5 п.п.
три часа подряд, сначала добавьте 20-40 с cooldown, и только потом докупайте IP. Больший пул без правки темпа всё равно сожжёт новые адреса.