Скрапер ловит баны уже после нескольких сотен запросов - почти всегда узкое место в размере пула прокси. Proxy pool size scraping - не мелочь, а то, на чём держится стабильный сбор. Мало IP значит одни и те же адреса крутятся снова и снова, быстро садятся в бан-листы, данные пропадают. Ниже:
- Что такое пул прокси и как прикинуть его размер
- Почему мобильные IP при скрапинге часто сильнее дата-центровых
- Как выбрать стратегию ротации под проект
- Цифры и примеры для Google, Amazon, Instagram
От базовой логики до рабочих конфигураций - без воды про «просто купите больше IP».
Что такое пул прокси и зачем он нужен
Пул прокси - набор IP, через которые скрапер гоняет запросы по очереди или случайно. Собираете цены с Amazon: 10 000 запросов с одного IP - бан после первых 100-200. Те же 10 000 по 500 адресам - по ~20 запросов на IP, радар сайта часто не срабатывает.
Размер пула задаёт, сколько запросов выдержите до блокировок. Зависимость не линейная: чем ценнее данные для сайта, тем жёстче защита и тем больший (или «чище») пул нужен.
Из чего состоит пул прокси
- Дата-центровые прокси - дешёвые, но легко ловятся по ASN и диапазонам IP
- Резидентные прокси - домашние IP, часто медленные и нестабильные
- Мобильные 4G-прокси - IP операторов, сайты доверяют им сильнее
Сайты давно держат базы дата-центровых IP и обновляют их регулярно. Cloudflare, Akamai, DataDome смотрят ASN в первую очередь - часто ещё до User-Agent и cookies. Поэтому огромный дата-центровый пул может проигрывать небольшому мобильному: не количество адресов решает, а то, как сайт классифицирует каждый из них.
Качество IP в пуле важнее голого количества. 50 мобильных часто бьют 5 000 дата-центровых на защищённых сайтах.
Как рассчитать нужный размер пула
Формула опирается на три переменные: объём запросов в сутки, сколько запросов выдерживает один IP и как быстро IP в пуле обновляются. На примере.
Базовая формула расчёта
- Общий объём запросов в сутки (например, 100 000)
- Лимит с одного IP до бана (Google - ~50-100, Amazon - ~200-500)
- Делите первое на второе: 100 000 / 100 = 1 000 уникальных IP
- Буфер 20-30% на «сгоревшие» адреса
В примере - пул ~1 200-1 300 уникальных IP. Это статичная модель. Если есть ротация (смена IP каждые несколько секунд), реальный «физический» пул может быть меньше.
В тестах на инфраструктуре Proxy Poland один мобильный порт с авторотацией каждые 2 минуты даёт порядка 720 уникальных IP в сутки с одного модема. Это не «виртуальный пул из таблицы», а реальные адреса, которые оператор выдаёт при переподключении. Расчёты резко уходят в пользу мобильных: меньше железа, больше уникальных IP за сутки.
- Ротация каждые 2 секунды: до 43 200 уникальных IP в сутки с одного порта
- Каждые 5 минут: 288 уникальных IP в сутки
- Каждые 30 минут: 48 уникальных IP в сутки
Проверить IP и факт смены после ротации - через инструмент проверки вашего IP.
Почему мобильные 4G-прокси меняют расчёты
Мобильные IP идут через CGNAT: тысячи абонентов делят один внешний адрес оператора. Сайт видит мобильный IP и понимает, что за ним могут стоять очень разные люди. Резать такой адрес - риск задеть живых клиентов.
Поэтому proxy pool size scraping с мобильными IP обычно требует меньше адресов на ту же нагрузку. Пороги блокировки мягче: сайт скорее замедлит или покажет капчу точечно, чем выкинет весь CGNAT-пул оператора.
Сравнение типов прокси для скрапинга
- Дата-центр: бан после 50-200 запросов, ASN легко детектится, низкое доверие
- Резидентные: бан после 500-2 000, нестабильная доступность, высокая латентность
- Мобильные 4G: бан после 1 000-10 000, CGNAT, высокое доверие
На Proxy Poland - реальные LTE 4G/5G SIM польских операторов в физических модемах. IP из мобильной сети, не из дата-центра. С точки зрения ASN и типа подключения вы выглядите как абонент, а не как хостинг. На большинстве защищённых платформ детект близкий к нулю при нормальных заголовках и паузах.
Плюс неограниченный трафик: фиксированная ставка за порт от $11 в день, без счётчика гигабайт. На интенсивном скрапинге это заметно.
Стратегии ротации IP в пуле
Идеальный пул не спасёт, если ротация кривая. Слишком редко - бан, слишком часто - рвётся сессия и снова авторизация.
Три основные стратегии ротации
- Round-robin - запросы по кругу по всем IP. Просто, но для антибота предсказуемо.
- Random rotation - случайный IP на запрос. Менее предсказуемо, хватает большинству задач.
- Session-based rotation - один IP на сессию (аккаунт или цепочка пагинации). Удобно при авторизации.
В Proxy Poland ротация: API (смена IP за 2 секунды) или авторотация по таймеру. Без сессий - авторотация каждые 1-3 минуты. С сессией - sticky и ручная смена через API между задачами.
Скорость после смены IP - тест скорости прокси.
Для большинства скрапинга удобна случайная ротация с интервалом 60-180 секунд: баланс между «не светиться» и не ронять сессию.
Размер пула для популярных платформ
Пороги детекта разные. Что живёт на одном сайте, сыпется на другом. Ориентиры с реальной инфраструктуры.
Google и поисковики
Защита агрессивная. Дата-центровые IP режут почти сразу. С мобильными - типично 50-100 поисковых запросов в час с одного IP без CAPTCHA. SERP на 10 000 запросов/сутки: 5-10 мобильных портов с активной ротацией.
Amazon и e-commerce
Amazon смотрит поведение, не только IP. Мобильные прокси + нормальные User-Agent и заголовки: 200-500 запросов с одного IP. Мониторинг 50 000 продуктов/сутки: 3-5 портов, ротация каждые 2 минуты.
Instagram и социальные сети
Важна стабильность IP на аккаунте. Один аккаунт - один IP на сессию. 100 аккаунтов - до 100 IP или меньше, если аккуратно планировать окна активности.
- Google SERP: 5-10 мобильных портов на 10K запросов/сутки
- Amazon: 3-5 портов на 50K продуктов/сутки
- Instagram: 1 IP на 1-3 аккаунта при осторожной работе
- Allegro/e-commerce РУ: 2-4 порта на средний мониторинг
Ошибки при построении пула прокси
Провалы чаще из-за стратегии пула, а не из-за «плохого кода». Код можно чинить неделями, если IP-слой изначально не тянет нагрузку.
Ошибка 1: Экономия на качестве IP
Тысячи дешёвых дата-центровых вместо десятков мобильных - классика. Пул большой, толку мало. Сайты режут целые ASN одним правилом. Деньги ушли, задача нет.
Ошибка 2: Игнорирование заголовков запросов
Идеальный мобильный IP + пустой User-Agent или без браузерных заголовков = бан. Что видит сервер - в анализаторе HTTP-заголовков.
Ошибка 3: Одинаковые паттерны запросов
Ровно раз в секунду - лёгкий детект даже при смене IP. Случайные паузы: 0.5-3 секунды между запросами.
Ошибка 4: Нет мониторинга здоровья пула
Прокси «умирают», висят, попадают в бан. Без автопроверки вы теряете запросы и не понимаете почему. Проверка каждые 5-10 минут.
- Не тащите дата-центровые IP на жёстко защищённые сайты
- Ставьте реалистичные браузерные заголовки
- Рандомизируйте задержки
- Мониторьте доступность IP в пуле
- Проверяйте DNS-утечки через тест DNS-утечек
Итог: правильный подход к пулу прокси
Proxy pool size scraping - не «купить как можно больше IP». Это баланс качества адресов, размера пула и ротации. Мобильные 4G требуют меньшего пула, но дают лучший результат за счёт CGNAT и доверия. Размер считайте через объём, лимит на IP и частоту ротации, а не на глаз. Кривые заголовки и паттерны запросов убивают даже хороший пул: сайт смотрит на связку сигналов, а не на одну строку User-Agent.
Proxy Poland: реальные LTE 4G/5G модемы в Польше, безлимитный трафик, ротация каждые 2 секунды через API, HTTP, SOCKS5, OpenVPN и Xray. Бесплатный часовой тест без карты. Посмотреть тарифы и начать бесплатный тест.
При 8-12 worker на один mobile IP и ротации на каждый request пул 20-30 адресов 4G часто держит около 25-40 тыс. запросов в день без резкого роста captcha, если backoff адекватный. Когда доля банов на IP переваливает ~15% за час, сначала поднимите cooldown или снизьте concurrency, и только потом докупайте IP. Больший пул без правки темпа всё равно сожжёт новые адреса с той же скоростью.
Кейс мониторинга цен на польском marketplace: три магазина, обновление витрины каждые 15 минут, около 6 тыс. карточек. При 10 worker на IP и ротации на каждый request пул из 24 адресов 4G обычно держит сутки без скачка captcha выше фона, если доля банов за час ниже 15%.
Когда ban share растёт, сначала добавьте 30-60 с cooldown или снизьте concurrency до 6-8 worker - докупка IP без правки темпа только быстрее сжигает новые адреса.
Состояние на август 2026 для лёгкого SERP rank tracking в PL: 4-6 worker на IP, обновление 50-80 фраз каждый час и ротация на request. Пул 8-12 адресов 4G обычно держит сутки без скачка captcha, если доля банов на IP за час ниже примерно 10%. Это меньше, чем при сборе карточек товаров, потому что payload легче. Если success падает больше чем на 5 п.п.
три часа подряд, сначала добавьте 20-40 с cooldown, и только потом докупайте IP. Больший пул без правки темпа всё равно сожжёт новые адреса.
Для лёгкого SERP-мониторинга с PL 4G в 2026 разумный старт - около 1 IP на 5-8 воркеров при 40-60 словах в час и cooldown 25-35 с после 429. Свыше примерно 12 воркеров на одном sticky success обычно падает раньше, чем кончится пул. Прежде чем купить ещё 10 IP, добавьте 15 с cooldown на три часа и сравните success - часто он возвращается без большего пула.
Для выгрузки PDF госреестров и страниц реестров с PL 4G в 2026 разумный старт - около 1 IP на 3-4 воркера при 20-30 документах в час и cooldown 40-60 с после 403. Пул 6-10 адресов 4G обычно закрывает рабочий день, если доля банов на IP за час ниже примерно 12%. Когда таймауты PDF растут три часа подряд, сначала добавьте около 15 с к бюджету fetch, и только потом докупайте IP.
Больший пул при том же агрессивном темпе всё равно сожжёт новые адреса к полудню.
Один crawler на Allegro, Ceneo и OLX. Считайте пул по целевому хосту, не по числу воркеров. Каждому маркетплейсу дайте один sticky 4G IP и два ротационных на выдачу поиска. Если 5xx идёт с origin (страница магазина лежит), ещё 8 IP ничего не починят. Сначала уберите этот хост из очереди на 20-30 минут, потом трогайте размер пула.
На одном целевом хосте считайте префиксы и операторов, не сырые IP. Обычно двенадцать адресов 4G на Plus, Orange и Play держат success дольше, чем двадцать адресов с одного ASN. Если больше 70% запросов за час выходят из одного префикса /24, сначала разведите выходы, и только потом докупайте IP.
В пуле из 15 и более адресов при менее чем трёх операторах доля банов за час часто растёт раньше, чем при том же числе IP, разложенных на три или четыре сети.
Ночной контроль наличия на одном польском магазине, не полный каталог. Список фиксированный, 80-150 SKU, только флаг in_stock, опрос каждые 5-8 минут. Этому origin дайте один sticky 4G IP на карточки и два ротационных на listing. Пул 3-5 адресов обычно хватает на ночную смену, если после 429 ждёте 45-90 с. Не масштабируйте этот пул как краулер на 24 адреса и три marketplace.
Когда success падает, сначала увеличьте паузу между SKU, и только потом докупайте IP.
Размер пула считайте от дельты в sitemap, а не от числа URL в каталоге. Снимайте sitemap.xml или sitemap_index раз в час с одного sticky 4G IP. Если lastmod показывает 200-400 изменений за 24 ч, на одну дельту обычно хватает 2-4 адресов 4G и 1-2 worker на IP. Полный recrawl всех URL это отдельная задача, и тогда вы возвращаетесь к 8-12 IP.
Смешение дельты и полного скана на тех же выходах сжигает пул к утру, даже если число адресов кажется большим.
Следить за одним сохранённым фильтром Otomoto, не за всем каталогом. Один фильтр обычно даёт 120-250 объявлений. Листинг обновляйте каждые 8-12 минут с двух ротационных 4G IP, карточку объявления держите на одном sticky. Пула 3-4 адресов обычно хватает на рабочий день, если после 429 ждёте 50-80 с. Этот пул не смешивайте с краулером Allegro или Ceneo.
Если за час больше 10% карточек возвращают 403, сначала увеличьте паузу между ID и только потом докупайте IP.