Если вы запускаете скрапер и получаете блокировки уже после нескольких сотен запросов, проблема почти наверняка в размере пула прокси. Proxy pool size scraping — это не просто техническая деталь, это фундамент любой стабильной системы сбора данных. Недостаточный пул IP-адресов означает повторное использование одних и тех же адресов, быстрое попадание в бан-листы целевых сайтов и потерю данных. В этом руководстве вы узнаете:
- Что такое пул прокси и как правильно рассчитать его размер
- Почему мобильные IP работают лучше дата-центровых при скрапинге
- Как выбрать оптимальную стратегию ротации для вашего проекта
- Конкретные цифры и примеры для Google, Amazon, Instagram
В этом руководстве рассматриваются все ключевые аспекты — от теории до практических конфигураций.
Что такое пул прокси и зачем он нужен
Пул прокси — это коллекция IP-адресов, через которые ваш скрапер последовательно или случайно направляет запросы. Представьте, что вы собираете цены с Amazon: если все 10 000 запросов идут с одного IP, Amazon заблокирует его после первых 100-200 обращений. Но если те же запросы распределены по 500 разным IP, каждый адрес делает всего 20 запросов — и радар безопасности сайта вас не замечает.
Размер пула напрямую определяет, сколько запросов вы можете сделать до того, как начнутся блокировки. Это не линейная зависимость: чем выше «ценность» данных для сайта, тем агрессивнее его защита и тем больший пул вам нужен.
Из чего состоит пул прокси
- Дата-центровые прокси — дешёвые, но легко детектируются по ASN и диапазонам IP
- Резидентные прокси — реальные домашние IP, но часто медленные и ненадёжные
- Мобильные 4G-прокси — IP мобильных операторов, максимальная степень доверия со стороны сайтов
Важно понимать: сайты давно ведут базы данных дата-центровых IP. Блоки Cloudflare, Akamai и DataDome проверяют ASN в первую очередь. Именно поэтому даже огромный пул из дата-центровых прокси может проигрывать небольшому пулу мобильных IP.
Key takeaway: Качество IP в пуле важнее его количества. 50 мобильных IP часто эффективнее 5 000 дата-центровых при скрапинге защищённых сайтов.
Как рассчитать нужный размер пула
Точная формула расчёта зависит от трёх переменных: объёма запросов в сутки, допустимого числа запросов с одного IP и скорости обновления IP в пуле. Давайте разберём это на конкретном примере.
Базовая формула расчёта
- Определите общий объём запросов в сутки (например, 100 000)
- Выясните лимит запросов с одного IP до блокировки (для Google — ~50-100, для Amazon — ~200-500)
- Разделите первое на второе: 100 000 / 100 = 1 000 уникальных IP
- Добавьте буфер 20-30% на «сгоревшие» адреса
Итого для данного примера вам нужен пул из ~1 200-1 300 уникальных IP. Но это статичная модель. Если ваши прокси поддерживают ротацию — смену IP каждые несколько секунд — реальный пул может быть меньше.
В нашем тестировании на инфраструктуре Proxy Poland один мобильный порт с авторотацией каждые 2 минуты фактически обеспечивает 720 уникальных IP в сутки с одного физического модема. Это резко меняет расчёты в пользу мобильных прокси.
- При ротации каждые 2 секунды: до 43 200 уникальных IP в сутки с одного порта
- При ротации каждые 5 минут: 288 уникальных IP в сутки
- При ротации каждые 30 минут: 48 уникальных IP в сутки
Проверить реальный IP и убедиться в смене адреса после каждой ротации можно через инструмент проверки вашего IP.
Почему мобильные 4G-прокси меняют правила игры
Мобильные IP работают через технологию CGNAT (Carrier-Grade NAT): тысячи реальных пользователей делят один внешний IP-адрес оператора. Когда сайт видит запрос с мобильного IP, он знает, что за ним может стоять огромное количество разных людей — и блокировать такой адрес опасно, потому что это означает блокировку реальных клиентов.
Именно поэтому proxy pool size scraping с мобильными IP требует значительно меньшего количества адресов для тех же задач. Сайты применяют к мобильным IP значительно более мягкие пороги блокировки.
Сравнение типов прокси для скрапинга
- Дата-центр: блокировка после 50-200 запросов, ASN легко детектируется, низкая степень доверия
- Резидентные: блокировка после 500-2 000 запросов, непостоянная доступность, высокая латентность
- Мобильные 4G: блокировка после 1 000-10 000 запросов, CGNAT-защита, максимальная степень доверия
На инфраструктуре Proxy Poland используются реальные LTE 4G/5G SIM-карты польских операторов в физических модемах. Каждый IP принадлежит мобильной сети, а не дата-центру. Это обеспечивает нулевой процент детекции на большинстве защищённых платформ.
Дополнительный бонус: неограниченный трафик. Вы платите фиксированную ставку за порт — от $11 в день — без счётчиков гигабайт. Для интенсивного скрапинга это критически важно.
Стратегии ротации IP в пуле
Даже идеальный пул прокси не спасёт вас, если неправильно настроить ротацию. Слишком редкая смена IP приведёт к бану, слишком частая — к потере сессии и необходимости повторной авторизации.
Три основные стратегии ротации
- Round-robin — запросы последовательно идут через все IP в пуле. Просто, но предсказуемо для антибот-систем.
- Random rotation — случайный выбор IP для каждого запроса. Менее предсказуемо, подходит для большинства задач.
- Session-based rotation — один IP закреплён за одной сессией (например, за одним аккаунтом или страницей пагинации). Оптимально для скрапинга с авторизацией.
В Proxy Poland ротация работает двумя способами: через API-вызов (смена IP за 2 секунды по запросу) или авторотация по таймеру. Для скрапинга без сессий рекомендуем авторотацию каждые 1-3 минуты. Для скрапинга с сохранением сессии — sticky-режим с ручной сменой через API между задачами.
Скорость соединения после смены IP можно проверить через тест скорости прокси, чтобы убедиться, что новый адрес работает корректно.
Key takeaway: Для большинства задач скрапинга оптимальна случайная ротация с интервалом 60-180 секунд. Это балансирует между анонимностью и стабильностью сессии.
Размер пула для популярных платформ
Разные сайты имеют принципиально разные пороги детекции. То, что работает на одном ресурсе, может провалиться на другом. Вот практические данные, основанные на нашем опыте работы с реальной инфраструктурой.
Google и поисковики
Google применяет одну из самых агрессивных антибот-защит. Дата-центровые IP блокируются практически мгновенно. С мобильными прокси типичный лимит — 50-100 поисковых запросов в час с одного IP без CAPTCHA. Для скрапинга SERP с объёмом 10 000 запросов в сутки достаточно 5-10 мобильных портов с активной ротацией.
Amazon и e-commerce
Amazon блокирует по поведенческим паттернам, не только по IP. Мобильные прокси с правильными User-Agent и заголовками позволяют делать 200-500 запросов с одного IP. Для мониторинга 50 000 продуктов в сутки хватает 3-5 портов с ротацией каждые 2 минуты.
Instagram и социальные сети
Для работы с Instagram критична стабильность IP на уровне аккаунта. Один аккаунт — один IP в течение всей сессии. Для управления 100 аккаунтами нужно 100 уникальных IP или меньше с грамотным планированием окон активности.
- Google SERP: 5-10 мобильных портов на 10K запросов/сутки
- Amazon: 3-5 портов на 50K продуктов/сутки
- Instagram: 1 IP на 1-3 аккаунта при осторожной работе
- Allegro/e-commerce РУ: 2-4 порта на средний мониторинг
Ошибки при построении пула прокси
Большинство провалов в скрапинге связаны не с качеством кода, а с неправильной стратегией пула. Разберём типичные ошибки.
Ошибка 1: Экономия на качестве IP
Покупка тысяч дешёвых дата-центровых прокси вместо десятков мобильных — классическая ошибка. Вы получаете большой пул, но с низкой эффективностью. Сайты блокируют целые ASN-диапазоны одним правилом. Итог: деньги потрачены, задача не выполнена.
Ошибка 2: Игнорирование заголовков запросов
Даже с идеальным мобильным IP запрос с пустым User-Agent или без стандартных браузерных заголовков будет заблокирован. Проверить, какие заголовки видит сервер, можно через анализатор HTTP-заголовков.
Ошибка 3: Одинаковые паттерны запросов
Если ваш скрапер делает запросы с одинаковыми интервалами — например, ровно раз в секунду — антибот системы легко его распознают даже при смене IP. Добавьте случайные задержки: от 0.5 до 3 секунд между запросами.
Ошибка 4: Отсутствие мониторинга здоровья пула
Прокси могут «умирать» — временно становиться недоступными или попадать в бан. Без автоматической проверки работоспособности IP вы будете терять запросы, не зная причины. Настройте автоматическую проверку каждые 5-10 минут.
- Не используйте дата-центровые IP для защищённых сайтов
- Всегда устанавливайте реалистичные браузерные заголовки
- Добавляйте случайные задержки между запросами
- Мониторьте доступность каждого IP в пуле
- Проверяйте на утечки DNS через тест DNS-утечек
Итог: правильный подход к пулу прокси
Правильно выстроенная стратегия proxy pool size scraping — это не просто купить как можно больше IP. Это баланс между качеством адресов, размером пула и стратегией ротации. Три ключевых вывода из этого руководства:
- Мобильные 4G-IP требуют меньшего пула, но дают значительно лучший результат благодаря CGNAT и высокому уровню доверия
- Размер пула рассчитывается через объём запросов, лимит на IP и частоту ротации — используйте формулу, а не интуицию
- Ошибки в настройке заголовков и паттернов запросов сводят на нет даже идеальный пул
Proxy Poland предоставляет доступ к реальным LTE 4G/5G модемам в Польше с неограниченным трафиком, ротацией каждые 2 секунды через API и поддержкой HTTP, SOCKS5, OpenVPN и Xray. Начните с бесплатного часового теста без карты — и убедитесь в разнице сами. Посмотреть тарифы и начать бесплатный тест.