На наших польских mobile-портах виден один паттерн: компании не «парсят интернет вообще», а бьют в конкретные польские реестры и госсайты. Самый большой объём - wyszukiwarka REGON GUS (wyszukiwarkaregon.stat.gov.pl). Дальше: Przeglądarka Dokumentów Finansowych / RDF, SUDOP UOKiK, EKW, Portal Rejestrów Sądowych / e-KRS, CEIDG, orzeczenia NSA и Eureka MF. Данные публичные - rate limit, блоки ASN датацентров и geo PL всё равно реальны.
Ниже карта этих восьми источников и практика сбора через мобильные прокси польских операторов, без обхода закона: лимиты, кеш, нормальная сессия.
- Какие хосты реально видят клиенты (по объёму)
- Почему IP датацентра падает на stat.gov.pl, ms.gov.pl и uokik.gov.pl
- Как ставить лимиты, sticky и кеш под тип источника
- Когда mobile proxy PL снижает 429 и баны ASN
Что реально парсят на PL-прокси
Это не список «интересных API на бумаге». Это хосты из боевого трафика: коллекшн, KYC/AML, due diligence, мониторинг контрагентов, юрфирмы, финтех, analytics. Пайплайн обычно стартует с идентификатора (NIP, REGON, KRS, номер KW), затем документы, помощь государства, книга вечная, судебная запись, CEIDG, судебная практика и интерпретации MF.
Публичность данных не значит бесконечную ёмкость GUS, MS, UOKiK или MF. Несколько сотен быстрых hit с IP Hetzner/AWS - 429, captcha или тихий drop. Мобильный IP Play/Plus/Orange/T-Mobile в PL выглядит как домашний абонент - и при нормальном темпе живёт заметно дольше.
Wyszukiwarka REGON GUS (wyszukiwarkaregon.stat.gov.pl)
Номер один по объёму у клиентов. Wyszukiwarka REGON на wyszukiwarkaregon.stat.gov.pl - стартовая точка: NIP → REGON, статус, адрес, PKD, даты. Массовые проверки контрагентов и ночное обновление CRM идут сюда.
Автоматизация капризна: сессии, токены форм, throttle на IP. Классическая ошибка - «10 rps с одного VPS в DE». Лимиты прилетают быстро. Лучше: sticky IP на batch (50-200 NIP), 0,3-1,5 rps с jitter, локальный кеш по NIP/REGON с TTL 24ч-7д. REGON активного субъекта не меняется каждую минуту - полный rescan без TTL только жжёт IP.
Geo PL важно: трафик с польского mobile ASN реже попадает под «hosting из-за рубежа». После job проверьте exit через What Is My IP - тип mobile, страна PL.
Przeglądarka Dokumentów Finansowych / RDF (rdf-przegladarka.ms.gov.pl)
Второе по нагрузке: Przeglądarka Dokumentów Finansowych / Repozytorium Dokumentów Finansowych на rdf-przegladarka.ms.gov.pl. Финансовая отчётность, решения, вложения, связанные с KRS. Файлы тяжёлые; каждую ночь качать те же PDF заново - агрессивно и дорого по каналу.
Практика: сначала метаданные / список, download только недостающих (hash в storage). Sticky на пакет одной компании. Не крутите IP между «список» и «скачать PDF» - теряете контекст и ловите 4xx. Rate limit ниже, чем на лёгком REGON: PDF - другой класс нагрузки для MS.
SUDOP UOKiK (api-sudop.uokik.gov.pl)
SUDOP (System Udostępniania Danych o Pomocy Publicznej) UOKiK, в т.ч. вокруг api-sudop.uokik.gov.pl - данные о государственной помощи: кому, на каких условиях, в каком объёме. Compliance, M&A DD и risk добавляют это в карточку контрагента.
Часто есть API - сверьте официальный канал и лимиты до HTML-скрейпинга. Бюджет запросов, лог 429/5xx, не маскируйте flood ротацией. Mobile PL помогает вокруг UI/WAF uokik.gov.pl, но нормальный API-клиент + кеш по id субъекта закрывает основной объём без драмы.
Elektroniczne Księgi Wieczyste EKW (przegladarka-ekw.ms.gov.pl)
Przeglądarka EKW на przegladarka-ekw.ms.gov.pl - электронные земельные/ипотечные книги (księgi wieczyste): содержание KW, разделы, отметки. Трафик скачками (DD недвижимости, коллекшн, банки). UI чувствителен к сессии и темпу.
Правило: один sticky IP на одну KW или короткий batch номеров. Не параллельте десятки KW с одного порта. Кеш с коротким TTL. Captcha и лимиты на foreign DC появляются раньше, чем на польском mobile.
Portal Rejestrów Sądowych / e-KRS (prs.ms.gov.pl)
Portal Rejestrów Sądowych и поиск KRS на prs.ms.gov.pl (e-KRS) - судебная запись: представительство, капитал, статус, выписки. Часто в паре с REGON (идентификация в GUS, подтверждение в KRS) и RDF (финдокументы).
Массовые выписки жгут сессии. Кеш по номеру KRS, разделите лёгкий поиск и тяжёлые download, backoff на 429. Mobile PL + sticky на субъект режет сбой «сессия привязана к IP, а вы ротируете каждый request».
CEIDG и biznes.gov.pl
CEIDG (и пути через biznes.gov.pl) - ИП: NIP, REGON, PKD, приостановка, адрес. Объём всё ещё заметный, но ниже REGON/RDF/SUDOP/EKW/PRS в нашем трафике. Формы и токены ломают headless без порядка шагов.
Короткие burst, паузы, sticky на сессию формы. Суточного кеша обычно хватает для мониторинга статуса. Официальные каналы/API где есть - HTML на пробелы.
Orzeczenia NSA (orzeczenia.nsa.gov.pl, CBOSA)
orzeczenia.nsa.gov.pl (практика админсудов, контекст CBOSA) - полные тексты решений. Юристы и tax-команды парсят под research, не под «10 000 NIP/ч». Другой профиль: длинные сессии, поиск по фразам, выгрузка текстов.
Важнее стабильная сессия и низкий RPS, чем агрессивная ротация. Mobile PL помогает долгим research-job, которые иначе выходят из зарубежного DC. Кеш по id решения; не качайте повторно то, что уже в корпусе.
Interpretacje podatkowe Eureka MF (eureka.mf.gov.pl)
Eureka MF на eureka.mf.gov.pl - база налоговых интерпретаций Министерства финансов. Объём меньше REGON, но стабильный у tax/legal. Поиск + текст; тот же research-паттерн, что NSA, не массовый scoring NIP.
Практика как у orzeczeń: спокойный темп, sticky, кеш по sygnaturze/id, без ротации посреди пагинации. IP датацентра режут раньше при попытке «скачать всю базу за выходные».
Почему датацентр проигрывает, а mobile PL держит сессию
Общее для REGON, RDF, SUDOP, EKW, PRS, CEIDG, NSA и Eureka:
- Hosting ASN - AWS, GCP, Azure, OVH, Hetzner в списках cloud. Массовый трафик дешевле отрезать, чем разбирать каждый request.
- Geo вне PL - запросы к stat.gov.pl / ms.gov.pl из Сингапура поднимают risk score.
- Rate limit на IP - 429 после N req/min; один VPS умирает за четверть часа.
- Сессия ↔ IP - ротация на каждый URL ломает формы REGON, EKW, CEIDG сильнее, чем помогает.
Mobile 4G/5G ProxyPoland идёт через модемы и польские SIM. Сотовый ASN, CGNAT, geo PL. Это не невидимость: 50 rps в wyszukiwarkę REGON всё равно поймает лимит. При 0,2-2 rps на сессию, jitter и кеше тот же порт тянет job часами и днями.
Общая практика (без обхода закона)
Сбор публичных реестров, практики и интерпретаций для analytics/compliance - обычная бизнес-практика в PL. Это не гайд по атакам. Цель: меньше нагрузки на ведомства и меньше банов у вас.
- Порядок job как по объёму - сначала REGON (идентификация), затем RDF/PRS/EKW по нужде, SUDOP/CEIDG/NSA/Eureka как доп. слои - не всё сразу с одного IP.
- Кеш с TTL - NIP/REGON/KRS/KW/id документа; поле
fetched_at. - Sticky на субъект или короткий batch; ротация между batch или после лимита - не после каждого GET CSS.
- Backoff на 429 (30с → 2 мин → 10 мин), не мгновенная смена IP и тот же молот.
- Официальное API где есть (в т.ч. зона SUDOP) - HTML на пробелы.
- Заголовки и cookies как у браузера, реальный User-Agent, порядок шагов формы.
- Метрики - HTTP-статус, latency, captcha/WAF отдельно по host (REGON vs RDF vs EKW).
Протокол: HTTP(S) для лёгкого HTML; SOCKS5 при полном Playwright/Puppeteer. Масштаб: один mobile-порт + кеш = сотни REGON/день; тысячи и параллельные PDF RDF = несколько портов с разными очередями (отдельный бюджет RPS на REGON vs PDF).
Итог
Если скрейпер целится в реальный польский стек - wyszukiwarkaregon.stat.gov.pl, rdf-przegladarka.ms.gov.pl, api-sudop.uokik.gov.pl, przegladarka-ekw.ms.gov.pl, prs.ms.gov.pl, CEIDG/biznes.gov.pl, orzeczenia.nsa.gov.pl, eureka.mf.gov.pl - узкое место это репутация IP и темп, не парсер. Зарубежный датацентр горит быстро. Мобильные прокси польских операторов дают geo PL, сотовый ASN и CGNAT, при которых лимиты и кеш живут днями и неделями.
Стройте job по объёму, кешируйте идентификаторы, держите низкий RPS на PDF и EKW. ProxyPoland: выделенные порты 4G/5G на польских модемах - trial, проверка exit IP, затем прод. Тарифы и trial · проверка IP
Для job на REGON и RDF держите отдельные лимиты RPS и не смешивайте их с загрузкой PDF из EKW в одной очереди. На практике около одного запроса раз в несколько секунд на form-path плюс кеш NIP/REGON сильно режет повторные hit-ы. Перед добавлением портов измерьте, сколько уникальных идентификаторов реально нужно за 24 ч - часто хватает меньшего пула и более длинного sticky вместо агрессивной ротации.
Перед расширением пула посчитайте уникальные NIP/REGON за 24 ч и долю повторных hit-ов без кеша. На практике кеш идентификаторов плюс ~1 запрос раз в несколько секунд на form-path REGON/RDF часто режет трафик сильнее, чем удвоение портов. PDF из EKW вынесите в отдельную ночную очередь с низким RPS. Если ошибки растут при свежих mobile IP, смотрите смешение очередей и headers, а не только число ротаций.
Перед расширением пула посчитайте уникальные NIP/REGON за 24 ч и долю повторных hit-ов без кеша. На практике кеш идентификаторов плюс примерно 1 запрос раз в несколько секунд на form-path REGON/RDF часто режет трафик сильнее, чем удвоение портов. PDF из EKW вынесите в отдельную ночную очередь с низким RPS. Если ошибки растут при свежих mobile IP, смотрите смешение очередей и headers, а не только число ротаций.
Задачи CEIDG и eureka.mf.gov.pl держите в дневной очереди с кешем NIP и темпом около одного запроса раз в несколько секунд, а SUDOP и тяжёлые PDF из EKW - в ночной с низким RPS. Не смешивайте bulk PDF с формами на одной sticky-сессии: логи тогда склеивают лимит и репутацию IP. Перед покупкой портов посчитайте уникальные идентификаторы за 24 ч и долю hit-ов, которые мог бы закрыть локальный кеш.
На польском 4G часто хватает меньшего пула и длинного sticky; сначала закройте очереди, потом масштабируйте порты.
Утренняя пачка 80-120 NIP в REGON/CEIDG и дневная пачка PDF из e-KRS/EKW. Утром держите одну sticky 4G с кешем NIP и темпом около 1 запроса раз в 3-5 с; днём - отдельную sticky-сессию только под PDF с более низким RPS. Не сажайте обе очереди на один порт в одном окне: логи тогда склеивают лимит формы с баном на bulk PDF.
За 24 ч посчитайте уникальные NIP и долю hit-ов локального кеша; если кеш закрывает больше ~40%, сначала поднимите TTL кеша, а не число портов.
Посчитаем пропускную способность одного порта 4G: при темпе 3-5 с на запрос это примерно 700-1200 form-запросов в час. Пачка из 80-120 NIP с кешем закрывается за минуты, а не за часы. PDF из EKW обычно весит от нескольких сотен КБ до нескольких МБ, так что 100 файлов при низком RPS укладываются примерно в полчаса ночного окна.
Из этой арифметики простой порог: второй порт докупаете только когда уникальные идентификаторы за сутки превышают возможности одного порта, а не при первых 429.
Это ночной мониторинг фиксированного списка контрагентов, а не утренняя бухгалтерская пачка. Держите 200-400 NIP, которые уже знаете, и раз в сутки спрашивайте REGON или CEIDG только статус: активен, приостановлен или вычеркнут. Весь список ведите на одной sticky 4G без ротации посередине: форма GUS часто сбрасывает сессию после смены IP. Пишите только дельты относительно вчерашнего снимка. Когда список закрыт, можно ротировать порт и запускать отдельную очередь PDF.
Иначе логи снова склеят спокойную проверку статуса с баном на EKW.
Новый сценарий под оферты и заявки на дофинансирование: проверка SUDOP по одному NIP до отправки бумаг. Идентификатор уже есть из REGON или CEIDG, поэтому форму GUS заново не гоняйте. Откройте отдельную sticky 4G только под api-sudop.uokik.gov.pl и держите её в стороне от очереди PDF из EKW и от дневных форм CEIDG. Результат сохраните локально до конца дня. Если нужен следующий NIP, сначала закройте текущую сессию и только потом ротируйте порт.
Иначе логи склеят спокойную проверку госпомощи с баном на bulk PDF.
Новый сценарий: его нет ни в утренней бухгалтерской пачке, ни в ночном мониторинге. Это онбординг одного нового контрагента до договора. У вас один NIP, не список. На одной sticky 4G сначала REGON, из ответа возьмите номер KRS либо подтверждение CEIDG и сразу тяните тот же субъект в rdf-przegladarka.ms.gov.pl. Эти два шага обычно закрываются за 2-4 минуты, без смены IP посередине.
EKW открывайте только если в RDF или в заявке есть номер KW, и только на отдельной сессии. Такой one-shot не сажайте на утреннюю очередь из 80-120 NIP.