На наших польских mobile-портах виден один паттерн: компании не «парсят интернет вообще», а бьют в конкретные польские реестры и госсайты. Самый большой объём - wyszukiwarka REGON GUS (wyszukiwarkaregon.stat.gov.pl). Дальше: Przeglądarka Dokumentów Finansowych / RDF, SUDOP UOKiK, EKW, Portal Rejestrów Sądowych / e-KRS, CEIDG, orzeczenia NSA и Eureka MF. Данные публичные - rate limit, блоки ASN датацентров и geo PL всё равно реальны.
Ниже карта этих восьми источников и практика сбора через мобильные прокси польских операторов, без обхода закона: лимиты, кеш, нормальная сессия.
- Какие хосты реально видят клиенты (по объёму)
- Почему IP датацентра падает на stat.gov.pl, ms.gov.pl и uokik.gov.pl
- Как ставить лимиты, sticky и кеш под тип источника
- Когда mobile proxy PL снижает 429 и баны ASN
Что реально парсят на PL-прокси
Это не список «интересных API на бумаге». Это хосты из боевого трафика: коллекшн, KYC/AML, due diligence, мониторинг контрагентов, юрфирмы, финтех, analytics. Пайплайн обычно стартует с идентификатора (NIP, REGON, KRS, номер KW), затем документы, помощь государства, книга вечная, судебная запись, CEIDG, судебная практика и интерпретации MF.
Публичность данных не значит бесконечную ёмкость GUS, MS, UOKiK или MF. Несколько сотен быстрых hit с IP Hetzner/AWS - 429, captcha или тихий drop. Мобильный IP Play/Plus/Orange/T-Mobile в PL выглядит как домашний абонент - и при нормальном темпе живёт заметно дольше.
Wyszukiwarka REGON GUS (wyszukiwarkaregon.stat.gov.pl)
Номер один по объёму у клиентов. Wyszukiwarka REGON на wyszukiwarkaregon.stat.gov.pl - стартовая точка: NIP → REGON, статус, адрес, PKD, даты. Массовые проверки контрагентов и ночное обновление CRM идут сюда.
Автоматизация капризна: сессии, токены форм, throttle на IP. Классическая ошибка - «10 rps с одного VPS в DE». Лимиты прилетают быстро. Лучше: sticky IP на batch (50-200 NIP), 0,3-1,5 rps с jitter, локальный кеш по NIP/REGON с TTL 24ч-7д. REGON активного субъекта не меняется каждую минуту - полный rescan без TTL только жжёт IP.
Geo PL важно: трафик с польского mobile ASN реже попадает под «hosting из-за рубежа». После job проверьте exit через What Is My IP - тип mobile, страна PL.
Przeglądarka Dokumentów Finansowych / RDF (rdf-przegladarka.ms.gov.pl)
Второе по нагрузке: Przeglądarka Dokumentów Finansowych / Repozytorium Dokumentów Finansowych на rdf-przegladarka.ms.gov.pl. Финансовая отчётность, решения, вложения, связанные с KRS. Файлы тяжёлые; каждую ночь качать те же PDF заново - агрессивно и дорого по каналу.
Практика: сначала метаданные / список, download только недостающих (hash в storage). Sticky на пакет одной компании. Не крутите IP между «список» и «скачать PDF» - теряете контекст и ловите 4xx. Rate limit ниже, чем на лёгком REGON: PDF - другой класс нагрузки для MS.
SUDOP UOKiK (api-sudop.uokik.gov.pl)
SUDOP (System Udostępniania Danych o Pomocy Publicznej) UOKiK, в т.ч. вокруг api-sudop.uokik.gov.pl - данные о государственной помощи: кому, на каких условиях, в каком объёме. Compliance, M&A DD и risk добавляют это в карточку контрагента.
Часто есть API - сверьте официальный канал и лимиты до HTML-скрейпинга. Бюджет запросов, лог 429/5xx, не маскируйте flood ротацией. Mobile PL помогает вокруг UI/WAF uokik.gov.pl, но нормальный API-клиент + кеш по id субъекта закрывает основной объём без драмы.
Elektroniczne Księgi Wieczyste EKW (przegladarka-ekw.ms.gov.pl)
Przeglądarka EKW на przegladarka-ekw.ms.gov.pl - электронные земельные/ипотечные книги (księgi wieczyste): содержание KW, разделы, отметки. Трафик скачками (DD недвижимости, коллекшн, банки). UI чувствителен к сессии и темпу.
Правило: один sticky IP на одну KW или короткий batch номеров. Не параллельте десятки KW с одного порта. Кеш с коротким TTL. Captcha и лимиты на foreign DC появляются раньше, чем на польском mobile.
Portal Rejestrów Sądowych / e-KRS (prs.ms.gov.pl)
Portal Rejestrów Sądowych и поиск KRS на prs.ms.gov.pl (e-KRS) - судебная запись: представительство, капитал, статус, выписки. Часто в паре с REGON (идентификация в GUS, подтверждение в KRS) и RDF (финдокументы).
Массовые выписки жгут сессии. Кеш по номеру KRS, разделите лёгкий поиск и тяжёлые download, backoff на 429. Mobile PL + sticky на субъект режет сбой «сессия привязана к IP, а вы ротируете каждый request».
CEIDG и biznes.gov.pl
CEIDG (и пути через biznes.gov.pl) - ИП: NIP, REGON, PKD, приостановка, адрес. Объём всё ещё заметный, но ниже REGON/RDF/SUDOP/EKW/PRS в нашем трафике. Формы и токены ломают headless без порядка шагов.
Короткие burst, паузы, sticky на сессию формы. Суточного кеша обычно хватает для мониторинга статуса. Официальные каналы/API где есть - HTML на пробелы.
Orzeczenia NSA (orzeczenia.nsa.gov.pl, CBOSA)
orzeczenia.nsa.gov.pl (практика админсудов, контекст CBOSA) - полные тексты решений. Юристы и tax-команды парсят под research, не под «10 000 NIP/ч». Другой профиль: длинные сессии, поиск по фразам, выгрузка текстов.
Важнее стабильная сессия и низкий RPS, чем агрессивная ротация. Mobile PL помогает долгим research-job, которые иначе выходят из зарубежного DC. Кеш по id решения; не качайте повторно то, что уже в корпусе.
Interpretacje podatkowe Eureka MF (eureka.mf.gov.pl)
Eureka MF на eureka.mf.gov.pl - база налоговых интерпретаций Министерства финансов. Объём меньше REGON, но стабильный у tax/legal. Поиск + текст; тот же research-паттерн, что NSA, не массовый scoring NIP.
Практика как у orzeczeń: спокойный темп, sticky, кеш по sygnaturze/id, без ротации посреди пагинации. IP датацентра режут раньше при попытке «скачать всю базу за выходные».
Почему датацентр проигрывает, а mobile PL держит сессию
Общее для REGON, RDF, SUDOP, EKW, PRS, CEIDG, NSA и Eureka:
- Hosting ASN - AWS, GCP, Azure, OVH, Hetzner в списках cloud. Массовый трафик дешевле отрезать, чем разбирать каждый request.
- Geo вне PL - запросы к stat.gov.pl / ms.gov.pl из Сингапура поднимают risk score.
- Rate limit на IP - 429 после N req/min; один VPS умирает за четверть часа.
- Сессия ↔ IP - ротация на каждый URL ломает формы REGON, EKW, CEIDG сильнее, чем помогает.
Mobile 4G/5G ProxyPoland идёт через модемы и польские SIM. Сотовый ASN, CGNAT, geo PL. Это не невидимость: 50 rps в wyszukiwarkę REGON всё равно поймает лимит. При 0,2-2 rps на сессию, jitter и кеше тот же порт тянет job часами и днями.
Общая практика (без обхода закона)
Сбор публичных реестров, практики и интерпретаций для analytics/compliance - обычная бизнес-практика в PL. Это не гайд по атакам. Цель: меньше нагрузки на ведомства и меньше банов у вас.
- Порядок job как по объёму - сначала REGON (идентификация), затем RDF/PRS/EKW по нужде, SUDOP/CEIDG/NSA/Eureka как доп. слои - не всё сразу с одного IP.
- Кеш с TTL - NIP/REGON/KRS/KW/id документа; поле
fetched_at. - Sticky на субъект или короткий batch; ротация между batch или после лимита - не после каждого GET CSS.
- Backoff на 429 (30с → 2 мин → 10 мин), не мгновенная смена IP и тот же молот.
- Официальное API где есть (в т.ч. зона SUDOP) - HTML на пробелы.
- Заголовки и cookies как у браузера, реальный User-Agent, порядок шагов формы.
- Метрики - HTTP-статус, latency, captcha/WAF отдельно по host (REGON vs RDF vs EKW).
Протокол: HTTP(S) для лёгкого HTML; SOCKS5 при полном Playwright/Puppeteer. Масштаб: один mobile-порт + кеш = сотни REGON/день; тысячи и параллельные PDF RDF = несколько портов с разными очередями (отдельный бюджет RPS на REGON vs PDF).
Итог
Если скрейпер целится в реальный польский стек - wyszukiwarkaregon.stat.gov.pl, rdf-przegladarka.ms.gov.pl, api-sudop.uokik.gov.pl, przegladarka-ekw.ms.gov.pl, prs.ms.gov.pl, CEIDG/biznes.gov.pl, orzeczenia.nsa.gov.pl, eureka.mf.gov.pl - узкое место это репутация IP и темп, не парсер. Зарубежный датацентр горит быстро. Мобильные прокси польских операторов дают geo PL, сотовый ASN и CGNAT, при которых лимиты и кеш живут днями и неделями.
Стройте job по объёму, кешируйте идентификаторы, держите низкий RPS на PDF и EKW. ProxyPoland: выделенные порты 4G/5G на польских модемах - trial, проверка exit IP, затем прод. Тарифы и trial · проверка IP