Wielkość proxy pool w scrapingu: dlaczego to ma znaczenie

Jeśli kiedykolwiek uruchomiłeś scrapera i po 50 żądaniach zaczął zwracać błędy 403 albo captche, najprawdopodobniej problem leżał w proxy pool size scraping, czyli w rozmiarze puli proxy, której używałeś. Za mały pool to pewna blokada. Za duży, źle zarządzany, to marnowanie pieniędzy i zasobów. W tym przewodniku dowiesz się:

• Czym dokładnie jest proxy pool i jak wpływa na skuteczność zbierania danych
• Jak obliczyć minimalny rozmiar puli dla swoich potrzeb
• Dlaczego mobilne proxy 4G działają lepiej niż datacenter w kontekście pool rotation
• Jak skonfigurować rotację, żeby maksymalizować sukces requestów

W tym przewodniku przejdziesz przez całą teorię i praktykę, od podstaw po konkretne obliczenia i konfigurację.

Czym jest proxy pool i jak działa rotacja IP

Proxy pool to zbiór adresów IP, przez które router przekierowuje twoje żądania HTTP lub SOCKS5. Każdy request możesz wysłać przez inny adres, przez co serwer docelowy widzi wielu różnych użytkowników zamiast jednego scrapera. To podstawa każdego projektu scrapingowego na jakąkolwiek skalę.

Rotacja IP działa prosto: scraper wysyła request przez IP numer 1, następny przez IP numer 2, i tak dalej. Po przejściu całej puli zaczyna od początku. Im większa pula, tym rzadziej każde pojedyncze IP pojawia się w logach serwera docelowego.

Typy rotacji w proxy pool

• Round-robin: każdy kolejny request idzie przez kolejne IP z listy, równomiernie obciążając całą pulę
• Random rotation: losowe wybieranie IP z puli, trudniejsze do przewidzenia dla systemów antyblokadowych
• Sticky session: jedno IP przypisane do konkretnej sesji użytkownika, przydatne przy logowaniu na konto
• Rotacja czasowa: zmiana IP co określony czas niezależnie od liczby requestów

W Proxy Poland możesz zmienić IP w ciągu 2 sekund przez wywołanie API lub panel sterowania. To oznacza, że nawet przy pojedynczym porcie masz dostęp do setek różnych adresów z sieci operatora mobilnego, co skutecznie symuluje dużą pulę.

Key takeaway: Proxy pool to nie tylko lista adresów IP, to cały mechanizm zarządzania requestami, który decyduje o tym, czy twój scraper przeżyje dłużej niż 5 minut na agresywnie chronionych domenach.

Proxy pool size scraping: jak duża pula jest wystarczająca

To pytanie, które zadaje sobie każdy, kto zaczyna budować infrastrukturę do zbierania danych. Nie ma jednej odpowiedzi, bo rozmiar puli zależy od trzech zmiennych: liczby requestów na godzinę, agresywności systemu antyblokadowego na docelowej stronie i dopuszczalnego wskaźnika błędów.

Przyjmijmy konkretny przykład. Scrapujesz Allegro w poszukiwaniu cen produktów. Chcesz zbierać 10 000 rekordów dziennie. Allegro blokuje IP po około 200 requestach w ciągu godziny z jednego adresu. Matematyka jest prosta:

1. 10 000 requestów dziennie = około 417 requestów na godzinę
2. Limit per IP: 200 requestów na godzinę
3. Minimalny rozmiar puli: 417 / 200 = 3 IP aktywne jednocześnie
4. Z buforem bezpieczeństwa 50%: potrzebujesz minimum 5 IP

Ale to jest absolutne minimum. W praktyce dodaj do tego awaryjne adresy, bo część requestów skończy się błędami, i rotację zapobiegawczą, bo chcesz zmieniać IP zanim zostaniesz zablokowany, a nie po.

Skala projektu a rozmiar puli

• Mały projekt (do 5 000 requestów dziennie): 5 do 10 IP w puli wystarczy
• Średni projekt (5 000 do 50 000 requestów dziennie): 20 do 50 IP
• Duży projekt (ponad 100 000 requestów dziennie): 100 lub więcej IP, najlepiej z różnych zakresów

Pamiętaj, że liczby te dotyczą zwykłych serwisów. Google, Amazon czy Nike SNKRS mają systemy, które blokują po kilku requestach z tego samego IP, jeśli zachowanie wygląda nienaturalnie.

Jak systemy antyblokadowe wykrywają zbyt małe pule proxy

Nowoczesne systemy ochrony stron, takie jak Cloudflare, PerimeterX czy DataDome, nie patrzą tylko na liczbę requestów z jednego IP. Analizują wzorce, i to właśnie tutaj małe pule proxy zawodzą.

Gdy twoja pula ma 5 adresów i wysyłasz 1 000 requestów dziennie, każdy z tych adresów pojawia się w logach średnio 200 razy. System widzi, że te same adresy powtarzają się regularnie, w podobnych odstępach czasu, z identycznym user-agentem i bez typowej losowości ludzkiego przeglądania. To wyraźny sygnał bota.

Sygnały, które zdradzają za małą pulę

• Regularne pojawianie się tych samych IP w krótkich cyklach
• Brak przerw i losowości między requestami z danego adresu
• Identyczne fingerprinting przeglądarki przy rotacji IP (zmiana adresu bez zmiany reszty profilu)
• Requestowanie stron w nieludzkim tempie, np. 1 request co dokładnie 500ms
• Brak cookies i historii sesji typowej dla prawdziwego użytkownika

Sama zmiana IP bez zmiany innych parametrów to za mało. Ale duża pula IP, szczególnie z adresów mobilnych, znacząco utrudnia korelację zachowań między sesjami. Jeśli chcesz sprawdzić, jak twoje proxy są widoczne dla serwisów, możesz użyć narzędzia What Is My IP i zobaczyć, co dokładnie widzi serwer po drugiej stronie.

Key takeaway: Za mała pula proxy nie tylko prowadzi do blokad, ale zostawia wyraźne ślady w logach, które serwisy mogą wykorzystać do zablokowania twojego projektu na poziomie innych parametrów, takich jak ASN czy zakres IP.

Datacenter vs mobilne proxy 4G w kontekście rozmiaru puli

Tu robi się ciekawie. Większość ludzi zakłada, że im więcej IP tym lepiej, i kupuje tanie pule datacenter z tysiącami adresów. To błąd, który kosztuje czas i pieniądze.

Proxy datacenter pochodzą z serwerowni. Ich zakresy IP są dobrze znane, i serwisy takie jak Google, Instagram czy Semrush mają te zakresy na czarnych listach. Możesz mieć 10 000 IP datacenter i nadal być blokowany systematycznie, bo ASN tych adresów jest od razu podejrzany.

Przewaga mobilnych IP 4G w proxy pool

Mobilne proxy 4G działają przez prawdziwe modemy LTE podłączone do sieci operatorów komórkowych. W naszej infrastrukturze w Polsce każdy modem używa prawdziwej karty SIM i korzysta z sieci CGNAT, tak samo jak zwykły telefon. To oznacza:

• Twoje IP wygląda jak IP normalnego użytkownika smartfona
• Adresy z sieci mobilnych mają bardzo niski wskaźnik blokowania, bo operatorzy przypisują je do milionów prawdziwych ludzi
• CGNAT sprawia, że za jednym IP może stać wielu użytkowników, co jest normą w sieciach mobilnych
• Nawet mała pula mobilnych IP ma wyższą skuteczność niż duża pula datacenter

W praktyce: 10 mobilnych IP 4G z rotacją co 2 sekundy często wystarcza do projektów, gdzie potrzebujesz 100 IP datacenter. To realna różnica w kosztach i zarządzaniu infrastrukturą. Sprawdź też test szybkości proxy, żeby zweryfikować, że twoje połączenia spełniają wymagania projektu.

Jak obliczyć optymalny rozmiar puli dla swojego projektu

Przejdźmy do konkretów. Oto formuła, której używamy przy konsultacjach z klientami:

1. Zdefiniuj skalę: ile requestów dziennie planuje twój scraper?
2. Sprawdź limity celu: ile requestów toleruje docelowa strona z jednego IP zanim zablokuje? Zacznij od testów z 50 requestami na IP i obserwuj odpowiedzi.
3. Oblicz podstawę: requestów dziennie / limit per IP = minimalna liczba IP
4. Dodaj bufor bezpieczeństwa: pomnóż przez 1.5 do 2 dla agresywnych serwisów
5. Uwzględnij rotację: jeśli używasz rotacji czasowej co 10 minut, jedno IP z rotacją może zastąpić kilka statycznych

Przykładowe obliczenia dla różnych use case'ów

• Monitoring cen na Amazonie (20 000 requestów/dzień, limit 100/h per IP): potrzebujesz minimum 20 dedykowanych IP lub 5 IP z rotacją co 30 minut
• Scrapowanie profili LinkedIn (2 000 requestów/dzień, bardzo agresywna ochrona): minimum 20 IP, najlepiej mobilnych z losową rotacją
• SEO monitoring w Semrush-style (50 000 requestów/dzień): 50 do 100 IP z round-robin

Przy planach Proxy Poland możesz zacząć od jednego portu za 60 zł miesięcznie i testować zanim zainwestujesz w większą infrastrukturę. Jeden port z rotacją co 2 sekundy daje dostęp do setek różnych adresów w trakcie dnia roboczego.

Konfiguracja rotacji IP dla skutecznego scrapingu

Masz pulę proxy. Teraz musisz ją dobrze skonfigurować, bo zła konfiguracja niszczy skuteczność nawet najlepszej infrastruktury.

Rotacja przez API w Proxy Poland

Wywołanie zmiany IP przez nasze API wygląda tak:

GET https://panel.proxypol.com/api/rotate?port=YOUR_PORT&token=YOUR_TOKEN

Odpowiedź zwraca nowy adres IP w ciągu 2 sekund. Możesz wbudować to wywołanie bezpośrednio w logikę swojego scrapera, zmienia IP po X requestach lub po pierwszym błędzie 429.

Praktyczne zasady konfiguracji

• Zmieniaj IP prewencyjnie, zanim dostaniesz błąd, nie po. Ustaw limit na 70-80% tolerowanej liczby requestów per IP.
• Przy scrapingu wymagającym sesji (np. logowanie na konto) używaj sticky sessions i zmieniaj IP tylko między sesjami.
• Zawsze paruj rotację IP z rotacją user-agenta. Sama zmiana adresu bez zmiany nagłówków HTTP to połowiczny środek. Sprawdź jak wyglądają twoje nagłówki przez analizator nagłówków HTTP.
• Implementuj backoff: gdy dostaniesz 429 lub 503, odczekaj 30 do 60 sekund przed kolejnym requestem przez nowy IP.
• Loguj, które IP generują błędy. Jeśli jeden adres jest permanentnie zablokowany, wyklucz go z rotacji.

Key takeaway: Rozmiar puli proxy to tylko część układanki. Bez inteligentnej rotacji i zarządzania sesjami nawet 1 000 IP nie uchroni cię przed wykryciem na poważnie chronionych platformach. Możesz też sprawdzić, czy twoja infrastruktura nie ma wycieków przez test DNS leak.

Podsumowanie: proxy pool size ma bezpośredni wpływ na sukces scrapingu

Trzy rzeczy, które warto zapamiętać. Po pierwsze, rozmiar puli to nie jest kwestia "im więcej tym lepiej", to matematyka: dopasuj liczbę IP do liczby requestów i limitów serwisu docelowego. Po drugie, jakość IP jest ważniejsza niż ilość. Dziesięć mobilnych adresów 4G z CGNAT pobije sto adresów datacenter na każdej poważnie chronionej platformie. Po trzecie, proxy pool size scraping to tylko jeden element, obok rotacji, zarządzania sesjami i nagłówków HTTP.

Jeśli chcesz zacząć od sprawdzonej infrastruktury bez ryzyka, Proxy Poland oferuje bezpłatny 1-godzinny trial bez karty kredytowej. Przetestuj, jak mobilne proxy 4G na prawdziwych modemach LTE w Polsce sprawdzają się w twoim projekcie, a potem wybierz plan dopasowany do skali. Zobacz plany i ceny Proxy Poland i zacznij zbierać dane bez blokad.