Jeśli Twój skrypt scrapingowy dostaje bana po 50 requestach, problem prawie zawsze leży w tym samym miejscu: używasz złego typu proxy. Mobile proxy web scraping to podejście, które pozwala zbierać dane z Internetu bez blokad, bo Twoje requesty wyglądają jak ruch zwykłego użytkownika smartfona. W tym przewodniku dowiesz się:
- dlaczego mobilne proxy 4G są skuteczniejsze niż datacenter czy residential proxies przy scrapingu,
- jak krok po kroku skonfigurować proxy w Pythonie i popularnych narzędziach,
- jak ustawić rotację IP, żeby serwery docelowe Cię nie rozpoznały,
- jakie parametry monitorować, żeby scraping działał stabilnie przez wiele dni.
Zacznijmy od podstaw, a potem przejdziemy do konkretnej konfiguracji.
Dlaczego mobile proxy dominują w web scrapingu
Datacenter proxies mają jeden fundamentalny problem: ich adresy IP są dobrze znane. Firmy takie jak Google, Amazon czy Allegro utrzymują czarne listy całych bloków IP należących do dostawców chmury. Twój skrypt wysyła request z serwera AWS, a serwer docelowy widzi to natychmiast i zwraca CAPTCHA albo 403.
Residential proxies są lepsze, bo używają IP przypisanych do domów. Ale mają dwa słabe punkty: płacisz za gigabajty przesyłanych danych (koszt potrafi być zaskakująco wysoki przy dużych projektach) i ich dostępność zależy od tego, czy właściciel urządzenia jest online.
Mobilne proxy 4G rozwiązują oba problemy. Adresy IP przypisane do sieci komórkowych są traktowane przez algorytmy antyfraudowe zupełnie inaczej niż IP datacenter. Jeden adres IP w sieci komórkowej może być współdzielony przez tysiące użytkowników (to właśnie CGNAT, czyli Carrier-Grade NAT), więc nawet wysoki ruch z jednego IP nie jest automatycznie podejrzany.
Key takeaway: Mobilne IP są z założenia współdzielone przez wielu użytkowników, co sprawia, że serwery antyblokadowe nie mogą ich zablokować bez ryzyka odcięcia setek prawdziwych klientów.
- Brak opłat za bandwidth, płacisz flat rate za port.
- IP z prawdziwych kart SIM Orange LTE w Polsce.
- CGNAT ukrywa Cię wśród dziesiątek tysięcy innych użytkowników tej samej sieci.
- Możliwość zmiany IP w 2 sekundy przez API.
Jak działają mobilne proxy 4G na sieci Orange LTE
Proxy Poland opiera swoją infrastrukturę na fizycznych modemach LTE podłączonych do sieci Orange w Polsce. Każdy port proxy odpowiada jednemu dedykowanemu modemowi z prawdziwą kartą SIM. Ruch wychodzi z realnego urządzenia mobilnego, a nie z wirtualnej maszyny w chmurze.
Kiedy Twój skrypt łączy się z portem proxy (przez HTTP, SOCKS5 lub OpenVPN), request trafia do modemu, a stamtąd wychodzi do Internetu przez sieć komórkową Orange. Serwer docelowy widzi mobilny adres IP przypisany przez operatora, nie Twój rzeczywisty adres ani adres serwera, na którym działa scraper.
CGNAT i co to oznacza dla scrapingu
W sieciach komórkowych operatorzy używają mechanizmu CGNAT, który pozwala wielu urządzeniom korzystać z jednego publicznego adresu IP. Z perspektywy serwera docelowego ruch z tego IP pochodzi od dziesiątek lub setek zwykłych użytkowników smartfonów. Zablokowanie takiego IP oznaczałoby odcięcie prawdziwych klientów, co żaden serwis nie zrobi lekkomyślnie.
Obsługiwane protokoły
- HTTP/HTTPS: najłatwiejsza integracja, działa z praktycznie każdą biblioteką.
- SOCKS5: bardziej elastyczny, obsługuje każdy typ ruchu TCP/UDP.
- OpenVPN: całe połączenie systemu przechodzi przez proxy, idealne gdy scraper nie obsługuje natywnie proxy HTTP.
Możesz sprawdzić, jaki adres IP widzą serwery docelowe, korzystając z narzędzia What Is My IP dostępnego na stronie Proxy Poland.
Konfiguracja mobile proxy web scraping w Pythonie
Przejdźmy do konkretów. Zakładam, że masz już aktywny port proxy od Proxy Poland. Po zalogowaniu do panelu widzisz dane dostępowe: adres hosta, port, nazwę użytkownika i hasło.
Konfiguracja z biblioteką requests
To najprostszy przypadek. Wystarczy kilka linijek:
- Zdefiniuj słownik z danymi proxy:
proxies = {
"http": "http://user:password@host:port",
"https": "http://user:password@host:port"
}- Przekaż proxy do każdego requestu:
import requests
response = requests.get("https://example.com", proxies=proxies, timeout=30)- Sprawdź status odpowiedzi przed parsowaniem:
if response.status_code == 200:
print(response.text)Ustawiaj zawsze parametr timeout. Bez niego skrypt może wisieć w nieskończoność, jeśli serwer docelowy nie odpowiada. Wartość 30 sekund to dobry punkt startowy dla większości projektów.
Konfiguracja z Playwright lub Selenium
Jeśli scrapujesz strony renderowane przez JavaScript, potrzebujesz przeglądarki. W Playwright przekazujesz proxy przy uruchamianiu przeglądarki:
browser = playwright.chromium.launch(proxy={
"server": "http://host:port",
"username": "user",
"password": "password"
})Key takeaway: Przy scrapingu z przeglądarką upewnij się, że User-Agent przeglądarki jest spójny z typem proxy. Mobilny IP z desktopowym User-Agentem może wzbudzić podejrzenia bardziej niż sam ruch.
Rotacja IP: kiedy i jak ją ustawić
Rotacja IP to zmiana adresu IP bez konieczności rozłączania się z portem proxy. W Proxy Poland możesz wywołać rotację przez API call lub skonfigurować automatyczną rotację w panelu sterowania.
Kiedy rotować IP?
Nie ma jednej odpowiedzi dla wszystkich projektów. Oto kilka scenariuszy:
- Scraping stron e-commerce (Allegro, Amazon): rotuj co 50-100 requestów lub gdy dostaniesz odpowiedź 429/503.
- Zbieranie danych z Google Search: rotuj co 10-20 requestów, Google jest wyjątkowo agresywny w wykrywaniu botów.
- Monitoring cen w czasie rzeczywistym: automatyczna rotacja co 120 sekund wystarczy przy niskiej częstotliwości requestów.
- Social media scraping: rotuj po każdej sesji logowania, nigdy w trakcie.
Jak wywołać rotację przez API
Proxy Poland udostępnia prosty endpoint do rotacji IP. Wywołanie w Pythonie wygląda tak:
import requests
requests.get("https://api.proxypoland.com/rotate?port=PORT&token=TOKEN")Po wywołaniu nowy IP jest dostępny w ciągu 2 sekund. W naszym testowaniu z farmy modemów generujemy ponad 50 000 rotacji dziennie bez spadku dostępności.
Możesz też zweryfikować aktualny IP po rotacji za pomocą naszego narzędzia sprawdzania adresu IP, zanim wyślesz kolejną serię requestów.
Integracja z popularnymi narzędziami do scrapingu
Python z biblioteką requests to nie jedyna opcja. Większość profesjonalnych narzędzi scrapingowych obsługuje proxy bez dodatkowej konfiguracji.
Scrapy
Scrapy obsługuje proxy przez middleware. W pliku settings.py dodajesz:
ROTATING_PROXY_LIST = ["http://user:pass@host:port"]Przy większej liczbie portów możesz zbudować własny middleware rotujący między nimi. To podejście działa dobrze przy projektach wymagających dużej skali, gdzie jeden port to za mało.
Apify i podobne platformy chmurowe
Jeśli używasz platform do zarządzania scraperami (Apify, Browserless), możesz wpisać dane proxy bezpośrednio w konfiguracji aktora. Mobilny proxy 4G działa tu tak samo jak przy bezpośrednim połączeniu, ale masz dodatkową warstwę abstrakcji.
curl i narzędzia terminalowe
Do szybkich testów curl jest idealny:
curl -x http://user:pass@host:port https://httpbin.org/ipJeśli w odpowiedzi widzisz mobilny IP zamiast swojego, proxy działa poprawnie. To też dobry sposób na weryfikację przed uruchomieniem właściwego scrapera.
Przy weryfikacji konfiguracji warto sprawdzić nie tylko IP, ale też nagłówki HTTP, które Twój scraper wysyła. Użyj narzędzia analizy nagłówków HTTP, żeby upewnić się, że nie zdradzasz się jakimś specyficznym headerem.
Najczęstsze błędy i jak ich unikać
Przez wiele projektów scrapingowych wyłoniło się kilka błędów, które powtarzają się najczęściej. Oto jak ich unikać.
Ignorowanie opóźnień między requestami
Wysyłanie 100 requestów na sekundę z jednego IP, nawet mobilnego, wzbudzi podejrzenia. Prawdziwy użytkownik nie klika tak szybko. Dodaj losowe opóźnienia między requestami: od 1 do 5 sekund to minimum, od 3 do 8 sekund to bezpieczniejszy zakres dla większości serwisów.
Niespójny User-Agent
Twoje proxy ma mobilny IP, ale scraper wysyła User-Agent przeglądarki desktopowej? To czerwona flaga. Używaj bibliotek takich jak fake-useragent i ustaw User-Agent spójny z mobilną przeglądarką, skoro używasz mobilnego IP.
Brak obsługi błędów
- Zawsze obsługuj odpowiedzi 429 (Too Many Requests) i 503 (Service Unavailable).
- Implementuj exponential backoff: czekaj 5s, potem 10s, potem 20s przed kolejną próbą.
- Loguj wszystkie błędy z timestampem, żebyś mógł analizować wzorce blokad.
Nierotowanie IP po blokadzie
Jeśli dostaniesz bana na aktualnym IP, nie ma sensu kontynuować na tym samym. Zaimplementuj logikę, która automatycznie wywołuje rotację po wykryciu blokady (odpowiedź 403, CAPTCHA lub przekierowanie na stronę weryfikacji).
Key takeaway: Scraping to nie tylko proxy. To suma poprawnej konfiguracji proxy, realistycznych opóźnień, spójnych nagłówków i solidnej obsługi błędów.
Często zadawane pytania
Czy mobilny proxy 4G działa z Pythonem i biblioteką requests?
Tak, bez żadnych dodatkowych bibliotek. Wystarczy przekazać adres proxy w formacie http://user:password@host:port do parametru proxies w funkcji requests.get() lub requests.Session(). Proxy Poland obsługuje protokoły HTTP i SOCKS5, więc możesz wybrać ten, który lepiej pasuje do Twojego projektu.
Ile requestów mogę wysłać przez jeden port mobilnego proxy?
To zależy od serwisu docelowego, nie od samego proxy. Bandwidth w Proxy Poland jest nieograniczony, nie płacisz za gigabajty. Ograniczeniem jest to, jak agresywnie serwis docelowy wykrywa zautomatyzowany ruch. Przy realistycznych opóźnieniach (2-5 sekund między requestami) jeden port pozwala obsłużyć setki tysięcy requestów dziennie bez problemu.
Jak sprawdzić, czy moje proxy działa poprawnie przed uruchomieniem scrapera?
Najprościej wysłać request do serwisu zwracającego Twój publiczny IP, na przykład przez nasze narzędzie What Is My IP. Jeśli zwrócony adres IP to mobilny IP z sieci Orange, a nie Twój własny adres, proxy działa. Warto też sprawdzić prędkość proxy przed uruchomieniem dużego projektu.
Czy mobilne proxy są legalne w web scrapingu?
Samo używanie proxy jest legalne. Legalność scrapingu zależy od regulaminów serwisów docelowych i tego, jakie dane zbierasz. Publiczne dane (ceny, opisy produktów, wyniki wyszukiwania) są w większości jurysdykcji dozwolone do zbierania. Zawsze sprawdź plik robots.txt serwisu i jego regulamin przed uruchomieniem scrapera.
Podsumowanie i następne kroki
Konfiguracja mobile proxy web scraping sprowadza się do trzech rzeczy: wyboru odpowiedniego proxy (mobilne 4G bije datacenter i residential w kategorii wykrywalności), poprawnej integracji z narzędziami (requests, Playwright, Scrapy) i przemyślanej strategii rotacji IP dopasowanej do serwisu docelowego. Mobilne IP z sieci Orange LTE są traktowane przez algorytmy antyfraudowe jak ruch zwykłych użytkowników smartfonów, co daje Ci fundamentalną przewagę nad innymi typami proxy.
Pamiętaj, że samo proxy to nie wszystko. Realistyczne opóźnienia, spójne nagłówki HTTP i solidna obsługa błędów decydują o tym, czy Twój scraper przetrwa wiele dni bez interwencji. Zacznij od jednego portu, przetestuj na mniejszej skali i dopiero potem skaluj projekt.
Jeśli chcesz przetestować mobilny proxy 4G na własnym projekcie bez ryzyka, Proxy Poland oferuje bezpłatną godzinną próbę bez podawania karty kredytowej. Sprawdź dostępne plany i zacznij zbierać dane bez blokad już dziś. Zobacz plany i ceny Proxy Poland.