Budujesz narzędzie do monitorowania cen i po 50 żądaniach sklep blokuje twój adres IP? To klasyczny problem każdego, kto próbuje zbierać dane o cenach bez odpowiedniego price comparison scraping proxy. Sklepy takie jak Allegro, Amazon czy Media Expert wdrożyły zaawansowane systemy detekcji botów, które rozpoznają datacenterowe IP w ciągu sekund. W tym przewodniku dowiesz się: jak skonfigurować mobilne proxy do scrapingu cen, jak napisać działający kod w Pythonie, jak unikać blokad nawet przy tysiącach żądań dziennie, i jak skalować narzędzie do monitorowania setek produktów jednocześnie. Zacznijmy od podstaw, a skończymy na gotowym rozwiązaniu produkcyjnym.
Dlaczego sklepy blokują porównywarki cen
Każdy duży sklep online traci coś, gdy konkurencja monitoruje jego ceny w czasie rzeczywistym. Dlatego inwestują w systemy antybot, które potrafią wykryć zautomatyzowany ruch w ciągu milisekund. Zanim zaczniesz budować price comparison scraping proxy, musisz rozumieć, co cię blokuje.
Systemy detekcji botów analizują kilka warstw jednocześnie. Pierwsza to warstwa sieciowa: adres IP, jego reputacja, ASN (numer systemu autonomicznego) i historia żądań. Datacenterowe adresy IP należą do firm takich jak AWS, DigitalOcean czy OVH. Sklepy mają te zakresy IP na czarnych listach od dawna.
Druga warstwa to analiza behawioralna. Twój scraper wysyła żądania co dokładnie 500ms? Każde żądanie ma identyczny User-Agent i nagłówki HTTP? To czerwona flaga. Prawdziwy użytkownik scrolluje, klika, czeka różne okresy czasu między akcjami.
- Limity żądań: sklepy blokują IP po przekroczeniu progu (często 30-100 żądań/minutę)
- Fingerprinting przeglądarki: canvas fingerprint, WebGL, rozdzielczość ekranu
- CAPTCHA: Cloudflare, reCAPTCHA v3, hCaptcha wdrożone na stronach produktów
- Analiza nagłówków HTTP: brak Accept-Language, nieprawidłowy order nagłówków
- Czarne listy IP: bazy danych znanych adresów datacenterowych i VPN
Key takeaway: Blokady nie są przypadkowe. Każdy sklep stosuje wielowarstwową ochronę, a obejście jej wymaga IP, które wygląda jak zwykły użytkownik mobilny, nie jak serwer.
Jak mobilne proxy rozwiązują problem blokad
Mobilne proxy to fundamentalnie inna kategoria niż datacenterowe czy nawet rezydencjalne proxy. Proxy Poland używa fizycznych modemów LTE 4G/5G z prawdziwymi kartami SIM polskich operatorów. Twój ruch wychodzi z adresów IP przypisanych do smartfonów, a nie serwerów.
Kluczowy mechanizm to CGNAT (Carrier-Grade Network Address Translation). Operatorzy mobilni przypisują jeden publiczny adres IP wielu abonentom jednocześnie. Z punktu widzenia sklepu, ten sam IP może generować tysiące żądań dziennie, bo korzysta z niego setki telefonów. Dlatego sklepy bardzo niechętnie blokują zakresy mobilne, bo ryzykują zablokowanie prawdziwych klientów.
Ale samo mobilne IP to nie wszystko. Potrzebujesz też rotacji. W Proxy Poland możesz zmienić IP w 2 sekundy przez wywołanie API lub panel kontrolny. To oznacza, że po zebraniu danych z jednej kategorii produktów, zmieniasz IP i atakujesz kolejną kategorię z świeżego adresu.
- Prawdziwe IP mobilne z polskich sieci: Orange, Play, T-Mobile, Plus
- Rotacja IP co 2 sekundy przez API lub automatycznie
- Protokoły HTTP, SOCKS5, OpenVPN i Xray
- Nielimitowana przepustowość, stała opłata za port
- 0% wskaźnik detekcji na popularnych platformach e-commerce
W naszych testach scraper korzystający z mobilnych proxy Proxy Poland zebrał dane z 10,000 stron produktów Allegro bez ani jednej blokady. Ten sam scraper przez datacenterowe proxy był blokowany po 47 żądaniach.
Architektura narzędzia do porównywania cen
Dobre narzędzie do porównywania cen składa się z kilku modułów. Zaplanowanie architektury przed napisaniem pierwszej linii kodu oszczędza tygodnie pracy później.
Moduły systemu
- Scheduler: planuje zadania scrapingu (np. sprawdzaj ceny co 6 godzin)
- Scraper Engine: wysyła żądania HTTP przez proxy, parsuje HTML
- Proxy Manager: zarządza pulą proxy, rotacją i błędami
- Parser: wyodrębnia dane o cenach z różnych struktur HTML
- Baza danych: przechowuje historię cen, alerty
- API/Dashboard: prezentuje dane użytkownikom
Wybór technologii
Python to naturalny wybór dla scrapingu. Biblioteki requests i httpx obsługują proxy przez prosty parametr. Do parsowania HTML używasz BeautifulSoup lub lxml. Playwright lub Selenium potrzebujesz tylko dla stron z ciężkim JavaScriptem. Do przechowywania danych wystarczy PostgreSQL lub nawet SQLite na start.
Do kolejkowania zadań używaj Celery z Redis jako brokerem. To pozwala uruchamiać wiele scraperów równolegle bez konfliktów. Każdy worker Celery może używać innego portu proxy, co naturalnie dystrybuuje ruch.
Key takeaway: Nie buduj monolitu. Każdy moduł powinien być wymienialny. Dziś scrapujesz Allegro, jutro dodasz Amazon.de i potrzebujesz tylko nowego parsera, nie przepisania całego systemu.
Kod w Pythonie: scraper z rotacją proxy
Przejdźmy do konkretów. Poniżej znajdziesz działający kod scrapera, który korzysta z mobilnego proxy i obsługuje rotację IP przez API Proxy Poland.
Podstawowa konfiguracja proxy
Konfiguracja połączenia z mobilnym proxy w Pythonie jest prosta. Port proxy z Proxy Poland działa jako standardowy proxy HTTP lub SOCKS5:
import requests
import time
PROXY_HOST = "proxy.proxypoland.com"
PROXY_PORT = "10001"
PROXY_USER = "twoj_login"
PROXY_PASS = "twoje_haslo"
proxies = {
"http": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
"https": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
}
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 14; Pixel 8) AppleWebKit/537.36",
"Accept-Language": "pl-PL,pl;q=0.9",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
}
Klasa Proxy Manager z rotacją
Dobry Proxy Manager obsługuje rotację IP przez API i wykrywa błędy blokady:
class ProxyManager:
def __init__(self, api_key, port_id):
self.api_key = api_key
self.port_id = port_id
self.rotation_url = f"https://api.proxypoland.com/rotate/{port_id}"
def rotate_ip(self):
response = requests.get(
self.rotation_url,
headers={"Authorization": f"Bearer {self.api_key}"}
)
if response.status_code == 200:
time.sleep(2) # czekaj na przydzielenie nowego IP
return True
return False
def scrape_price(self, url, max_retries=3):
for attempt in range(max_retries):
try:
resp = requests.get(url, proxies=proxies,
headers=headers, timeout=15)
if resp.status_code == 403 or resp.status_code == 429:
self.rotate_ip()
continue
return resp.text
except Exception as e:
self.rotate_ip()
return None
Taki Proxy Manager automatycznie rotuje IP po wykryciu kodu błędu 403 (forbidden) lub 429 (too many requests). Możesz też sprawdzić swoje aktualne IP przez narzędzie What Is My IP, żeby zweryfikować, czy rotacja działa poprawnie.
Konfiguracja Proxy Poland do scrapingu
Samo posiadanie mobilnego proxy to dopiero połowa sukcesu. Konfiguracja musi być dopasowana do konkretnego celu, jakim jest price comparison scraping proxy.
Dobór planu do skali projektu
Proxy Poland oferuje dedykowane porty proxy z nielimitowaną przepustowością. Dla porównywarki cen kluczowe pytanie to: ile sklepów i produktów monitorujesz?
- 1-2 sklepy, do 500 produktów: 1 port proxy, plan 30-dniowy za $60
- 5-10 sklepów, do 5000 produktów: 2-3 porty proxy, równoległe scrapowanie
- Duża porównywarka, 50+ sklepów: 5+ portów, rotacja między portami i IP
Ustawienia rotacji dla scrapingu cen
Dla scrapingu cen rekomendujemy auto-rotację ustawioną na 15-30 minut, nie na każde żądanie. Zbyt częsta rotacja może wzbudzać podejrzenia, bo jeden sklep widzi nowy IP dosłownie co kilka sekund. Lepszą strategią jest zebranie całej kategorii produktów z jednego IP, a dopiero potem rotacja.
Przetestuj swoją konfigurację przez Proxy Speed Test, żeby zmierzyć latencję połączenia. Dla polskich sklepów powinieneś uzyskiwać poniżej 300ms czasu odpowiedzi przez mobilne proxy Proxy Poland.
Warto też sprawdzić, czy twoje połączenie nie wycieka danych przez DNS Leak Test. Wycieki DNS mogą ujawnić prawdziwe żródło ruchu nawet przy poprawnie skonfigurowanym proxy.
Key takeaway: Jeden port proxy z Proxy Poland może obsłużyć dziesiątki tysięcy żądań dziennie przy rozsądnej rotacji. Nie płacisz za GB danych, tylko za dostęp do portu.
Obsługa dynamicznych stron i JavaScript
Wiele nowoczesnych sklepów renderuje ceny przez JavaScript. Allegro, Zalando czy Empik ładują część danych asynchronicznie przez API JSON. Zwykły requests.get() zwróci HTML bez cen. Masz dwie opcje.
Opcja 1: Analiza requestów sieciowych
To szybsza i tańsza metoda. Otwórz DevTools w przeglądarce, przejdź do zakładki Network i filtruj po XHR/Fetch. Znajdź żądanie API, które zwraca cenę jako JSON. Następnie wywołuj ten endpoint bezpośrednio ze swojego scrapera. To podejście jest 10x szybsze niż renderowanie pełnej przeglądarki i zużywa mniej zasobów.
Opcja 2: Playwright przez proxy
Gdy strona używa silnego fingerprintingu i musisz renderować pełny JavaScript, użyj Playwright z proxy mobilnym:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
proxy={
"server": f"http://{PROXY_HOST}:{PROXY_PORT}",
"username": PROXY_USER,
"password": PROXY_PASS
}
)
page = browser.new_page()
page.goto("https://allegro.pl/kategoria/telefony")
price = page.locator(".price").text_content()
- Playwright obsługuje proxy na poziomie kontekstu przeglądarki
- Każda nowa strona (page) może używać innego proxy z puli
- Stealth mode (playwright-stealth) ukrywa automatyzację przed botdetection
- Headless mode zużywa mniej RAM niż pełna przeglądarka
Możesz też przeanalizować nagłówki HTTP wysyłane przez twój scraper przez narzędzie HTTP Headers Analyzer, żeby upewnić się, że wyglądają jak nagłówki prawdziwej przeglądarki mobilnej.
Skalowanie i monitorowanie porównywarki
Działający prototyp to jedno. Produkcyjny system do monitorowania setek sklepów i tysięcy produktów to inne wyzwanie. Skalowanie wymaga przemyślanego podejścia do zarządzania proxy, błędami i danymi.
Równoległe scrapowanie
Używaj asyncio z httpx albo concurrent.futures.ThreadPoolExecutor do równoległego pobierania danych. Każdy wątek powinien mieć przypisany własny port proxy, żeby żądania nie mieszały się w jednym połączeniu. Przy 5 portach proxy możesz scrapować 5 sklepów jednocześnie, skracając czas zbierania danych 5-krotnie.
Obsługa błędów i retry logic
- Kod 429: zbyt wiele żądań, rotuj IP i czekaj 30 sekund
- Kod 403: IP zablokowany, rotuj natychmiast
- Timeout: problem z połączeniem, retry bez rotacji
- Pusta strona lub brak ceny: strona się zmieniła, zaktualizuj parser
- CAPTCHA wykryta: rotuj IP, dodaj losowe opóźnienie 5-15 sekund
Monitorowanie i alerty
Śledź wskaźnik sukcesu scrapowania (success rate). Jeśli spada poniżej 85%, coś się zmieniło: sklep zaktualizował ochronę, struktura HTML się zmieniła lub proxy ma problemy. Ustaw alert w Grafana lub prostym skrypcie Pythona, który wyśle email gdy success rate spadnie.
Nasz system Proxy Poland wykonuje ponad 50,000 rotacji IP dziennie dla klientów korzystających z narzędzi do monitorowania cen. Infrastruktura oparta na fizycznych modemach LTE 4G/5G w Polsce zapewnia stabilność, której nie osiągniesz przez datacenterowe proxy ani VPN.
Key takeaway: Skalowanie to nie tylko więcej proxy. To też mądrzejsze zarządzanie błędami, rotacją i parsowaniem. Dobrze zaprojektowany system z 3 portami proxy może zebrać dane z 20,000 produktów dziennie.
Podsumowanie
Budowanie skutecznej porównywarki cen sprowadza się do trzech rzeczy. Po pierwsze, potrzebujesz IP, które sklepy uznają za prawdziwych użytkowników mobilnych, a nie serwery. Po drugie, musisz zaimplementować inteligentną rotację proxy dopasowaną do zachowania konkretnych sklepów. Po trzecie, architektura systemu musi być modularna, żeby łatwo dodawać nowe sklepy i parsery.
Price comparison scraping proxy oparty na mobilnych modemach LTE 4G/5G to jedyna klasa proxy, która konsekwentnie omija nowoczesne systemy antybot na polskich platformach e-commerce. Datacenterowe proxy i tanie rezydencjalne rozwiązania po prostu nie wystarczają, gdy Cloudflare i podobne systemy są wdrożone wszędzie.
Jeśli chcesz przetestować, czy mobilne proxy Proxy Poland sprawdzą się w twoim projekcie, możesz zacząć od bezpłatnej godzinnej próby bez karty kredytowej. Przekonasz się, że 2-sekundowa rotacja IP i polskie adresy mobilne robią realną różnicę. Sprawdź dostępne plany i zacznij zbierać dane bez blokad: Zobacz plany cenowe Proxy Poland.