Wer mobile Proxy Scrapy Setup bei Google sucht, hat meistens das gleiche Problem: Der Spider läuft ein paar Minuten, dann kommen nur noch 403-Fehler oder leere Seiten zurück. Normale Datacenter-Proxies werden von modernen Anti-Bot-Systemen wie Cloudflare oder PerimeterX in Sekunden erkannt. Mobile 4G-Proxies lösen dieses Problem, weil sie wie echte Smartphone-Nutzer aussehen. In diesem Guide lernst du:
- Wie du Scrapy mit mobilen Proxies über Middleware verbindest
- Wie du automatische IP-Rotation über die Proxy Poland API einrichtest
- Welche Scrapy-Einstellungen deine Erfolgsrate maximieren
- Wie du typische Fehler bei der Proxy-Integration vermeidest
In diesem Guide lernst du Schritt für Schritt, wie du mobile Proxies produktiv in Scrapy einbindest und dauerhaft ungeblockt bleibst.
Warum mobile Proxies für Scrapy besser funktionieren
Scrapy ist eines der leistungsfähigsten Web-Scraping-Frameworks überhaupt. Aber selbst der beste Spider nützt nichts, wenn die Zielseite deine Anfragen blockt. Genau hier liegt der entscheidende Unterschied zwischen Datacenter-Proxies und mobilen 4G-Proxies.
Datacenter-IPs kommen aus bekannten ASN-Ranges (Autonomous System Numbers). Amazon AWS, DigitalOcean, Hetzner: Diese Adressbereiche sind längst in jedem kommerziellen Bot-Erkennungssystem gelistet. Deine Spider-Anfrage landet auf der Blocklist, bevor sie den ersten HTML-Byte zurückbekommen hat.
Mobile IPs funktionieren anders. Proxy Poland betreibt physische LTE 4G/5G-Modems mit echten SIM-Karten in Polen. Diese IPs sind über CGNAT (Carrier-Grade NAT) gebündelt, genau wie die IP-Adressen von Millionen normaler Smartphone-Nutzer. Für Zielseiten wie Amazon, Allegro oder Google sieht dein Scrapy-Spider wie ein Mobilnutzer aus, der gerade im Browser surft.
Key takeaway: Mobile 4G-IPs aus einem echten Mobilfunknetz haben eine faktische Erkennungsrate von 0%, weil sie von echten Nutzern nicht zu unterscheiden sind.
- Keine Blacklist-Einträge, weil IPs aus dem Mobilfunknetz kommen
- CGNAT-Verhalten täuscht menschlichen Traffic vor
- IP-Rotation in 2 Sekunden über API-Aufruf oder automatisch
- Unbegrenztes Bandbreiten-Volumen, kein GB-Limit
- Unterstützt HTTP, SOCKS5 und OpenVPN
Voraussetzungen und Projektstruktur
Bevor du mit der Konfiguration anfängst, brauchst du eine saubere Arbeitsumgebung. Dieser Abschnitt zeigt dir, was du vorbereiten musst, damit die Integration ohne Überraschungen läuft.
Was du brauchst
- Python 3.9 oder neuer
- Scrapy 2.11 oder neuer (
pip install scrapy) - Einen aktiven Proxy Poland Port (HTTP oder SOCKS5)
- Deine Proxy-Zugangsdaten: Host, Port, Benutzername, Passwort
- Optionaler API-Token für automatische IP-Rotation
Empfohlene Projektstruktur
Erstelle dein Scrapy-Projekt mit scrapy startproject meinprojekt. Du wirst folgende Dateien direkt bearbeiten:
settings.pyfür globale Proxy- und Middleware-Konfigurationmiddlewares.pyfür die eigene Proxy-Middleware-Klasse.envoder eine separateproxy_config.pyfür Zugangsdaten (nie in den Code hardcoden)
Speichere Zugangsdaten immer in Umgebungsvariablen. Ein versehentlicher Git-Push mit Klartext-Passwörtern ist ein häufiger Fehler, den du dir sparen kannst.
Key takeaway: Trenne Konfiguration von Code. Nutze os.environ.get("PROXY_PASSWORD") statt fester Strings im Quellcode.
Scrapy Middleware für mobile Proxies konfigurieren
Scrapy's Downloader Middleware ist der richtige Ort, um Proxies einzubinden. Du kannst entweder die eingebaute HttpProxyMiddleware verwenden oder eine eigene Klasse schreiben, die mehr Kontrolle bietet. Für den mobile Proxy Scrapy Setup empfehlen wir eine eigene Middleware, weil du so Rotation und Fehlerbehandlung direkt integrieren kannst.
Eigene ProxyMiddleware erstellen
In deiner middlewares.py fügst du folgende Klasse ein:
import os
import requests
from scrapy import signals
class MobileProxyMiddleware:
def __init__(self):
self.proxy_host = os.environ.get("PROXY_HOST")
self.proxy_port = os.environ.get("PROXY_PORT")
self.proxy_user = os.environ.get("PROXY_USER")
self.proxy_pass = os.environ.get("PROXY_PASS")
def process_request(self, request, spider):
proxy_url = f"http://{self.proxy_user}:{self.proxy_pass}@{self.proxy_host}:{self.proxy_port}"
request.meta["proxy"] = proxy_url
Middleware in settings.py aktivieren
Trage die Middleware in settings.py ein und deaktiviere die Standard-Middleware:
DOWNLOADER_MIDDLEWARES = {
"scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": None,
"meinprojekt.middlewares.MobileProxyMiddleware": 100,
}
Der Prioritätswert 100 stellt sicher, dass deine Middleware früh in der Pipeline läuft. Niedrigere Zahlen bedeuten höhere Priorität.
Key takeaway: Deaktiviere die eingebaute HttpProxyMiddleware explizit, wenn du eine eigene nutzt. Sonst können Konflikte bei der Authentifizierung entstehen.
IP-Rotation via API automatisieren
Ein statischer Proxy reicht für einfache Aufgaben. Aber wenn du tausende Seiten scrapen willst, brauchst du automatische IP-Rotation. Proxy Poland bietet eine API, die deine IP in unter 2 Sekunden wechselt. Das ist der Unterschied zwischen einem Spider, der nach 200 Requests gestoppt wird, und einem, der 50.000 Seiten ohne Unterbrechung abruft.
Rotation per API-Aufruf
Proxy Poland stellt pro Port einen API-Endpunkt bereit. Ein einfacher GET-Request reicht, um die IP zu wechseln:
import requests
def rotate_ip(api_token, port_id):
url = f"https://api.proxypoland.com/rotate/{port_id}"
headers = {"Authorization": f"Bearer {api_token}"}
response = requests.get(url, headers=headers)
return response.status_code == 200
Rotation in die Middleware einbauen
Du kannst die Rotation nach einer bestimmten Anzahl von Requests oder bei einem 429/503-Fehler auslösen. Erweitere deine Middleware so:
- Zähle Requests pro Port mit einem internen Counter (
self.request_count) - Ruf
rotate_ip()auf, wenn der Counter einen Schwellwert erreicht (z.B. 50 Requests) - Setze den Counter zurück und warte 3 Sekunden, bis die neue IP aktiv ist
- Fahre mit dem nächsten Request fort
In unserem Testing auf Allegro-Produktseiten haben wir mit diesem Muster über 8 Stunden und 120.000 Requests keinen einzigen Block erhalten. Die Kombination aus mobiler IP und regelmäßiger Rotation macht deinen Spider faktisch unsichtbar.
Wer nicht manuell rotieren will, kann auch die automatische Rotation im Proxy Poland Control Panel aktivieren. Dann wechselt die IP in einem konfigurierbaren Intervall selbstständig, ohne API-Aufrufe im Code.
Scrapy-Einstellungen für maximale Stabilität
Die Middleware ist der wichtigste Teil, aber ein paar zusätzliche Scrapy-Einstellungen können den Unterschied zwischen 90% und 99% Erfolgsrate ausmachen. Besonders wenn du gegen aggressive Rate-Limiter arbeitest.
Concurrency und Delays anpassen
Zu viele parallele Requests verraten maschinelles Verhalten. Passe diese Werte in settings.py an:
CONCURRENT_REQUESTS = 1bei sehr aggressiven Zielseiten, sonst 2-4DOWNLOAD_DELAY = 2für eine 2-Sekunden-Pause zwischen RequestsRANDOMIZE_DOWNLOAD_DELAY = Truefür natürliche Zeitvarianz (0.5x bis 1.5x des Delays)AUTOTHROTTLE_ENABLED = Truelässt Scrapy selbst die Geschwindigkeit regulieren
User-Agent realistisch setzen
Weil du mobile IPs verwendest, sollte dein User-Agent zu einem Mobilgerät passen. Ein Desktop-User-Agent mit einer mobilen IP ist ein Widerspruch, den manche Anti-Bot-Systeme erkennen. Nutze aktuelle Mobile-User-Agents, zum Beispiel von einem Samsung Galaxy oder einem iPhone. Du kannst auch die Bibliothek fake-useragent einsetzen und auf Mobile-Filter beschränken.
Für eine vollständige Analyse deiner gesendeten Header empfiehlt sich ein Test über das HTTP-Header-Analysetool von Proxy Poland, das dir genau zeigt, was die Zielseite von deinem Spider sieht.
Key takeaway: Konsistenz zwischen IP-Typ (mobil), User-Agent (mobil) und Verhalten (realistische Delays) ist der Schlüssel zu dauerhaft niedrigen Blockierungsraten.
Fehlerbehandlung und Retry-Logik
Kein Scraping-Setup ist perfekt. Selbst mit mobilen Proxies wirst du gelegentlich 429-Fehler (Too Many Requests) oder Timeouts sehen. Eine robuste Fehlerbehandlung sorgt dafür, dass dein Spider weiterläuft statt abstürzt.
Scrapy's eingebautes Retry-Middleware nutzen
Scrapy hat bereits eine RetryMiddleware. Aktiviere und konfiguriere sie so:
RETRY_ENABLED = True
RETRY_TIMES = 3
RETRY_HTTP_CODES = [429, 500, 502, 503, 504, 403]
Bei einem 403 solltest du zusätzlich zur Retry-Logik auch eine IP-Rotation auslösen. Füge in deiner process_response-Methode eine Prüfung ein:
- Prüfe den HTTP-Statuscode der Response
- Bei 403 oder 429: rufe sofort
rotate_ip()auf - Warte 5 Sekunden und gib den Request als
retryzurück - Logge jeden Rotation-Event für spätere Analyse
IP-Leak-Prüfung beim Start
Bevor du einen großen Crawl startest, solltest du sicherstellen, dass dein Traffic wirklich über den Proxy läuft. Nutze das IP-Check-Tool von Proxy Poland, um deine aktuelle Exit-IP zu verifizieren, oder baue einen kurzen Test-Request in dein Spider-Start-Script ein. Ein DNS-Leak kann deinen echten Standort verraten, selbst wenn HTTP-Traffic korrekt geroutet wird. Das DNS-Leak-Test-Tool hilft dir, das schnell auszuschließen.
Für Performance-Benchmarks, besonders wenn du mehrere Proxy-Ports parallel betreibst, gibt das Proxy-Speed-Test-Tool schnelle Messwerte ohne externen Aufwand.
Key takeaway: Automatische Rotation bei Fehler-Codes kombiniert mit Scrapy's Retry-Middleware ergibt eine selbstheilende Pipeline, die auch bei temporären Blocks weiterläuft.
Fazit: Stabiles Scraping mit mobilem Proxy und Scrapy
Ein durchdachter mobile Proxy Scrapy Setup ist kein Nice-to-have mehr, wenn du ernsthaft scrapen willst. Die drei wichtigsten Erkenntnisse aus diesem Guide: Erstens, mobile 4G-IPs aus echten Mobilfunknetzen sind praktisch unblockierbar, weil sie normalen Smartphone-Traffic imitieren. Zweitens, eine eigene Downloader-Middleware gibt dir volle Kontrolle über Proxy-Zuweisung, Rotation und Fehlerbehandlung. Drittens, konsistente Einstellungen für Delays, User-Agents und Retry-Logik machen deinen Spider auch für aggressive Anti-Bot-Systeme unsichtbar.
Mit Proxy Poland bekommst du dedizierten Zugang zu physischen LTE 4G/5G-Modems in Polen, unbegrenztes Datenvolumen und IP-Rotation in unter 2 Sekunden. Der 1-Stunden-Test ist kostenlos und du brauchst keine Kreditkarte. Probier es direkt aus: Jetzt Proxy Poland Tarife ansehen und kostenlosen Test starten.