Wer proxy setup Selenium googelt, hat meistens dasselbe Problem: Du startest deinen Scraper, er läuft 50 Anfragen lang problemlos, und dann kommt der 403-Fehler. Oder schlimmer, eine Endlosschleife aus CAPTCHAs. Der Grund ist fast immer derselbe: Deine IP-Adresse ist als Datacenter-IP bekannt und wird sofort gefiltert. In diesem Guide zeige ich dir, wie du einen mobilen 4G Proxy aus Poland in Selenium einbindest und damit Blockaden zuverlässig umgehst. Du lernst:
- Warum mobile 4G Proxys Datacenter-Proxys im Scraping überlegen sind
- Wie du den Proxy in Chrome, Firefox und über SOCKS5 konfigurierst
- Welche Selenium-Einstellungen den Unterschied zwischen Erkennung und Unsichtbarkeit machen
- Wie du IP-Rotation automatisierst, um skalierbar zu scrapen
Warum mobile 4G Proxys für Selenium die bessere Wahl sind
Datacenter-Proxys sind günstig und schnell, aber Websites wie Google, Amazon oder Instagram erkennen sie in Sekunden. Das liegt daran, dass Datacenter-IP-Ranges öffentlich bekannt sind und von Anti-Bot-Systemen wie Cloudflare, Akamai oder PerimeterX direkt auf eine Blacklist gesetzt werden. Ein mobiler 4G Proxy funktioniert anders.
Bei Proxy Poland laufen alle Proxys auf echten LTE 4G/5G SIM-Karten in physischen Modems in Polen. Das bedeutet: Deine Anfragen kommen aus demselben IP-Pool, den ein normaler Smartphone-Nutzer in Warschau nutzt. Websites sehen keinen Datacenter-Anbieter, sondern einen echten Mobilfunknetzbetreiber. Das ist der Kern des Vorteils.
Dazu kommt CGNAT. Mobilfunknetze bündeln Millionen von Nutzern hinter wenigen IP-Adressen. Eine einzelne IP kann also Tausende legitime Anfragen pro Tag produzieren, ohne als verdächtig zu gelten. Anti-Bot-Systeme können diese IP nicht blockieren, ohne auch echte Nutzer auszusperren.
- Erkennungsrate: 0% bei mobilen IPs vs. 60-90% bei bekannten Datacenter-Ranges
- Vertrauenswürdigkeit: Mobile IPs haben einen hohen Trust Score in allen gängigen Fraud-Detection-Systemen
- Bandbreite: Unlimitiert bei Proxy Poland, kein GB-Limit
- Rotation: IP-Wechsel in 2 Sekunden per API-Aufruf
Key takeaway: Wer ernsthaft scrapt, braucht mobile Proxys. Alles andere ist Zeitverschwendung, wenn das Ziel Websites mit aktiver Bot-Erkennung sind.
Proxy Setup in Selenium mit Chrome (ChromeDriver)
Die meisten Scraper nutzen Chrome über den ChromeDriver. Das Einbinden eines HTTP-Proxys ist hier unkompliziert, aber es gibt ein paar Details, die über Erfolg oder Misserfolg entscheiden.
Einfache HTTP-Proxy-Konfiguration
Das Grundprinzip: Du übergibst die Proxy-Adresse als Chrome-Option beim Start des Browsers. Hier ein vollständiges Python-Beispiel:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--proxy-server=http://proxy.proxypoland.com:8080')
options.add_argument('--ignore-certificate-errors')
driver = webdriver.Chrome(options=options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
Ersetze proxy.proxypoland.com:8080 mit deinen tatsächlichen Zugangsdaten aus dem Proxy Poland Control Panel.
Authentifizierung mit Benutzername und Passwort
Proxy Poland nutzt IP-Whitelisting oder Benutzername/Passwort-Authentifizierung. Für Letzteres brauchst du eine Chrome-Extension oder die wire-Bibliothek, da Chrome --proxy-server keine eingebetteten Credentials unterstützt. Die sauberste Lösung ist seleniumwire:
from seleniumwire import webdriver
options = {
'proxy': {
'http': 'http://user:password@proxy.proxypoland.com:8080',
'https': 'https://user:password@proxy.proxypoland.com:8080',
}
}
driver = webdriver.Chrome(seleniumwire_options=options)
driver.get('https://httpbin.org/ip')
driver.quit()
Mit seleniumwire kannst du außerdem alle HTTP-Anfragen und Antworten abfangen, was beim Debugging sehr nützlich ist. Überprüfe nach dem Start deine aktuelle IP mit unserem IP-Check-Tool, um sicherzustellen, dass der Proxy aktiv ist.
Proxy Setup in Selenium mit Firefox (GeckoDriver)
Firefox bietet über das FirefoxProfile-Objekt eine detailliertere Proxy-Konfiguration als Chrome. Das ist praktisch, wenn du HTTP und HTTPS getrennt konfigurieren willst.
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
options = Options()
options.set_preference('network.proxy.type', 1)
options.set_preference('network.proxy.http', 'proxy.proxypoland.com')
options.set_preference('network.proxy.http_port', 8080)
options.set_preference('network.proxy.ssl', 'proxy.proxypoland.com')
options.set_preference('network.proxy.ssl_port', 8080)
options.set_preference('network.proxy.no_proxies_on', '')
driver = webdriver.Firefox(options=options)
driver.get('https://httpbin.org/ip')
driver.quit()
Firefox akzeptiert Proxy-Authentifizierung über einen separaten Dialog. Um diesen Dialog automatisch zu bestätigen, nutze seleniumwire auch hier, oder whitelistete deine ausgehende IP im Proxy Poland Control Panel.
Key takeaway: IP-Whitelisting ist die einfachste Methode für Authentifizierung. Trage deine Server-IP einmalig im Control Panel ein, und Selenium braucht keine Credentials im Code.
- Kein Credential-Handling im Code nötig
- Keine Extension oder zusätzliche Bibliothek erforderlich
- Funktioniert sowohl mit Chrome als auch Firefox out of the box
SOCKS5 Proxy in Selenium konfigurieren
SOCKS5 ist flexibler als HTTP-Proxys. Es arbeitet auf einer niedrigeren Netzwerkebene und leitet nicht nur HTTP/HTTPS, sondern alle TCP/UDP-Verbindungen weiter. Proxy Poland unterstützt SOCKS5 nativ auf allen Ports.
SOCKS5 mit Chrome
options = Options()
options.add_argument('--proxy-server=socks5://proxy.proxypoland.com:1080')
options.add_argument('--host-resolver-rules=MAP * ~NOTFOUND , EXCLUDE proxy.proxypoland.com')
Das Flag --host-resolver-rules sorgt dafür, dass DNS-Anfragen ebenfalls über den Proxy laufen und nicht lokal aufgelöst werden. Das verhindert DNS-Leaks. Teste das mit unserem DNS-Leak-Test-Tool.
SOCKS5 mit Firefox
options.set_preference('network.proxy.type', 1)
options.set_preference('network.proxy.socks', 'proxy.proxypoland.com')
options.set_preference('network.proxy.socks_port', 1080)
options.set_preference('network.proxy.socks_version', 5)
options.set_preference('network.proxy.socks_remote_dns', True)
Der Parameter socks_remote_dns ist entscheidend. Er erzwingt, dass DNS-Auflösung remote über den Proxy passiert. Ohne ihn würden DNS-Anfragen lokal passieren und deine echte IP oder ISP-Informationen könnten durchsickern.
In unseren Tests zeigte SOCKS5 mit Proxy Poland eine durchschnittliche Latenz von unter 300ms für Anfragen an polnische Websites wie Allegro oder OLX. Das ist mehr als ausreichend für produktiven Scraping-Betrieb.
IP-Rotation mit der Proxy Poland API automatisieren
Statische Proxys reichen nicht aus, wenn du hunderte oder tausende Seiten scrapen willst. Du brauchst IP-Rotation. Proxy Poland erlaubt einen IP-Wechsel in unter 2 Sekunden per API-Aufruf.
Die Rotation funktioniert so: Dein Modem trennt die mobile Datenverbindung kurz und baut sie neu auf. Dabei erhält es vom Mobilfunkanbieter eine neue IP aus dem CGNAT-Pool. Für Websites sieht es aus, als würde ein anderer Nutzer anfragen.
Rotation in Selenium automatisieren
import requests
import time
from selenium import webdriver
ROTATION_URL = 'https://api.proxypoland.com/rotate?token=DEIN_TOKEN&port=8080'
def rotate_ip():
response = requests.get(ROTATION_URL)
time.sleep(2) # Warte auf neue IP
return response.json()
urls_to_scrape = ['https://example.com/page1', 'https://example.com/page2']
driver = webdriver.Chrome(options=options)
for i, url in enumerate(urls_to_scrape):
if i % 10 == 0 and i != 0: # Alle 10 Anfragen IP wechseln
rotate_ip()
driver.get(url)
# Deine Scraping-Logik hier
Die Rotation alle 10 Anfragen ist ein guter Ausgangspunkt. Für aggressivere Anti-Bot-Systeme wie die von Nike SNKRS oder Ticketmaster solltest du die Rotation nach jeder Session oder sogar nach jeder Anfrage einsetzen. Über 50.000 IP-Rotationen pro Tag laufen auf unserer Modem-Farm, also sind auch intensive Workloads kein Problem.
Teste deine Verbindungsgeschwindigkeit nach der Rotation mit dem Proxy Speed Test, um sicherzustellen, dass die neue IP performant ist.
Browser-Fingerprint in Selenium anpassen
Ein guter Proxy löst nur die IP-Erkennung. Aber moderne Anti-Bot-Systeme prüfen auch den Browser-Fingerprint. Selenium-Instanzen haben erkennbare Eigenschaften, die sie von echten Browsern unterscheiden.
- navigator.webdriver: Standardmäßig auf
truegesetzt in Selenium. Jedes Anti-Bot-System prüft diesen Wert als erstes. - User-Agent: Selenium nutzt manchmal veraltete oder ungewöhnliche User-Agent-Strings.
- Fehlende APIs: Headless-Browser fehlen oft WebGL, Canvas oder Audio-Fingerprint-Daten.
- HTTP-Header-Reihenfolge: Selenium-Browser senden Header in einer anderen Reihenfolge als echte Browser.
Das Minimum, das du tun solltest:
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', False)
Für ernsthafte Projekte schau dir undetected-chromedriver an. Diese Library patcht ChromeDriver so, dass er sich wie ein regulärer Chrome verhält. In Kombination mit einem mobilen 4G Proxy von Proxy Poland hast du dann sowohl eine saubere IP als auch einen nicht erkennbaren Browser. Analysiere deine gesendeten Header mit dem HTTP-Header-Tool.
Key takeaway: Proxy plus Fingerprint-Maskierung ist das Minimum für Scraping auf Websites mit echtem Anti-Bot-Schutz. Eines ohne das andere reicht nicht aus.
Häufige Fehler beim Proxy Setup und wie du sie behebst
In der Praxis scheitern Selenium-Proxys meistens an denselben Problemen. Hier sind die häufigsten, mit direkten Lösungen.
Fehler 1: Proxy wird ignoriert
Chrome ignoriert manchmal den Proxy-Parameter, wenn eine System-Proxy-Einstellung aktiv ist. Lösung: options.add_argument('--no-proxy-server') zuerst hinzufügen, dann den Proxy-Argument einfügen. Bei headless Chrome auch --disable-extensions setzen.
Fehler 2: SSL-Zertifikatsfehler
HTTPS-Seiten können Zertifikatsfehler werfen, wenn der Proxy den Traffic entschlüsselt. Lösung: options.add_argument('--ignore-certificate-errors') für Chrome oder options.accept_insecure_certs = True für Firefox.
Fehler 3: Timeout nach IP-Rotation
Nach dem API-Aufruf zur Rotation braucht das Modem 1-3 Sekunden, bis die neue IP aktiv ist. Wenn Selenium zu früh eine Anfrage schickt, kommt ein Timeout. Lösung: immer time.sleep(3) nach dem Rotations-API-Aufruf einbauen.
Fehler 4: DNS-Leak trotz Proxy
Wenn DNS-Anfragen lokal aufgelöst werden, sieht die Zielwebsite deinen echten DNS-Server. Bei Chrome: --host-resolver-rules setzen. Bei Firefox: network.proxy.socks_remote_dns = True. Dann DNS-Leak-Test durchführen.
- Prüfe nach jeder Konfigurationsänderung die aktive IP
- Logge HTTP-Statuscodes mit, um Blockaden früh zu erkennen
- Setze realistische Delays zwischen Anfragen (1-3 Sekunden Minimum)
- Rotiere nicht nur die IP, sondern auch den User-Agent
Fazit und nächste Schritte
Ein sauberer proxy setup Selenium besteht aus drei Teilen: einem mobilen 4G Proxy mit echter IP, korrekter Browser-Konfiguration ohne Automation-Signale, und automatischer IP-Rotation für skalierbare Runs. Datacenter-Proxys lösen das Problem nur halb, weil ihre IP-Ranges bekannt sind. Mobile IPs aus echten Modems haben einen Trust Score, den kein Datacenter-Anbieter replizieren kann.
Proxy Poland bietet genau das: physische LTE-Modems in Polen, unlimitierte Bandbreite und IP-Rotation in unter 2 Sekunden. Ob du Amazon-Preise überwachst, Google-SERPs analysierst oder Social-Media-Daten sammelst, die Kombination aus mobilem 4G Proxy und korrekt konfiguriertem Selenium gibt dir die Infrastruktur, die du brauchst.
Starte mit dem kostenlosen 1-Stunden-Trial, keine Kreditkarte nötig, und teste die Konfiguration selbst. Dann entscheide, welcher Plan zu deinem Scraping-Volumen passt. Alle Proxy-Pläne und Preise findest du hier.