Wenn du Websites im großen Stil scrapen willst und immer wieder nach 50 bis 100 Anfragen blockiert wirst, liegt das Problem oft nicht an deinem Code. Die proxy pool size beim Scraping ist einer der am häufigsten unterschätzten Faktoren, der über Erfolg oder Misserfolg deines gesamten Projekts entscheidet. Eine zu kleine Pool-Größe bedeutet: Anfragen häufen sich auf denselben IPs, Websites erkennen das Muster, und du fliegst raus. In diesem Guide lernst du, was Proxy-Pool-Größe genau bedeutet, wie du den richtigen Pool für dein Projekt berechnest, warum mobile 4G-Proxys andere Regeln spielen als Datacenter-IPs, und welche Konfiguration für häufige Scraping-Szenarien am besten funktioniert.
Was bedeutet Proxy Pool Size beim Scraping
Der Begriff "Proxy Pool" beschreibt die Gesamtanzahl an einzigartigen IP-Adressen, die dir für dein Scraping-Projekt zur Verfügung stehen. Die Pool-Größe ist schlicht die Anzahl dieser IPs. Klingt simpel, ist es aber nicht, weil die relevante Kennzahl nicht die Rohanzahl ist, sondern die Anzahl nutzbarer IPs im Verhältnis zu deinem Anfragevolumen.
Stell dir vor, du hast 100 Proxys im Pool und sendest 10.000 Anfragen pro Stunde. Das ergibt 100 Anfragen pro IP und Stunde, also knapp zwei Anfragen pro Minute pro IP. Ob das reicht, hängt vollständig vom Ziel ab. Bei einer News-Aggregation reicht das locker. Bei Amazon oder Google wird dich das innerhalb von Minuten in einen Captcha-Loop schicken.
Die drei Kernelemente eines Proxy-Pools
- Pool-Größe: Gesamtanzahl einzigartiger IPs
- Pool-Qualität: Sauberkeit der IPs (nicht geblockt, nicht als Proxy erkannt)
- Rotationsgeschwindigkeit: Wie schnell eine genutzte IP durch eine frische ersetzt wird
Alle drei Faktoren interagieren miteinander. Ein Pool mit 10.000 schmutzigen Datacenter-IPs kann schlechter performen als ein Pool mit 20 frischen mobilen 4G-IPs, die sich alle zwei Sekunden rotieren. Das ist keine Theorie, das ist Praxis aus realen Scraping-Setups.
Key takeaway: Pool-Größe allein sagt nichts aus. Die Kennzahl, die zählt, ist Anfragen pro IP pro Zeiteinheit, kombiniert mit der Qualität der IPs.
Warum kleine Proxy-Pools so gefährlich sind
Ein zu kleiner Proxy-Pool ist nicht nur ineffizient, er kann aktiv schaden. Websites, besonders große E-Commerce-Plattformen wie Allegro, Zalando oder Amazon, protokollieren Anfragemuster. Wenn sie bemerken, dass eine bestimmte IP oder eine kleine Gruppe von IPs ungewöhnlich viele strukturell ähnliche Anfragen stellt, greifen Sperrmechanismen. Und die werden immer aggressiver.
Typische Sperrmuster bei zu kleinen Pools
- Rate-Limiting: Die Website drosselt die Antwortgeschwindigkeit für bekannte IPs
- Captcha-Walls: Jede Anfrage bekommt ein Captcha vorgeschaltet
- Hard Block: Die IP wird komplett gesperrt, oft für 24–72 Stunden
- Fingerprint-Tracking: Nicht nur die IP, auch HTTP-Header-Muster werden geloggt
Das Tückische: Viele Scraper merken das Problem erst Stunden zu spät. Der Scraper läuft scheinbar weiter, liefert aber nur Fehlerseiten oder leere Responses. Du kannst mit dem HTTP-Header-Analysetool prüfen, ob deine Anfragen die erwarteten Header-Antworten liefern oder ob du bereits in einer Sperr-Loop steckst.
Ein reales Beispiel: Bei einem Preismonitoring-Projekt für 50.000 Produktseiten auf einem großen deutschen Retailer hat ein Pool von 30 Datacenter-IPs nach etwa 90 Minuten zu flächendeckenden 403-Fehlern geführt. Derselbe Job mit einem rotierenden Mobile-Pool lief ohne einen einzigen Block durch. Die Größe des Pools war dabei sekundär, die IP-Qualität war der entscheidende Unterschied.
Key takeaway: Zu kleine Pools verbrennen IPs schneller, als du sie ersetzen kannst, und können ganze Projekte zum Stillstand bringen.
Wie du die richtige Pool-Größe berechnest
Es gibt keine universelle Antwort, aber es gibt eine Formel, die als Ausgangspunkt funktioniert. Die Grundregel lautet: Pro 100 Anfragen pro Stunde an eine sensible Website brauchst du mindestens 10 verschiedene IPs. Das ergibt eine maximale Last von 10 Anfragen pro IP pro Stunde, also eine Anfrage alle sechs Minuten pro IP. Das ist für die meisten Anti-Bot-Systeme unauffällig.
Formel für die minimale Pool-Größe
Minimale Pool-Größe = (Anfragen pro Stunde / Schwellenwert der Zielseite) × Sicherheitsfaktor 1,5
- Anfragen pro Stunde: dein geplantes Volumen
- Schwellenwert: für Google ca. 5–10 Anfragen/IP/Stunde, für einfachere Seiten 50–100
- Sicherheitsfaktor: kompensiert für bereits gesperrte IPs im Pool
Beispielrechnung: Du willst 2.000 Anfragen pro Stunde an eine E-Commerce-Plattform mit einem Schwellenwert von 20 Anfragen/IP/Stunde senden. Das ergibt 100 benötigte IPs, multipliziert mit dem Sicherheitsfaktor 1,5 also 150 IPs im Pool.
Bei rotierenden Mobile-Proxys mit automatischer IP-Rotation alle 2 Sekunden ändert sich die Rechnung erheblich. Weil jede Anfrage potenziell eine neue IP bekommt, sinkt die effektive Last pro IP drastisch. Mit einem einzigen rotierenden Mobile-Port kannst du unter Umständen 1.000 Anfragen pro Stunde abwickeln, ohne eine IP zweimal zu belasten, wenn die Rotation schnell genug ist.
Du kannst die tatsächliche Performance deines Setups mit dem Proxy Speed Test messen, bevor du in den Vollbetrieb gehst.
Mobile 4G-Proxys vs. Datacenter-Proxys im Pool-Vergleich
Die Wahl des IP-Typs beeinflusst, wie groß dein Pool sein muss, fundamental. Das ist der Kernunterschied, den viele Scraper erst nach teuren Fehlern verstehen.
Datacenter-Proxys im Pool
Datacenter-IPs stammen aus kommerziellen Rechenzentren. Websites wissen das. Tools wie Cloudflare, Akamai und Distil Networks haben umfangreiche Datenbanken mit bekannten Datacenter-IP-Ranges. Die Folge: Selbst eine frische, nie benutzte Datacenter-IP hat eine messbare Sperrwahrscheinlichkeit allein aufgrund ihrer Herkunft. Du brauchst also einen sehr großen Pool, um genug "durchgehende" IPs zu haben. Pools von 10.000 bis 100.000 IPs sind bei Datacenter-Proxys für professionelle Scraping-Projekte keine Seltenheit.
Mobile 4G-Proxys im Pool
Mobile IPs stammen von echten SIM-Karten in echten Modems. Sie teilen sich denselben CGNAT-Adressraum wie Millionen normaler Smartphone-Nutzer. Eine Website, die eine mobile IP sperrt, riskiert, legitime Nutzer auszusperren. Das macht Anti-Bot-Systeme viel zurückhaltender bei mobilen IPs. In der Praxis bedeutet das: Du brauchst einen deutlich kleineren Pool, um dasselbe Anfragevolumen ohne Sperren abzuwickeln.
Vergleichstabelle für ein Projekt mit 5.000 Anfragen/Stunde an eine sensible E-Commerce-Seite:
- Datacenter-Proxys: Pool-Größe 500–1.000 IPs, hohe Sperrrate möglich
- Residential Proxys: Pool-Größe 200–500 IPs, moderate Sperrrate
- Mobile 4G-Proxys mit Rotation: Pool-Größe 5–20 Ports, sehr niedrige Sperrrate
Key takeaway: Mobile 4G-Proxys kompensieren eine kleine Pool-Größe durch hohe IP-Qualität und schnelle Rotation. Du brauchst weniger IPs, um mehr zu erreichen.
Rotation und Pool-Größe: Zwei Seiten derselben Medaille
Proxy-Rotation und Pool-Größe sind keine getrennten Konzepte. Sie wirken zusammen, und wenn du eines optimierst, ohne das andere zu berücksichtigen, verlierst du Effizienz.
Ein großer Pool ohne Rotation bringt wenig. Wenn du 500 IPs hast, aber dein Scraper immer dieselbe IP für eine Session verwendet, spielt die Pool-Größe keine Rolle, bis diese IP gesperrt wird. Dann springst du zur nächsten, und der Zyklus beginnt neu.
Andersherum: Eine schnelle Rotation mit einem kleinen Pool recycelt IPs zu schnell. Wenn dein Pool nur 10 IPs enthält und du alle 2 Sekunden rotierst, kommt jede IP nach 20 Sekunden wieder dran. Das erhöht die Anfragedichte pro IP statt sie zu senken.
Optimale Rotationsstrategien je nach Pool-Typ
- Großer Datacenter-Pool: Rotation per Request, also bei jeder Anfrage eine neue IP
- Mittlerer Residential-Pool: Rotation alle 5–10 Minuten oder nach Session-Ende
- Kleiner Mobile-Pool mit API-Rotation: Rotation alle 2 Sekunden bei Bedarf oder automatisch alle 10–30 Minuten
Bei Proxy Poland lässt sich die IP-Rotation per API-Call in 2 Sekunden auslösen. Das gibt dir volle Kontrolle darüber, wann genau du eine neue mobile IP bekommst. Das ist besonders nützlich, wenn du nach einer bestimmten Aktion (z.B. einem erfolgreichen Checkout oder einem Datensatz-Pull) die IP wechseln willst, ohne auf ein automatisches Intervall warten zu müssen. Du kannst im IP-Check-Tool direkt verifizieren, dass die Rotation tatsächlich eine neue, einzigartige IP liefert.
Proxy Pool Strategien für konkrete Scraping-Projekte
Theorie ist gut, konkrete Zahlen sind besser. Hier sind empfohlene Pool-Setups für vier häufige Scraping-Szenarien, basierend auf unserer Erfahrung mit produktiven Setups auf unserer Modem-Infrastruktur in Polen.
Szenario 1: Preismonitoring E-Commerce (Allegro, Amazon.pl)
- Volumen: 10.000–50.000 Produkt-URLs täglich
- Empfohlene Pool-Größe mit Mobile 4G: 3–5 Ports mit automatischer Rotation
- Rotation: alle 15 Minuten automatisch oder nach jeweils 200 Anfragen
- Protokoll: HTTP oder SOCKS5
Szenario 2: Google SERP Scraping für SEO
- Volumen: 500–2.000 Keywords täglich, mehrere Google-Domains
- Empfohlene Pool-Größe: 5–10 Mobile-Ports, da Google besonders aggressiv filtert
- Rotation: per Request oder alle 5 Minuten
- Tipp: Semrush und Ahrefs nutzen ähnliche Strategien für ihre eigenen Crawler
Szenario 3: Social Media Monitoring (Instagram, TikTok)
- Volumen: kontinuierliches Monitoring von 100–500 Profilen
- Empfohlene Pool-Größe: 2–3 Mobile-Ports mit festen Session-IPs
- Rotation: nur bei Bedarf, da feste IPs für Account-Aktionen besser sind
Szenario 4: Sneaker-Bots (Nike SNKRS, Footlocker)
- Volumen: hohe Frequenz in kurzen Zeitfenstern, oft unter 60 Minuten
- Empfohlene Pool-Größe: 10–20 Mobile-Ports, eine IP pro Task
- Rotation: keine automatische Rotation, manuelle Kontrolle über API-Calls
Key takeaway: Die optimale proxy pool size beim Scraping hängt immer vom konkreten Ziel ab. Mobile 4G-Proxys erlauben kleinere Pools bei besserer Performance, weil ihre IPs als legitime Mobilfunk-Nutzer erkannt werden.
Fazit: Pool-Größe ist wichtig, IP-Qualität ist entscheidend
Die proxy pool size beim Scraping ist ein kritischer Faktor, aber sie ist kein Selbstzweck. Ein riesiger Pool schmutziger IPs verliert gegen einen kleinen Pool frischer, hochwertiger mobiler IPs. Die wichtigsten Erkenntnisse aus diesem Guide: Berechne deine benötigte Pool-Größe anhand deines Anfragevolumens und des Schwellenwertes der Zielseite. Setze auf IP-Typen, die organischen Traffic simulieren, also mobile 4G-IPs statt Datacenter-Ranges. Und kombiniere Pool-Größe immer mit der richtigen Rotationsstrategie, denn eine ohne die andere ist verschwendetes Potenzial. Wenn du professionelles Scraping ohne ständige Blockaden betreiben willst, sind real betriebene LTE-Modems mit echten SIM-Karten der zuverlässigste Ausgangspunkt.
Starte noch heute mit einem kostenlosen 1-Stunden-Test, keine Kreditkarte nötig, und sieh selbst, wie mobile 4G-Proxys dein Scraping-Projekt verändern. Jetzt Proxy Poland Preise ansehen und Pool aufbauen.