使用手机代理进行网络爬取

网站限制每个 IP 的请求数以防止自动数据采集 —— 通常在 10-100 个请求/小时后触发封锁或 CAPTCHA。轮换手机代理将请求分散到干净的运营商 IP 上，使您每小时可以爬取数千页面。没有代理，您的服务器 IP 会在几分钟内在任何严肃目标上被永久列入黑名单。

手机代理是爬取 Google 最可靠的选择。Google 的反爬虫系统（reCAPTCHA、速率限制）被校准为容忍来自手机运营商 IP 的流量，因为数十亿 Android 用户从相同网络访问 Google。数据中心 IP 几乎立即被封锁；住宅 IP 有效但比手机 IP 更快被标记。

使用 scrapy-rotating-proxies 中间件。从 Proxy Poland 控制台配置您的代理列表，然后将凭据作为 http://user:pass@host:port 传递。在 settings.py 中设置 ROTATING_PROXY_LIST，或实现具有失败请求重试逻辑的自定义下载器中间件。

与数据中心 IP 相比，手机代理显著提高了 Cloudflare 绕过率。Cloudflare 的机器人评分主要依赖 IP 声誉 —— 手机运营商 IP 评分 0-5（最低风险），而数据中心 IP 评分 90-100（已标记）。结合通过 Playwright 隐身插件的适当浏览器指纹，手机代理可绕过大多数 Cloudflare 保护。

通过 IP 轮换，实际上是无限的。不轮换（持久 IP），请遵守目标网站的速率限制 —— 通常每小时 60-300 个请求后触发封锁。对于激进爬取，每 20-50 个请求轮换一次 IP。一个 Proxy Poland 调制解调器在结合智能轮换时支持每天数千次页面获取。

手机代理在 Amazon 上的表现优于住宅代理。Amazon 的产品页面、定价和 Buy Box 数据受到严密保护，并根据 IP 类型返回不同响应。手机 IP 接收与真实购物者相同的页面 —— 包括数据中心 IP 永远看不到的实时定价、库存和促销信息。

每次轮换IP时，配套使用同设备类别的全新可信User-Agent——如果轮换到波兰mobile IP，就使用Android Chrome UA，而非桌面Safari UA。UA不匹配会增加设备指纹风险，即使IP是干净的。维护一个真实UA列表（50-100条最近版本的移动和桌面UA），每次IP轮换时随机选取。同步更新Accept-Language头，例如使用mobile proxy时设为pl-PL,pl;q=0.9,en;q=0.8。

一个专用mobile proxy可轻松处理大多数目标的5-15个并发请求，以及每分钟50-200个请求。对于受保护的目标（Cloudflare Bot Fight Mode），最好降至每分钟30个请求或以下。不要将mobile proxy当作高并发解决方案——它的价值在于低封锁率，而非吞吐量。对高吞吐量工作负载，购买多个代理并在工作节点间分配，而非在单个代理上堆叠并发。

对于mobile proxy，跳过代理链——它会增加200-400毫秒延迟，使故障点翻倍，而第二跳通常是数据中心IP，会消除mobile ASN的优势。直接通过您的Polish 4G mobile proxy轮换：调用轮换API（每分钟最多1次），通过同一端点继续爬取，获得新的carrier IP。仅在明确的匿名性需求下才考虑链接（移动proxy加另一层），即使这样也要接受延迟代价。

可以——代理是协议无关的，来自headless Chrome的HTTP(S)流量与curl完全相同地通过代理路由。Playwright通过browser.newContext({proxy: {...}})原生支持带身份验证的代理；Puppeteer需要proxy-chain库来处理用户名/密码认证（见Node.js集成指南）。对于Cloudflare-protected目标，结合使用playwright-extra和stealth-plugin，这两者与mobile proxy完全兼容。

吞吐量相同——两种协议都在TCP之上增加了薄薄的帧层。当您需要隧道传输非HTTP流量（DNS、QUIC、WebSocket原始连接）或使用需要UDP ASSOCIATE的工具时，SOCKS5更胜一筹。对于标准HTTP/HTTPS爬取，两者性能相当，选择哪个取决于您客户端库的支持情况。Python requests使用http://方案支持SOCKS5（需要pysocks），aiohttp需要aiohttp-socks插件。

首先降低触发率：真实的Polish mobile IP在消费者网站上很少遇到CAPTCHA，因为ASN评分低。如果CAPTCHA仍然出现：（1）确保浏览器指纹与IP匹配（移动UA加Warsaw时区加波兰语locale）；（2）降低每分钟请求速率至30以下；（3）如果CAPTCHA持续出现，集成2Captcha、Anti-Captcha或CapSolver——Polish mobile IP通常将reCAPTCHA v3评分保持在0.7以上，使求解服务的解决速度更快、成本更低。