有時候爬蟲會遇到ip被禁的情況，這時候可以找代理網站，抓取ip，做動態輪詢。也可以使用別人做的第三方ip代理平臺，比如Crawler，就是利用代理IP地址池做分布式下載的第三方平臺，除了scrapy、普通java、php、python等。

 

動態IP模擬器

 

現在我們可以總結所有步驟:

 

1.使用爬蟲腳本每天定時抓取代理網站上的免費ip，或者購買一定量的ip，寫入MongoDB或其他數據庫。此表用作原始表。

2.在使用它之前，你需要做一個步驟測試，即測試ip是否有效。方法是用curl訪問網站檢查返回值，需要新建一個表，循環讀取原表并在有效時插入，驗證后從原表中刪除。在驗證的同時，您可以使用響應時間來計算ip的質量和最大使用次數，有一種算法可以參考基于連接代理優化管理的多線程網絡爬蟲處理方法。

 

3.將有效ip寫入IP模擬器代理的配置文件，并重新加載配置文件。

 

4.讓爬蟲程序去指定的服務ip和端口并抓取它。