IP模擬器
解決http爬蟲被封為代理ip的七種方法！之前有個鄰居家的孩子想上學。因為沒考上重點，成績也不算太低，他打算去一個好點的私立高中。家長不知道哪所學校的口碑和往年的成績會更好。于是，他找我一個做數據的朋友分析數據，于是也學到了一些經驗。
1.方法。
無論你想收藏什么樣的網站，http代理ip都是必須的，但是需要注意的是一定要用國內的代理ip，可以直接從ip在線代理地址購買。但是一定要靠譜。這樣做的優點是:
第一，程序邏輯變化小，只需要代理函數。
第二，可以根據對方網站不同的屏蔽規則購買不同的ip代理。
第三，假設你目前使用的代理ip被對方網站屏蔽，你可以在不改變程序邏輯的情況下更改IP。
2.方法。
少數網站防范措施薄弱。你可以偽裝從代理IP服務提供商那里買的IP，修改X-Forwarded-for，可以繞過。
大部分網站，如果要經常抓取，通常需要更多的IP。我的首選方案是直接購買飛蟻動態轉發的HTTP代理ip。
3.方法。
ADSL+腳本，監控是否被屏蔽，然后連續切換ip。
設置查詢頻率限制
正統的方式是調用這個網站提供的服務接口。
4.方法。
1用戶代理偽裝和輪換
2使用代理ip和輪換
3 cookies處理，有些網站對登錄用戶的政策比較寬松。
友情提示:考慮爬蟲在別人網站的負擔，做一個負責任的爬蟲？？
5.方法。
盡可能模擬用戶行為:
1.用戶代理經常改變；
2.設置較長的訪問時間間隔，并將訪問時間設置為隨機數；
3.訪問頁面的順序也可以是隨機的。
6.方法。
網站關閉的依據一般是單位時間內特定IP的訪問量。
我把收集的任務按照目標站點的IP分組，通過控制每個IP單位時間發送的任務數量來避免被阻塞。當然這個前提是你收集了很多網站。如果只收藏一個網站，只能靠多個外部IP來實現。
7.方法。
1.爬行動物爬行的壓力控制；
2.考慮使用代理來訪問目標站點。
總結:
-減少抓取動態ip地址的替換頻率，設置時間更長，訪問時間使用隨機數。
-頻繁切換用戶代理(模擬瀏覽器訪問)
-多頁數據，隨機訪問然后抓取數據。
-不斷更換代理IP
