IP模擬器
分布式爬蟲需要優(yōu)化代理IP的收集，因為技術(shù)人員在使用分布式爬蟲或者多進(jìn)程爬蟲時，一旦目標(biāo)受限，很可能會使用代理IP，所以代理IP的搜索還是需要注意的。
爬網(wǎng)程序使用的代理IP不能是開放的，并且您必須找到一個高隱私性的代理IP。
動態(tài)IP-企業(yè)級穩(wěn)定高隱藏代理IP
動態(tài)IP——企業(yè)級穩(wěn)定、高速、高隱藏代理IP，千萬級IP導(dǎo)出池，爬蟲最佳選擇。
我們?nèi)绾蝺?yōu)化使用代理IP進(jìn)行數(shù)據(jù)收集？下面小編就提供一些思路。一般來說，有幾種方法:
分布式爬蟲需要代理IP來優(yōu)化收集。
建議:【方案一】先導(dǎo)入數(shù)據(jù)庫，從數(shù)據(jù)庫中獲取IP。一般邏輯如下:
第一步:在數(shù)據(jù)庫中建表，寫導(dǎo)入腳本，每分鐘請求API 60次，將IP列表導(dǎo)入數(shù)據(jù)庫(界面返回實時可用，不斷變化的IP會被實時檢測到。你們的檢查肯定沒有我們實時。如果界面中有一個，但數(shù)據(jù)庫中有一個，則刪除它或?qū)⑵錁?biāo)記為不可用，否則插入它或更新它。)。
第二步:必須是每分鐘60個請求，而不是每分鐘3或5個請求。你知道為什么嗎？例如，IP的有效期為18:00:01開始的60秒。18:00:00點請求就拿不到了。18:00:20接的時候，它只剩下40秒了，也就是可能少了20秒。
步驟3:在數(shù)據(jù)庫中記錄導(dǎo)入時間、IP、端口、到期時間以及當(dāng)前有多少進(jìn)程正在使用該IP的字段IP可用狀態(tài)；
第四步:寫一個抓取腳本。抓取腳本從數(shù)據(jù)庫中讀取可用的IP。每個進(jìn)程從數(shù)據(jù)庫中獲得一個IP，以及一個具有可用狀態(tài)和少量進(jìn)程的IP。當(dāng)然，你也可以控制每個進(jìn)程只使用一個IP。如果沒有合格的IP，循環(huán)睡眠1秒，等待新的IP出現(xiàn)。
第五步:執(zhí)行抓取，判斷結(jié)果，處理cookie等。，只要有驗證碼或者失敗，就放棄這個IP(在數(shù)據(jù)庫中標(biāo)記為不可用或者直接刪除，如果標(biāo)記為不可用，如果目標(biāo)站只封了1個小時，在接口中返回這個IP可以在1個小時后標(biāo)記為可用)，換成另一個IP。
動態(tài)IPIP動態(tài)轉(zhuǎn)發(fā)支持免取呼叫。
方法一:使用動態(tài)IPIP，統(tǒng)一入口，支持無抽取和調(diào)用，設(shè)置白名單后即可使用。您可以為每個請求隨機使用一個IP出口，或者為多個請求使用同一個IP出口。
答:proxy.hemaip.com:8000每次隨機有一個出口IP。
通道B: proxy.hemaip.com: 8001 ~ 8020這20個端口，每個請求都會固定一個出口ip，IP有效期1-5分鐘。如果想知道請求前的出口IP和剩余可用時間，可以通過這個接口獲取。
通道A的調(diào)用方式和通道B完全一樣，不需要做任何額外的修改，只需要在程序中控制請求的端口號即可(比如你用的是通道B的8001端口，現(xiàn)在你想換一個IP作為出口，只需要換8002，不需要給我們發(fā)換IP的命令)。超級方便，智能IP會自動切換到后端。
以下是比較麻煩的方式，一般不推薦。
【方案二】每個進(jìn)程從接口API中隨機選擇一個IP列表進(jìn)行回收。如果失敗，那么調(diào)用API來獲取它。一般邏輯如下:
Step1:每個進(jìn)程(或線程)從接口隨機檢索一批IP，循環(huán)嘗試IP列表抓取數(shù)據(jù)；
第二步:如果參觀成功，繼續(xù)趕下一趟。
第三步:如果失敗(比如超時，驗證碼等。)，從界面隨機取另一個IP，不斷嘗試。
第二種是最錯誤和最低效的方法，原因如下:
我們知道每個IP都有到期日。例如，當(dāng)您檢索列表時，列表中的第一個IP的到期日期為100秒，第二個IP的到期日期為80秒，第三個IP的到期日期為110秒，第四個IP的到期日期為50秒。比如你嘗試第一個IP的時候，已經(jīng)成功使用了50秒，然后就被屏蔽了。是時候換IP了。繼續(xù)嘗試第二個IP。此時，第二個有效期還剩30秒。第四。如果在進(jìn)行HTTP請求時，將連接時間超時設(shè)置為3秒，讀取時間超時設(shè)置為5秒，那么很可能會浪費3-8秒，這可能足夠抓取幾十次。
該方案可以運行，但邊肖并不特別推薦給大家使用。
【方案三】每個進(jìn)程從接口API中隨機選擇一個IP使用。如果失敗，它將調(diào)用API來獲取它。一般邏輯如下:
步驟1:每個進(jìn)程(或線程)從接口中隨機獲取一個IP，并使用這個IP訪問資源。
第二步:如果參觀成功，繼續(xù)趕下一趟。
第三步:如果失敗(如超時、驗證碼等。)，從界面隨機取另一個IP，不斷嘗試。
方案的缺點:
A.壓力和效率:API調(diào)用非常頻繁，會對智能IP的接口造成壓力。另外，打電話的時候會耗費時間，比如每次100ms，浪費時間。目前壓力不錯。我們的API直接用Nginx讀取Redis，接口性能沒問題。
B.資源競爭:比如你同時隨機選擇15個進(jìn)程。例如，我們同時有30個可用的IP池。因為我們隨機選擇一個，所以我們不能保證兩個或更多的進(jìn)程不會獲得相同的IP。這樣一來，如果頻率高，對方可能會屏蔽這個IP。您可以調(diào)用接口的重復(fù)數(shù)據(jù)刪除功能。
c，遇到被屏蔽的IP不能告訴API，下次也不會被返回被屏蔽的IP。目前API去重只能保證每天不重復(fù)。第二天有可能重復(fù)，因為有些IP當(dāng)天就被屏蔽了，第二天可能就可以用了。這些閾值最好由用戶自己控制。
所以，盡量制定每個進(jìn)程(或線程)盡可能使用一個IP的策略，不要多個進(jìn)程使用一個IP。
以上描述了分布式爬蟲需要代理IP優(yōu)化集合，也提供了幾個優(yōu)化思路，僅供大家參考。
