IP模擬器
采集數(shù)據(jù)必須有爬蟲IP代理！由于之前公司項(xiàng)目的需要，我們收集了地圖數(shù)據(jù)和一些大型網(wǎng)站數(shù)據(jù)。
經(jīng)驗(yàn)如下:
1.必須要代理IP，非常正確，ADSL。有條件的話，其實(shí)可以跟機(jī)房申請外部IP。
2.在具有外部IP的機(jī)器上部署代理服務(wù)器。
3.你的程序，用輪訓(xùn)代替代理服務(wù)器訪問你要收藏的網(wǎng)站。
好處:
1.程序邏輯變化小，只需要代理函數(shù)。
2.根據(jù)對方網(wǎng)站不同的屏蔽規(guī)則，你只需要多加幾個(gè)代理就可以了。
3.如果特定IP被屏蔽，使用代理服務(wù)器注銷是可以的，不需要改變程序邏輯。
一開始想通過proxy買一些代理IP，比如免費(fèi)的Elf http proxy，它提供了很多國內(nèi)的代理IP服務(wù)器地址，可以從這里搶http代理。后來用了ADSL。缺點(diǎn)是斷網(wǎng)再撥。在斷開過程中，爬蟲空載運(yùn)行。如果對實(shí)時(shí)數(shù)據(jù)有特殊要求，需要做好方案規(guī)劃。
ADSL的另一個(gè)缺點(diǎn)是服務(wù)器廠商好像都是小作坊，不穩(wěn)定。找一個(gè)長期穩(wěn)定的伴侶也很重要。平均每2秒訪問一次，也就是被屏蔽的代理服務(wù)器的IP地址。所以要減緩爬行速度，但受限于總量和時(shí)間。這里有個(gè)問題:如果我平均訪問2秒多一點(diǎn)，我就永遠(yuǎn)不會被屏蔽了嗎？你知道對方網(wǎng)站所有的屏蔽策略嗎？
根據(jù)現(xiàn)有條件，假設(shè)阻塞條件一定，每秒30分鐘10000頁的平均量是5.56次。如果沒有排班，用戶可以設(shè)置至少6行來完成抓拍(更正一下，應(yīng)該是至少12行，比較著急，算錯(cuò)了。
最終的解決方案是拉幾條電信ADSL線代理IP。光纖和電話線都可以。撥號可以用CMD。用了1000多年，10M光纖，4M電話線。自己買幾臺機(jī)器放著就行了。
