IP模擬器
網絡爬蟲沒有代理IP真的不可能嗎？ 有朋友問：爬蟲一定要使用代理IP嗎？ 很多人認為爬蟲必須使用代理IP，沒有代理IP就很難做到。 其他人說不需要代理IP。 那么他們這樣認為的原因是什么呢？
朋友說他用機車收集器收集了一些文章，然后篩選出符合他要求的進行處理。 他從未使用過代理IP。 每天收集約10,000件。 他認為沒有可以正確抓取的代理IP。
朋友說自己寫了爬蟲程序。 該公司的任務是每天抓取數十萬頁。 有時，當任務很多時，一天要花費數百萬。 爬了又爬，IP被封了。 沒有代理IP一點都不好，他認為沒有代理IP爬蟲很難做到。
顯然，他們說的很有道理，而且他們用親身經歷證明了自己的觀點。 實際上，爬蟲本質上就是訪問網頁的用戶。 只是一個不那么聽話的特殊用戶而已。 服務器一般不歡迎這樣的特殊用戶，總是用各種手段去發(fā)現和禁止。 最常見的就是判斷你的訪問頻率，因為普通人訪問網頁的頻率不會很快，如果你發(fā)現某個IP訪問太快，這個IP就會被屏蔽。
任務量不是很大的時候，像第一個朋友，可以慢慢爬，但是頻率不是很快。 從目標服務器來看，在不影響正常運行的情況下是可以容忍的。 可以屏蔽IP，所以他可以在沒有代理IP的情況下完成日常任務。
當任務量比較大的時候，比如第二個朋友，一天有幾十億的數據，慢慢爬就完成不了任務。 如果你加快爬升，目標服務器將承受太大的壓力。 IP將被封鎖，任務也將無法完成。 那怎么辦呢，只能用代理IP來解決問題了。
比如一個IP在短時間內被訪問100次，目標服務器就會認為訪問速度過快，導致IP被阻塞。 如果10個代理IP在短時間內訪問10次，不會被認為是過早屏蔽。 當工作量巨大時，使用代理IP往往可以事半功倍，這也是為什么人們認為沒有代理IP就沒有網絡爬蟲的原因。
