IP模擬器
網絡爬蟲需要爬蟲代理IP嗎？有爬蟲工作者說爬蟲用代理IP比較好，也有人說不用代理IP也可以。那么他們這么說的理由是什么呢？
有網友說他用的機車收集器是用來收集一些文章，然后篩選出符合自己要求的進行加工。他從來不用代理IP，一天收一萬篇左右。他認為沒有代理IP。
有朋友說自己寫爬蟲程序，公司的任務是一天爬幾十萬個頁面。有時候任務多的時候，一天就要幾百萬。抓取ip時會被屏蔽。沒有代理IP，是不可能的。他認為，沒有代理IP爬蟲，就很難移動。
他們都用自己的親身經歷驗證了自己的觀點。實際上，爬蟲本質上是訪問網頁的用戶，但它只是一個沒有那么自律的特殊用戶。一般服務器是不歡迎這種特殊用戶的，總會被各種手段找到并封殺。
最常見的就是判斷你的訪問頻率，因為普通人訪問網頁的頻率并不是很快。如果發現某個ip訪問速度過快，就會封禁。
任務量不是很大的時候，也就是像第一個朋友那樣，可以慢慢爬，頻率不是很快。在目標服務器看來，是可以忍受的，而且不影響正常運行，這樣IP就不會被屏蔽，所以他不用代理IP就可以完成每天的任務量。
任務量比較大的時候，比如第二個朋友，一天幾十萬上百萬的數據，你慢慢爬是完不成任務的。如果加快爬升，目標服務器壓力太大，IP被封，無法完成任務。我能怎么做呢？只靠代理IP解決。
比如一個IP短時間內被訪問100次，就會被目標服務器認為速度太快，導致IP被屏蔽。但如果10個代理IP短時間內被訪問10次，就不會被認為太快而屏蔽。當任務龐大時，使用IP模擬器代理IP往往能事半功倍，這也是為什么有人認為沒有代理IP就沒有網絡爬蟲。
