IP模擬器
運行爬蟲的高級策略是使用ip代理！最近，一位用戶報告說，當使用我們的代理ip服務時，數據突然不返回.....我們的IP模擬器代理有問題嗎？
我問他具體錯誤信息是什么，他說就是回不了數據。我問了他訪問的具體網站后，用瀏覽器設置代理IP訪問測試是正常的。我告訴他后，他說，但是我的程序沒有返回數據。
我告訴他瀏覽器設置代理訪問網站是正常的，說明IP沒有問題，程序代碼無法返回數據。可能是目標網站的反爬蟲策略升級了，需要調整爬蟲策略，比如并發、訪問頻率、UA等等。他說:政策只能是代理IP。如果代理IP失敗了，再談其他政策也沒用。
這句話對嗎？是真的嗎？我告訴他，策略不只是代理IP，還有其他因素，比如訪問次數，訪問頻率，UA，cookies之類的(不限于此)。而不是使用代理IP，可以高枕無憂，無視目標網站的反抓取策略，肆意抓取，為所欲為。其實不能。代理IP只是一個輔助工具，主要作用是讓爬蟲持續穩定的工作。單個代理IP也要遵守反爬蟲策略，不能頻繁訪問網站。如果觸發了反爬蟲策略，就會被限制，不會返回數據或錯誤數據。
有人會說，這樣的代理IP有什么用？的確，單個代理IP用處不大，但是大量代理IP就很有用了。比如目標網站限制一個IP在24小時內不能訪問網站超過1000次，最快訪問頻率10秒。那么，代理IP的使用也要遵守目標網站制定的這個規則。如果訪問頻率超過1000次或少于10秒，代理IP也會受到限制。
我該怎么辦？正確的做法是使用代理IP訪問目標網站999次(理想情況下次數越少可能越好)，切換到下一個代理IP，這樣可以避免IP限制；或者同時使用多個代理IP，這樣一般來說可以實現10秒以內的訪問頻率，不受IP限制，在遵循目標網站規則的同時，不影響爬蟲的工作效率。
當然，代理IP不行，談其他策略也沒用。這后半句是對的。工欲善其事，必先利其器。工具不好，就不能好。所以當出現問題時，首先要確定是代理IP的問題還是政策的問題，然后再解決問題。如果瀏覽器設置代理無法正常訪問網站，很可能是代理IP的問題，需要聯系服務商幫忙解決。如果瀏覽器設置代理可以正常訪問網站，那么代理IP沒有被限制，很可能是政策問題，需要調整政策。
