ip代理其實(shí)就是一個(gè)代理服務(wù)器,代理服務(wù)器的工作機(jī)制和我們生活中經(jīng)常提到的agent非常相似。假設(shè)你的機(jī)器是A機(jī),你想要獲取的數(shù)據(jù)是B機(jī)提供的,代理服務(wù)器是C機(jī),那么具體的連接過(guò)程是這樣的。首先,機(jī)器A需要機(jī)器B的數(shù)據(jù),它與機(jī)器C建立連接,機(jī)器C收到機(jī)器A的數(shù)據(jù)請(qǐng)求后,與機(jī)器B建立連接,將機(jī)器A請(qǐng)求的機(jī)器B的數(shù)據(jù)下載到本地,然后將數(shù)據(jù)發(fā)送給機(jī)器A,完成代理任務(wù)。
為什么要使用代理?
我們?cè)谧雠老x(chóng)的過(guò)程中經(jīng)常會(huì)遇到這樣的情況。一開(kāi)始爬蟲(chóng)正常運(yùn)行,正常抓取數(shù)據(jù),一切看起來(lái)都那么美好。但喝杯茶的功夫可能會(huì)有失誤,比如403禁。此時(shí)打開(kāi)網(wǎng)頁(yè),可能會(huì)看到“您的IP訪問(wèn)頻率過(guò)高”的提示。造成這種現(xiàn)象的原因是網(wǎng)站采取了一些反爬蟲(chóng)的措施。比如服務(wù)器會(huì)檢測(cè)一個(gè)IP單位時(shí)間內(nèi)的請(qǐng)求次數(shù),如果超過(guò)這個(gè)閾值,就會(huì)直接拒絕服務(wù),返回一些錯(cuò)誤信息,這種情況可以稱為IP阻塞。
這時(shí)候,代理的作用就來(lái)了。你封了我的ip。在我使用代理之后,我使用代理ip請(qǐng)求數(shù)據(jù),并最終將數(shù)據(jù)返回給我。你沒(méi)事干,哈哈!!廢話少說(shuō),言歸正傳!
動(dòng)態(tài)代理,顧名思義,會(huì)換ip。是通過(guò)撥打vps實(shí)現(xiàn)的。
VPS服務(wù)器,即VPS(VirtualPrivateServer)技術(shù),將每臺(tái)服務(wù)器劃分為若干個(gè)虛擬專屬服務(wù)器,提供高質(zhì)量的服務(wù)。每個(gè)VPS可以分配獨(dú)立的公共IP地址、獨(dú)立的操作系統(tǒng)、獨(dú)立的大空間、獨(dú)立的內(nèi)存、獨(dú)立的CPU資源、獨(dú)立的執(zhí)行程序和獨(dú)立的系統(tǒng)配置等。用戶不僅可以分配多個(gè)虛擬主機(jī)和無(wú)限的企業(yè)郵箱,還具有獨(dú)立服務(wù)器的功能,可以自行安裝程序,獨(dú)立重啟服務(wù)器。通俗地說(shuō),VPS服務(wù)器就是虛擬專用服務(wù)器。用戶接觸不到物理機(jī)器,也不需要機(jī)器的物理硬件等設(shè)施來(lái)負(fù)責(zé)維護(hù)。
撥號(hào)服務(wù)器在vps服務(wù)器的基本原理上,增加了一個(gè)動(dòng)態(tài)換IP的功能,開(kāi)車時(shí)不定時(shí)換用戶,常用的功能如投票、刷單、批量注冊(cè)微博、批量注冊(cè)QQ等。所有你能想到的用IP的服務(wù)器,用這個(gè)功能搶手機(jī)搶票的人很多,你能想到的用IP賺錢的方式都應(yīng)該用。