數(shù)據(jù)采集爬蟲代理ip的基本原理,代理ip的基本原理:
IP代理實(shí)際上指的是一個(gè)代理服務(wù)器,英文稱之為代理服務(wù)器。它的功能是代表用戶在網(wǎng)絡(luò)上獲取網(wǎng)絡(luò)信息。形象地說,就是網(wǎng)絡(luò)信息的中轉(zhuǎn)站。當(dāng)我們通常請(qǐng)求一個(gè)網(wǎng)站時(shí),我們把請(qǐng)求發(fā)送給網(wǎng)站服務(wù)器,然后網(wǎng)站服務(wù)器把響應(yīng)發(fā)送回給我們。
如果您設(shè)置了一個(gè)代理IP服務(wù)器,它實(shí)際上是您的本地電腦和服務(wù)器之間的橋梁。此時(shí),本地計(jì)算機(jī)不會(huì)直接向Web服務(wù)器發(fā)送請(qǐng)求,而是向代理服務(wù)器發(fā)送請(qǐng)求。請(qǐng)求將被發(fā)送到代理服務(wù)器,然后代理服務(wù)器將其發(fā)送到Web服務(wù)器,然后代理服務(wù)器將Web服務(wù)器返回的響應(yīng)轉(zhuǎn)發(fā)到您的本地計(jì)算機(jī)。
這樣,我們也可以正常訪問網(wǎng)頁,但在這個(gè)過程中Web服務(wù)器識(shí)別的真實(shí)IP不再是我們自己機(jī)器的IP,成功地實(shí)現(xiàn)了IP偽裝,這是IP代理的基本原則。