眾多的技術(shù)術(shù)語(yǔ)中,也許最廣為人知的是“網(wǎng)絡(luò)爬蟲(chóng)”。事上,網(wǎng)絡(luò)爬蟲(chóng)的名字就已經(jīng)顯示出了這種技術(shù)的效果,特別是如果它像密密麻麻的蠕蟲(chóng)一樣均勻分布在網(wǎng)絡(luò)上,利用代理IP抓取到各個(gè)網(wǎng)站獲取數(shù)據(jù)。這也在一定程度上表達(dá)了人們對(duì)這項(xiàng)技術(shù)的情感傾向——爬蟲(chóng)可能是無(wú)害的,但它們總是令人不快。
為了防止同一個(gè)代理IP訪問(wèn)同一個(gè)網(wǎng)站,很有可能會(huì)長(zhǎng)時(shí)間屏蔽該IP訪問(wèn)同一個(gè)網(wǎng)站。非常方便的解決了技術(shù)含量很高的IP代理問(wèn)題,找IP代理也方便無(wú)煩惱。低成本維護(hù)服務(wù)器本身的成本太高,不亞于長(zhǎng)期可持續(xù)發(fā)展。
有一種說(shuō)法,互聯(lián)網(wǎng)上60%的流量是由網(wǎng)絡(luò)爬蟲(chóng)創(chuàng)造的。雖然這種說(shuō)法有些夸張,但也反映出網(wǎng)絡(luò)爬蟲(chóng)的普遍存在,爬蟲(chóng)無(wú)處不在,因?yàn)樗鼈兘o互聯(lián)網(wǎng)公司帶來(lái)了收益。