眾多的技術術語中,也許最廣為人知的是“網絡爬蟲”。事上,網絡爬蟲的名字就已經顯示出了這種技術的效果,特別是如果它像密密麻麻的蠕蟲一樣均勻分布在網絡上,利用代理IP抓取到各個網站獲取數據。這也在一定程度上表達了人們對這項技術的情感傾向——爬蟲可能是無害的,但它們總是令人不快。
為了防止同一個代理IP訪問同一個網站,很有可能會長時間屏蔽該IP訪問同一個網站。非常方便的解決了技術含量很高的IP代理問題,找IP代理也方便無煩惱。低成本維護服務器本身的成本太高,不亞于長期可持續發展。
有一種說法,互聯網上60%的流量是由網絡爬蟲創造的。雖然這種說法有些夸張,但也反映出網絡爬蟲的普遍存在,爬蟲無處不在,因為它們給互聯網公司帶來了收益。