ip如何輔助爬蟲抓取安居客二手房信息!今天,IP模擬器代理將與大家分享爬蟲如何抓取安居客的二手房信息。爬行的主要目標是北京二手房的信息。在爬行之前,我們先對要爬行的信息做一個簡單的數據分析。首先打開二手房信息頁面,右擊查看,找到我們需要的信息所在的位置,然后抓取。
代碼如下:
導入請求,時間,隨機
來自bs4導入美麗組
標頭= { ' User-Agent ':' Mozilla/5.0(Windows NT 6.1;WOW64)applebwebkit/537.36(KHTML,像Gecko)Chrome/57 . 0 . 2987 . 98 Safari/537.36 ' }
對于范圍(1,30)內的I:
URL = ' https://Beijing . anjuke . com/sale/p { }/'。格式(一)
打印(一)
#打印(網址)
respomse=requests.get(url,headers = headers)
Time.sleep (random.randint (0,5)) #防止反爬。
#print(respomse.text)
soup =美化組(respomse.text,' lxml ')
house_list = soup.find_all('li ',class_="list-item ")
對于房屋列表中的房屋:
title=house.find('div ',class _ = ' house-title '). a . text . strip()
price=house.find('span ',class_='price-det').text.strip()
#皮帶增加。
打印('標題:+標題+'價格:+價格)
通過以上代碼,我們可以獲得北京安居客的二手房信息,IP模擬器代理為您提供安全、穩定、高效、便捷的爬蟲代理IP服務。更多問題請點擊官網咨詢客服。