隨著手機的普及,app越來越多,很多行業甚至都開始專注于app的開發,所以用爬蟲來爬app是順理成章的。 目前國內大部分人都使用安卓手機,那么從安卓應用中抓取數據的方法有哪些呢?
1。 下載并設置fiddler抓包工具
Fiddler是一個http協議調試代理工具,它可以記錄和檢查你的電腦和互聯網之間的所有http通信,設置斷點,查看所有“進出”Fiddler 數據(指cookies、html、js、css等文件)。
打開下載的fiddler,進行設置,找到Tools -> Options,然后在HTTPS工具欄下勾選Decrpt HTTPS traffic,在彈出的選項欄下勾選Ignore server certificate errors。
設置允許外部設備向fiddler發送HTTP/HTTPS
動態IP模擬器
同理,在Connections選項欄下勾選Allow remote computer to connect,并使 備注住上面的端口號8888,后面會用到。
2。 手機設置
為手機設置代理,前提是電腦和手機需要在同一個網絡下操作,比如使用wifi或者熱點。
反爬的方法有很多,比如在一定時間段內對頻繁訪問的IP阻塞接口(會誤殺),這是一個很好的方法 繞過代理IP池的使用 這是可以避免的。
3。 下載Fiddler的安全證書
用安卓手機瀏覽器打開:http://192.168.1.96:8888,點擊“FiddlerRoot證書”,安裝證書。
4。 測試效果,打開一個app
返回200,表示已經發送請求,成功接收到響應。 這樣就成功抓到了安卓手機終端的數據包。
以上詳細說明了Android app的數據抓取方法。 相比web端,app端的數據其實更容易抓取,反爬蟲也沒有那么強。 它們中的大多數也是 http/https 協議。 可以根據流程抓取測試數據,如果要獲取ios數據也可以使用此方法。