安裝完模組後我們正式開始進行資料爬取
先說一下requests的用法, 導入這個模組後, 你只需要調用一下get方法, 就能獲取網頁的內容了
例如, 爬取我的博客首頁, 這個單網頁
前面只是提前熟悉一下爬取資料的步驟, 接下來我們通過清單字典批量獲取資料, 然後把它保存為一個檔
首先定義一個字典, 存儲我們要抓取頁面的網址
然後我們在定義一個清單, 也是存儲抓取頁面的網址
然後我們先利用字典來抓取
代碼如下:
在後面我們列印抓取的網頁地址
然後我們利用清單來抓取資料
代碼如下
原理上跟前面的字典一樣, 我就不做過多解釋了
只是要注意這是一個嵌套的列表, 遍歷的時候要注意一下
運行結果如下圖
檔目錄變化如下
用流覽器打開如下圖
特克斯博客 www.susmote.com
百度網站 www.baidu..com
到這裡, 簡單的資料抓取就講完了
學會了嗎?