您的位置:首頁>正文

Python神級程式師教你什麼才是資料採擷!通過字典批量抓取資料!

安裝完模組後我們正式開始進行資料爬取

先說一下requests的用法, 導入這個模組後, 你只需要調用一下get方法, 就能獲取網頁的內容了

例如, 爬取我的博客首頁, 這個單網頁

前面只是提前熟悉一下爬取資料的步驟, 接下來我們通過清單字典批量獲取資料, 然後把它保存為一個檔

首先定義一個字典, 存儲我們要抓取頁面的網址

然後我們在定義一個清單, 也是存儲抓取頁面的網址

然後我們先利用字典來抓取

代碼如下:

在後面我們列印抓取的網頁地址

然後我們利用清單來抓取資料

代碼如下

原理上跟前面的字典一樣, 我就不做過多解釋了

只是要注意這是一個嵌套的列表, 遍歷的時候要注意一下

運行結果如下圖

檔目錄變化如下

用流覽器打開如下圖

特克斯博客 www.susmote.com

百度網站 www.baidu..com

到這裡, 簡單的資料抓取就講完了

學會了嗎?

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示