有段時間沒寫關於爬蟲編寫的文章了， 一是因為實在太忙， 二是因為平臺的激勵和推薦機制簡直讓人無法吐槽， 辛辛苦苦寫了代碼， 又花了很多心思寫文章， 最後推薦量還沒有那些賣肉和隨便貼低俗圖的推薦量高。 說是對原創有支持， 支持個毛線啊！別說轉正了， 毛都沒有， 推薦量都不給！真不知道是程式師寫的推薦演算法太爛還是平臺故意的， 總之是真 惡 心！
本文是簡單易於理解， 同事時適合有基礎和無基礎的人看， 好了， 切入正題！
今天同樣用的是urllib為基礎構造的爬蟲， 在上次的基礎上做了對更多頁面的解析和爬取操作， 同時進行了資料的封裝， 盡可能的提高了爬蟲的效率。
先上代碼
總之原理還是那麼個原理，
在這裡說一句題外話， 在進行大規模頁面解析的時候已經發現beautifulsoup存在速度很慢的情況， 這主要是由於需要遍歷的次數多， 同時beautifulsoup是用python寫的， 速度會一降再降。 下期將奉上封裝的更完美的爬蟲以及使用非beautifulsoup提取元素的方法。
好了今天的代碼和心得就分享到這裡， 下次將分享更有效率， 更快的提取操作很代碼編寫方法。