您的位置:首頁>正文

居然還有比Scrapy功能更強大的框架!最實用的是它?(Gerapy)

Scrapy我想很多的小夥伴多多少少都有聽過這個框架的大名吧!本以為他是最適合的爬蟲用的框架, 今天看到一篇居然會比Scrapy還吊?簡直不敢置信, 大家看看, 希望給我點建議哈!

接下來我們在流覽器中打開 http://localhost:8000/, 就可以看到 Gerapy 的主介面了:

我們可以點擊專案頁面的右上角的創建按鈕,增加一個可配置化爬蟲,接著我們便可以在此處添加提取實體、爬取規則、抽取規則了,例如這裡的解析器,我們可以配置解析成為哪個實體,每個欄位使用怎樣的解析方式,如 XPath 或 CSS 解析器、直接獲取屬性、直接添加值等多重方式,另外還可以指定處理器進行資料清洗,或直接指定規則運算式進行解析等等,通過這些流程我們可以做到任何欄位的解析。

生成代碼之後,我們只需要像上述流程一樣,把專案進行部署、啟動就好了,不需要我們寫任何一行代碼,即可完成爬蟲的編寫、部署、控制、監測。

謝謝閱讀!!!

我們可以點擊專案頁面的右上角的創建按鈕,增加一個可配置化爬蟲,接著我們便可以在此處添加提取實體、爬取規則、抽取規則了,例如這裡的解析器,我們可以配置解析成為哪個實體,每個欄位使用怎樣的解析方式,如 XPath 或 CSS 解析器、直接獲取屬性、直接添加值等多重方式,另外還可以指定處理器進行資料清洗,或直接指定規則運算式進行解析等等,通過這些流程我們可以做到任何欄位的解析。

生成代碼之後,我們只需要像上述流程一樣,把專案進行部署、啟動就好了,不需要我們寫任何一行代碼,即可完成爬蟲的編寫、部署、控制、監測。

謝謝閱讀!!!

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示