現在人工智慧可以說是越來越火, 看招聘網上的工資都是年薪幾十萬, 看的小便我是心血澎湃, 無意間看到的一個爬蟲教程感覺是那麼的高大上, 於是就下載了編譯軟體, 找了一些視頻教程, 但是實際編譯起來發現居然有這麼多的坑, 希望我遇到的坑能夠幫助到現在初學的你。 小編初學文采也不好, 大神別噴, 小編有一些教程都是在網上花大價錢買的, 非常適合初學者, 可以讓你快速上手, 現在分享給大家
對於python的安裝已經編譯器的安裝小編就不在這裡多說了, 百度上有很多安裝教程,
首先是導入我們需要用到的庫, python有一些自帶的庫, 但是有很多的庫都是需要我們自行安裝, 剛開始安裝協力廠商庫的時候我上網上各種找網址下載,
按照我上面給的步驟就可以十分方便安裝你需要的庫, 而不用去網上各種找下載位址, 為版本而犯愁, 安裝之後就可以愉快的寫代碼了, 我們先打開京東分析一下他的網址構成,
之後我們進入pycharm對網址進行編譯
通過上面的兩個步驟, 我們就可以獲取京東裡面所有手機類的網址資訊, 用requests對網址進行編譯, 獲取我們網頁的響應, 之後我們在網頁上點擊右鍵查看原始程式碼, 分析代碼, 需找我們需要爬取的資訊,
之後在用LXML的方法裡面的xpath在網頁裡面尋找我們爬取的位置, lxml教程可以到這個網址裡面自行學習, 十分全面http://blog.csdn.net/ztsghjls/article/details/54426444
爬取的到資訊我們只要進行遍歷輸出就可以了, 希望這篇文章可以幫助到你, 有問題我們也可以共同探討, 共同學習進步