您的位置:首頁>正文

微博你肯定也玩吧?神級程式師用Python採集微博熱評並分析!

返回的欄位說明

for info in content.comments: text = info.text

chrome流覽器右鍵檢查查看network這些老套路我就不說了, 不懂得可以翻 Python網路爬蟲(一)- 入門基礎 從頭開始看。

進行資訊採集, 之所以爬移動端而不是PC所有社交網站爬蟲, 優先選擇爬移動版(不要來問我為什麼好爬, 我也不知道 逃

接下來就是對資料的保存和處理了。

注意:

新浪畢竟是大廠, 對爬蟲肯定有自己的反爬策略, 為了防止訪問頻繁被封禁, 可以設置代理ip池, 限制抓取時間等等。 你問我怎麼知道的, 我才不會告訴你~

如果你出現了這個頁面或者採集不到任何資訊, 恭喜你, 被新浪寵倖了

3.資料的存儲和處理

因為現在越來越多的公司開始逐漸使用PostgreSQL作為公司資料庫, 這裡我們就把資料存儲與Postgresql, 為了使我們的整個專案更加工程化, 我們把對資料庫的操作單獨定義方法。

4.資料的處理和分析

既然說到對中文資料的處理和展示,我們常用的就幾種方法,詞雲、情感分析、資料視覺化展示,這裡我就必須提到python中比較出名的一個中文NLP庫: snowNLP ,snowNLP能夠根據給出的句子生成一個0-1之間的值,當值大於0.5時代表句子的情感極性偏向積極,當分值小於0.5時,情感極性偏向消極,越偏向兩頭,情感就越敏感。使用一個庫最簡單暴力的方法———讀官方文檔。

snownlp的使用也很簡單

我隨機抽取了兩張結果,簡單標注了一下,我們不難發現涉及到 主動、長得帥、有錢的、要勇敢、口紅、情商 這幾個詞生成的值都在0.9, 矮矬窮、渣、你他媽 這些詞生成的值都在0.5以下, 林佳,給我留一口啊! 是什麼鬼,竟然0.7???

雖然資料量大(其實是沒有剔除停用詞ヾ(✿゚▽゚)ノ)導致的詞雲圖效果不太好,但是我們還是可以看到 聊天、主動、好看 這幾個詞的詞頻較高,至於為什麼我不剔除停用詞,是因為沒有語料庫還是因為不會用,都不是,因為我懶,我懶,我懶... 剔除停用詞的教程之前寫的文章中有: Python資料科學(三)- python與資料科學應用(Ⅲ)

1.一定要主動啊 不然等女孩子主動嗎!但是主動也要適度 別讓對方覺得害怕…

2.人品要好,三觀要正確,責任感,孝順善良這些內在因素也很重要

3.追某個女孩時時 只追她一個人 千萬別撩別人

4.言談幽默風趣但不要輕佻

5.對她當女兒養吧

6.女孩子是要用來寵的,不是來跟她講道理的。

7.多陪她聊天,多關心她,愛護她,保護她,瞭解她,寵她,尊重她,給她安全感

8.不要曖昧不清,不要套路

文末彩蛋:

有很多男生抱怨自己追不到喜歡的姑娘,追了幾個星期就放棄了。其實,要改變的是你自己,只要努力向上,讓自己變得更優秀,同時對姑娘保持適當的關心和熱情,堅持幾個月,總有一天你就會發現,不喜歡就是不喜歡這是沒有辦法的事情。

最後祝大家狗年都能脫單哈!雖然小編現在也沒脫單!哈哈

4.資料的處理和分析

既然說到對中文資料的處理和展示,我們常用的就幾種方法,詞雲、情感分析、資料視覺化展示,這裡我就必須提到python中比較出名的一個中文NLP庫: snowNLP ,snowNLP能夠根據給出的句子生成一個0-1之間的值,當值大於0.5時代表句子的情感極性偏向積極,當分值小於0.5時,情感極性偏向消極,越偏向兩頭,情感就越敏感。使用一個庫最簡單暴力的方法———讀官方文檔。

snownlp的使用也很簡單

我隨機抽取了兩張結果,簡單標注了一下,我們不難發現涉及到 主動、長得帥、有錢的、要勇敢、口紅、情商 這幾個詞生成的值都在0.9, 矮矬窮、渣、你他媽 這些詞生成的值都在0.5以下, 林佳,給我留一口啊! 是什麼鬼,竟然0.7???

雖然資料量大(其實是沒有剔除停用詞ヾ(✿゚▽゚)ノ)導致的詞雲圖效果不太好,但是我們還是可以看到 聊天、主動、好看 這幾個詞的詞頻較高,至於為什麼我不剔除停用詞,是因為沒有語料庫還是因為不會用,都不是,因為我懶,我懶,我懶... 剔除停用詞的教程之前寫的文章中有: Python資料科學(三)- python與資料科學應用(Ⅲ)

1.一定要主動啊 不然等女孩子主動嗎!但是主動也要適度 別讓對方覺得害怕…

2.人品要好,三觀要正確,責任感,孝順善良這些內在因素也很重要

3.追某個女孩時時 只追她一個人 千萬別撩別人

4.言談幽默風趣但不要輕佻

5.對她當女兒養吧

6.女孩子是要用來寵的,不是來跟她講道理的。

7.多陪她聊天,多關心她,愛護她,保護她,瞭解她,寵她,尊重她,給她安全感

8.不要曖昧不清,不要套路

文末彩蛋:

有很多男生抱怨自己追不到喜歡的姑娘,追了幾個星期就放棄了。其實,要改變的是你自己,只要努力向上,讓自己變得更優秀,同時對姑娘保持適當的關心和熱情,堅持幾個月,總有一天你就會發現,不喜歡就是不喜歡這是沒有辦法的事情。

最後祝大家狗年都能脫單哈!雖然小編現在也沒脫單!哈哈

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示