返回的欄位說明
for info in content.comments: text = info.textchrome流覽器右鍵檢查查看network這些老套路我就不說了, 不懂得可以翻 Python網路爬蟲(一)- 入門基礎 從頭開始看。
進行資訊採集, 之所以爬移動端而不是PC所有社交網站爬蟲, 優先選擇爬移動版(不要來問我為什麼好爬, 我也不知道 逃
接下來就是對資料的保存和處理了。
注意:
新浪畢竟是大廠, 對爬蟲肯定有自己的反爬策略, 為了防止訪問頻繁被封禁, 可以設置代理ip池, 限制抓取時間等等。 你問我怎麼知道的, 我才不會告訴你~
如果你出現了這個頁面或者採集不到任何資訊, 恭喜你, 被新浪寵倖了
3.資料的存儲和處理
因為現在越來越多的公司開始逐漸使用PostgreSQL作為公司資料庫, 這裡我們就把資料存儲與Postgresql, 為了使我們的整個專案更加工程化, 我們把對資料庫的操作單獨定義方法。
4.資料的處理和分析
既然說到對中文資料的處理和展示,我們常用的就幾種方法,詞雲、情感分析、資料視覺化展示,這裡我就必須提到python中比較出名的一個中文NLP庫: snowNLP ,snowNLP能夠根據給出的句子生成一個0-1之間的值,當值大於0.5時代表句子的情感極性偏向積極,當分值小於0.5時,情感極性偏向消極,越偏向兩頭,情感就越敏感。使用一個庫最簡單暴力的方法———讀官方文檔。
snownlp的使用也很簡單
一
二
我隨機抽取了兩張結果,簡單標注了一下,我們不難發現涉及到 主動、長得帥、有錢的、要勇敢、口紅、情商 這幾個詞生成的值都在0.9, 矮矬窮、渣、你他媽 這些詞生成的值都在0.5以下, 林佳,給我留一口啊! 是什麼鬼,竟然0.7???
雖然資料量大(其實是沒有剔除停用詞ヾ(✿゚▽゚)ノ)導致的詞雲圖效果不太好,但是我們還是可以看到 聊天、主動、好看 這幾個詞的詞頻較高,至於為什麼我不剔除停用詞,是因為沒有語料庫還是因為不會用,都不是,因為我懶,我懶,我懶... 剔除停用詞的教程之前寫的文章中有: Python資料科學(三)- python與資料科學應用(Ⅲ)
1.一定要主動啊 不然等女孩子主動嗎!但是主動也要適度 別讓對方覺得害怕…
2.人品要好,三觀要正確,責任感,孝順善良這些內在因素也很重要
3.追某個女孩時時 只追她一個人 千萬別撩別人
4.言談幽默風趣但不要輕佻
5.對她當女兒養吧
6.女孩子是要用來寵的,不是來跟她講道理的。
7.多陪她聊天,多關心她,愛護她,保護她,瞭解她,寵她,尊重她,給她安全感
8.不要曖昧不清,不要套路
文末彩蛋:
有很多男生抱怨自己追不到喜歡的姑娘,追了幾個星期就放棄了。其實,要改變的是你自己,只要努力向上,讓自己變得更優秀,同時對姑娘保持適當的關心和熱情,堅持幾個月,總有一天你就會發現,不喜歡就是不喜歡這是沒有辦法的事情。
最後祝大家狗年都能脫單哈!雖然小編現在也沒脫單!哈哈
4.資料的處理和分析
既然說到對中文資料的處理和展示,我們常用的就幾種方法,詞雲、情感分析、資料視覺化展示,這裡我就必須提到python中比較出名的一個中文NLP庫: snowNLP ,snowNLP能夠根據給出的句子生成一個0-1之間的值,當值大於0.5時代表句子的情感極性偏向積極,當分值小於0.5時,情感極性偏向消極,越偏向兩頭,情感就越敏感。使用一個庫最簡單暴力的方法———讀官方文檔。
snownlp的使用也很簡單
一
二
我隨機抽取了兩張結果,簡單標注了一下,我們不難發現涉及到 主動、長得帥、有錢的、要勇敢、口紅、情商 這幾個詞生成的值都在0.9, 矮矬窮、渣、你他媽 這些詞生成的值都在0.5以下, 林佳,給我留一口啊! 是什麼鬼,竟然0.7???
雖然資料量大(其實是沒有剔除停用詞ヾ(✿゚▽゚)ノ)導致的詞雲圖效果不太好,但是我們還是可以看到 聊天、主動、好看 這幾個詞的詞頻較高,至於為什麼我不剔除停用詞,是因為沒有語料庫還是因為不會用,都不是,因為我懶,我懶,我懶... 剔除停用詞的教程之前寫的文章中有: Python資料科學(三)- python與資料科學應用(Ⅲ)
1.一定要主動啊 不然等女孩子主動嗎!但是主動也要適度 別讓對方覺得害怕…
2.人品要好,三觀要正確,責任感,孝順善良這些內在因素也很重要
3.追某個女孩時時 只追她一個人 千萬別撩別人
4.言談幽默風趣但不要輕佻
5.對她當女兒養吧
6.女孩子是要用來寵的,不是來跟她講道理的。
7.多陪她聊天,多關心她,愛護她,保護她,瞭解她,寵她,尊重她,給她安全感
8.不要曖昧不清,不要套路
文末彩蛋:
有很多男生抱怨自己追不到喜歡的姑娘,追了幾個星期就放棄了。其實,要改變的是你自己,只要努力向上,讓自己變得更優秀,同時對姑娘保持適當的關心和熱情,堅持幾個月,總有一天你就會發現,不喜歡就是不喜歡這是沒有辦法的事情。
最後祝大家狗年都能脫單哈!雖然小編現在也沒脫單!哈哈