今天在用python實現爬蟲的時候, 就想看一下用c#實現同樣的功能到底會多出來多少code, 結果寫著寫著乾脆把頁面也簡單的寫一個出來, 方便調試,
大致流程如下:
1.分析拉勾資料
2.查找拉勾做了哪些反爬蟲限制
3.抓取資料, show page
過程中用到一個HtmlAgilityPack協力廠商庫, 獲取熱門城市的時候使用XPath運算式抓取資料
解析JSON使用的是JSON.NET, 一如既往的好用
github:https://github.com/hxd1230/XD.Job.Spider.git