本次爬取的網站選擇電影天堂， 網址是：www.dytt8.net。 爬取內容是整個網站的所有電影資訊， 包括電影名稱， 導演、主演、下載地址等。 具體抓取資訊如下圖所示：小編推薦大家加一下這個群：103456743這個群裡好幾千人了！大家遇到啥問題都會在裡面交流！而且免費分享零基礎入門料資料web開發 爬蟲資料一整套！是個非常好的學習交流地方！也有程式師大神給大家熱心解答各種問題！很快滿員了。 欲進從速哦！各種PDF等你來下載！全部都是免費的哦！只為幫助大家快速入門， 所以小編在群裡等你們過來一起交流學習呢！
由圖可知道， 電影天堂有 5 個電影欄目， 分別為最新電影、日韓電影、歐美電影、國內電影、綜合電影。 每個欄目又有一定數量的分頁， 每個分頁有 25 條電影資訊。 那麼程式的入口可以有 5 個 url 位址。 這 5 個位址分別對應每個欄目的首頁連結。
2.2 爬取思路
創建資料庫以及表， 接著再把電影資訊插入到資料庫的代碼如下：
TaskQueue 類
維護 floorQueue、middleQueue、contentQueue 三個佇列的管理類。 之所以選擇佇列的資料結構， 是因為爬蟲程式需要用到多執行緒， 佇列能夠保證執行緒安全。dytt8Moive 類
dytt8Moive 類是本程式的主心骨。 程式最初的爬取目標是 5 個電影欄目， 但是目前只現實了爬取最新欄目。 如果你想爬取全部欄目電影， 只需對 dytt8Moive 稍微改造下即可。 。https://github.com/monkey-soft/MoivesSpider 原始程式碼地址：
如有侵權請聯繫小編刪除！