當我們想要搜索某些內容時, 我們第一個想到的就是打開Google、百度或必應這類的搜尋引擎。 但針對有些內容, 卻是這些常規搜尋引擎無法獲取到的, 那就是隱藏在深網的內容。 據不完全統計, 深網的信息量為表層網路的500倍。 那麼, 深網主要都包含了些什麼內容呢?其實, 深網主要包括的都是些, 例如需要某些條件如註冊、付費, 才能訪問的內容, 如資料庫和某些服務等。 而常規搜尋引擎通常只會對靜態網頁進行抓取, 而對於這些存儲在資料庫中的內容, 對其而言幾乎是不可見的。 其次, 當我們使用Google時,
為什麼Google搜索不到深網的內容?
這是因為所有的Deb網站(.onion)都是沒有索引的, 而正常的搜尋引擎通常都是通過目標網頁索引來獲取內容的。 因此對於沒有索引的搜索結果則不會被Google所收錄。 此外, 在搜索過程中還會和伺服器建立連接, 這樣對我們的隱私和安全也帶來了一定的隱患。
“據研究人員介紹, 只有4%的互聯網對公眾可見, 剩下的96%的網站和資料則隱藏在Deep web。 ”
此外, 深網中還包含了許多非法內容, 例如毒品, 武器交易, 高度成熟的駭客工具, 色情, 軍事機密等。
robots文件
robots.txt是搜尋引擎中訪問網站的時候要查看的第一個檔。 robots.txt檔會告訴網頁自動尋檢程式,
說了這麼多, 那麼有沒有既可以保證高度匿名性, 又可以獲取到深網內容的搜尋引擎呢?下面, 我將為大家推薦十款比Google, 必應更加“強大”搜尋引擎:
1. pipl
Pipl是一款為搜索網路上的人物資訊而生的搜尋引擎。 不同于傳統意義上的搜尋引擎, Pipl是專為檢索“深網”上的資訊而設計的。 Pipl的爬蟲能夠與可搜索的資料庫打交道, 從中提取個人資訊、聯繫方式、成員名錄、科學出版物、法院記錄以及其它很多“深網”內容。
Pipl目前提供五種方式搜索方式搜索特定人物:名字、Email地址、用戶名、電話號碼以及還處於BETA版的商業搜索。
Pipl所關注的不僅僅是找到更多的結果, 它還通過高階語言分析和排名演算法將與你搜索關鍵字最相關最匹配的結果以簡單的單頁形式展示給你。
2. My Life
MyLife是一個全面的成年人資料資料庫, 可以根據姓名、年齡、郵編等資訊來查詢你想要找的人。
MyLife的服務可以通過整合Twitter、Facebook、LinkedIn、Friendster和Flickr等社交網站的資料, 説明使用者在互聯網上找人。 MyLife用戶是免費註冊, 但如果要使用單身搜索、查看誰在搜索自己等高級功能, 使用者就需要付費。
MYLIFE網站還推出了一個全新的個人關係管理系統(PRM), 是一個基於流覽器的服務, 讓使用者在同一個內容流裡就能看到Facebook、Twitter和LinkedIn的訂閱源並進行答覆、“贊”、轉推等操作。
3. Yippy
Yippy是一個將多個搜尋引擎資訊結合在一起, 然後得出統計結果的集成化搜尋引擎。 如果你想檢索暗網的資訊, Yippy便是一個不錯的工具。 暗網因其存儲在私人網路絡而被遮罩難以發現, 而Yippy提供的搜索結果將幫助你發現不被傳統搜尋引擎檢索到的隱藏網站。
4. Surfwax
SurfWax是一個元搜尋引擎,能限定最多返回結果條數和排序方法,檢索速度一般。該搜尋引擎有一個顯著特點,即點擊每條結果左邊的“網址按鈕”圖示,可流覽該結果包括的任何頁面,並顯示搜索語句在檔中的位置。可以把搜索結果和檔存儲起來以備後用。此外,焦點字(FocusWords)功能提供搜索詞在各種不同含義下的同義詞/近義詞、上位詞、下位詞的列表,輔助選擇詞語檢索。
5. Way Back Machine
通過Wayback Machine可以搜索某一特定網站過去(從1996年到現在)的樣子。實現對Web過去的存檔要求一百太位元組的存儲空間,並包含一百億個網頁!網頁存檔起初是由Alexa專案的負責人收集的。你可以在你的電腦上安裝一個提供網站資訊和排名的工具列。
在Wayback Machine網站上,你可以搜索和連結你喜歡的網站,看它們過去的樣子,你會發現它們像時間“快照”一樣保存著。例如,你可以看到whatis.com網站在1996年的樣子,也可以看見它在1997年及以後的樣子。
6. Google Scholar
GoogleScholar學術搜索專門在期刊論文、理論摘要及其他學術著作文獻中進行搜索,內容從醫學、物理學到經濟學、電腦科學等等,橫跨多個學術領域以及大量書籍和整個網路中的學術性的文章。它雖然不支援中文,但可以用拼音搜索國內學者在國際刊物上發表的文章。這個搜尋引擎搜索國外的資料非常方便,輸入一個學者的名字,就可以搜索出其全部在網上的文章,並且可以知道在哪個資料庫,以及該篇文章被多少篇其它文章所引用,以及所引用文章的目錄等等。同時該學者所著的書也都有顯示,並告知該書被哪些圖書館所收藏,或其它可能獲得的商業途徑。
GoogleScholar的搜索結果可以過濾掉普通搜索結果中的大量垃圾資訊,排列出文章的不同版本以及被其他文章所引用的次數,還可以通過引用連結方便的找到與搜索結果關聯的其它相關學術資料,對於學生、學者以及其他需要經常查閱學術文章的人來說是非常實用的。
7. DuckDuckgo
害怕資訊被洩露,想要匿名訪問互聯網?DuckDuckGo將是你的首選!DuckDuckGo不會保存你的任何流覽資訊、社交檔、郵件等,這也是跟Google最大的區別。DuckDuckGo的用戶非常喜歡像「zero-click」這樣的功能,快速無線下拉設計真的是懶人福利。更棒的是,DuckDuckGo並沒有像Google那麼多廣告,以及經常彈出廣告等問題。DuckDuckGo甚至還配備了自己的Tor出口中繼,説明Tor使用者提高搜索性能。
8. Fazzle
Fazzle是一個支持英文發文和荷蘭文的元搜尋引擎。它即可進行一般的網址搜索,又有一個主題目錄可提供專題的資源搜索。其前身為SearchOnline著名元搜尋引擎。
9. not Evil
不像其他的Tor搜尋引擎,not Evil是一個不以營利為目的的搜尋引擎。它是專門設計用於搜索暗網內容的搜尋引擎,堪稱暗網中的穀歌。此外,它的安全性體驗度也做的非常的到位。既沒有多餘的廣告推送,也不會對用戶的搜索行為進行跟蹤。再加上其不斷更新的搜索演算法,使用者很容易就能通過它找到想要的內容或資訊。值得一提的是,在此之前該項目被人們廣泛的稱為TorSearch。
10. Start Page
StartPage是由Ixquick推出的一個託管在美國和荷蘭的搜尋引擎服務,通過免費匿名代理提供穀歌搜索和圖片搜索結果,號稱是世界上最安全的保密型搜尋引擎。該搜尋引擎非常注重把對用戶隱私的保護,它不會收集和分享任何使用者的資料。
在Startpage,Ixquick的隱私與穀歌的搜索結果緊密相連。你可以放心使用這些來自世界上最受歡迎的搜尋引擎搜索的結果,並受到Ixquick的隱私保護,這是世界上最大的私有搜尋引擎。並且還受到了協力廠商權威機構——歐洲的聯盟隱私倡議機構EuroPriSe的認證。 2008年7月14日,Ixquick被授予第一個歐洲隱私認證。
4. Surfwax
SurfWax是一個元搜尋引擎,能限定最多返回結果條數和排序方法,檢索速度一般。該搜尋引擎有一個顯著特點,即點擊每條結果左邊的“網址按鈕”圖示,可流覽該結果包括的任何頁面,並顯示搜索語句在檔中的位置。可以把搜索結果和檔存儲起來以備後用。此外,焦點字(FocusWords)功能提供搜索詞在各種不同含義下的同義詞/近義詞、上位詞、下位詞的列表,輔助選擇詞語檢索。
5. Way Back Machine
通過Wayback Machine可以搜索某一特定網站過去(從1996年到現在)的樣子。實現對Web過去的存檔要求一百太位元組的存儲空間,並包含一百億個網頁!網頁存檔起初是由Alexa專案的負責人收集的。你可以在你的電腦上安裝一個提供網站資訊和排名的工具列。
在Wayback Machine網站上,你可以搜索和連結你喜歡的網站,看它們過去的樣子,你會發現它們像時間“快照”一樣保存著。例如,你可以看到whatis.com網站在1996年的樣子,也可以看見它在1997年及以後的樣子。
6. Google Scholar
GoogleScholar學術搜索專門在期刊論文、理論摘要及其他學術著作文獻中進行搜索,內容從醫學、物理學到經濟學、電腦科學等等,橫跨多個學術領域以及大量書籍和整個網路中的學術性的文章。它雖然不支援中文,但可以用拼音搜索國內學者在國際刊物上發表的文章。這個搜尋引擎搜索國外的資料非常方便,輸入一個學者的名字,就可以搜索出其全部在網上的文章,並且可以知道在哪個資料庫,以及該篇文章被多少篇其它文章所引用,以及所引用文章的目錄等等。同時該學者所著的書也都有顯示,並告知該書被哪些圖書館所收藏,或其它可能獲得的商業途徑。
GoogleScholar的搜索結果可以過濾掉普通搜索結果中的大量垃圾資訊,排列出文章的不同版本以及被其他文章所引用的次數,還可以通過引用連結方便的找到與搜索結果關聯的其它相關學術資料,對於學生、學者以及其他需要經常查閱學術文章的人來說是非常實用的。
7. DuckDuckgo
害怕資訊被洩露,想要匿名訪問互聯網?DuckDuckGo將是你的首選!DuckDuckGo不會保存你的任何流覽資訊、社交檔、郵件等,這也是跟Google最大的區別。DuckDuckGo的用戶非常喜歡像「zero-click」這樣的功能,快速無線下拉設計真的是懶人福利。更棒的是,DuckDuckGo並沒有像Google那麼多廣告,以及經常彈出廣告等問題。DuckDuckGo甚至還配備了自己的Tor出口中繼,説明Tor使用者提高搜索性能。
8. Fazzle
Fazzle是一個支持英文發文和荷蘭文的元搜尋引擎。它即可進行一般的網址搜索,又有一個主題目錄可提供專題的資源搜索。其前身為SearchOnline著名元搜尋引擎。
9. not Evil
不像其他的Tor搜尋引擎,not Evil是一個不以營利為目的的搜尋引擎。它是專門設計用於搜索暗網內容的搜尋引擎,堪稱暗網中的穀歌。此外,它的安全性體驗度也做的非常的到位。既沒有多餘的廣告推送,也不會對用戶的搜索行為進行跟蹤。再加上其不斷更新的搜索演算法,使用者很容易就能通過它找到想要的內容或資訊。值得一提的是,在此之前該項目被人們廣泛的稱為TorSearch。
10. Start Page
StartPage是由Ixquick推出的一個託管在美國和荷蘭的搜尋引擎服務,通過免費匿名代理提供穀歌搜索和圖片搜索結果,號稱是世界上最安全的保密型搜尋引擎。該搜尋引擎非常注重把對用戶隱私的保護,它不會收集和分享任何使用者的資料。
在Startpage,Ixquick的隱私與穀歌的搜索結果緊密相連。你可以放心使用這些來自世界上最受歡迎的搜尋引擎搜索的結果,並受到Ixquick的隱私保護,這是世界上最大的私有搜尋引擎。並且還受到了協力廠商權威機構——歐洲的聯盟隱私倡議機構EuroPriSe的認證。 2008年7月14日,Ixquick被授予第一個歐洲隱私認證。