您的位置:首頁>正文

「深度」大資料驅動的未來網路:體系架構與應用場景(上)新興網路技術及其挑戰

【學術plus】 新添加號內搜索功能!

進入公眾號→點擊功能表【智庫掃描】→【搜搜文章】

→輸入關鍵字→一鍵檢索您需要的文章。 快來試試!

【兼職】神秘崗位正在向你招手, 敢來麼?

【厚度】學術plus年終巨獻:2017年 你不可以錯過的重磅報告們!(全文閱讀連結)

今日薦文

今日薦文的作者為首都經濟貿易大學密雲分校專家孫遠芳, 段翠華, 中國石油大學(華東) 電腦與通信工程學院專家張培穎。 本篇節選自論文《大資料驅動的未來網路:體系架構與應用場景》, 發表於《中國電子科學研究院學報》第12卷第5期。 本文為論文上半部分。

摘 要:當前網路已經發展了40餘年, 存在許多問題亟待解決。 隨著美國產業互聯網、德國工業4.0以及“互聯網+”等戰略的提出, 當前的互聯網所支撐的方向正在由消費型向生產型轉變, 但是基於TCP/IP的網路體系架構在可擴展性、安全性等方面都無法適應這一轉變, 因此未來網路受到了全球範圍的重視,

比較有代表性的工作包括軟體定義網路和資訊中心網路, 另一方面, 大資料技術也在各個行業嶄露頭角, 這些新興的技術都處於發展初期, 仍存在許多問題亟待解決。 本文將這些新技術的優勢加以利用, 提出了一種資料驅動的網路架構, 旨在通過該架構來解決新興的未來網路在發展中所面臨的問題和挑戰。

引 言

從1986年互聯網在中國出現至今, 互聯網在中國的發展已有了30年的歷史, 縱觀這30年, 主要包括3個發展階段, 分別是:測試研究階段(1986-1993)、初步發展階段(1994-1996)和全面發展階段(1997-今)。 經過這30年的發展, 當前基於TCP/IP的互聯網體系存在著很多挑戰, 這些挑戰主要包括:

1、網路結構僵化, 不能應對新業務的需求。

在傳統網路中, 層次化的結構是互聯網得以發展的關鍵, 但是網路規模不斷增大, 層次化結構中封閉的網路設備中內置的大量複雜的協定, 大大增加了網路優化運營的難度, 使得科研和管理人員都無法在網路中部署新的協定, 增加新的業務能力。

2、網路不能進行自我調整配置。 現有網路中, 網路不能進行自我調整配置, 必須預先留有足夠的冗餘, 用來防止峰值時出現網路擁堵的情況。 根據上海貝爾和諾基亞的調查研究表明, 我國現階段網路峰值利用率在60%以下, 平均網路利用率只有35%, 也就是說, 運營商建設1G的寬頻, 平均只有350M可以被用戶利用, 剩下的65%只能作為“備胎”, 長此以往再加上流量的急速增長,

運營商需要投入的頻寬建設資源的數量可想而知。

3、資訊網路正在與傳統行業進行深度的融合, 深度融合之後所帶來的對即時性、安全性等需求是當前網路難以滿足的。 例如在車聯網中, 要求網路的時延非常小, 需要達到10毫秒以下, 但是當前互聯網的傳輸時延80%都高於90毫秒, 離車聯網的目標還相差很遠。

因此, 面對當前互聯網的這些問題和挑戰, 全球正在積極展開未來網路基礎架構的研究來解決問題。 比較有代表性的工作包括軟體定義網路(Software-Defined Networking, SDN)[1], 資訊中心網路(Information–Centric Networking, ICN)[2]等, 此外, 大資料技術也在各個行業嶄露頭角[3]。 但是這些新興的未來網路架構和技術仍處在最初的發展階段, 其自身仍存在許多問題亟待解決。 因此在本文中,

將這些新架構、新技術的優勢加以利用, 綜合的提出了資料驅動的網路架構, 旨在通過該架構來解決新興的未來網路在發展中所面臨的問題和挑戰。

1 新興網路技術與相應挑戰

1.1 軟體定義網路1.1.1 產生背景

軟體定義網路來自2006年斯坦福大學Clean Slate研究課題[4], 2008年, Nick McKeown教授在Sigcomm會議上展示了基於OpenFlow網路的演示試驗。 軟體定義網路的思路逐漸形成。 2011年3月, 成立了ONF (Open Networking Foundation)組織[5], 該組織希望通過產業聯盟的方式推動軟體定義網路技術發展。 2011年4月20日, 印第安那大學、斯坦福Clean State計畫工作組與Internet2發起了NDDI計畫(Network Development and Deployment Initiative)[6], 希望創建一個基於軟體定義網路的網路試驗平臺。 2011年11月, 第82屆IETF會議啟動了成立軟體驅動網路(Software Driven Network)工作組的提案, 並同時獲得了批准, IETF的81/82次會議重點討論了SDN的框架、模型、特性、層次化結構、API介面以及技術標準化等方面的內容。

1.1.2 體系架構

軟體定義網路是一種新型的網路架構,它將控制平面和資料平面進行了分離,並將可程式設計能力引入到控制平面中。這一創新有利於對底層網路資源的抽象管理,可以從邏輯的形式上支援上層應用,從而實現靈活性和可控性。

軟體定義網路的體系架構如圖1,包括資料轉發層、控制層和應用層。資料轉發層不在支援大量的協議標準,它只需要接收控制層的指令進行操作;對於控制層而言,可以進行全域資訊的監視,實現集中化的網路智慧;在應用層中,控制層提供的開放的介面來提供多樣化的應用服務。

圖1 軟體定義網路體系架構

1.1.3 問題與挑戰

SDN面對的問題和挑戰主要包括以下兩點:

1) 當前的網路使用者從關注“在哪裡”逐漸轉為關注“是什麼”,但是SDN並沒有很好的對內容的命名和路由解析進行探討。

2) SDN中的控制平面掌握有各種細微性的全域資訊資料,這些資料對於網路分析和決策是具有重要價值的,但是現階段的研究並沒有對這些資料加以有效的利用。

1.2 資訊中心網路1.2.1 產生背景

資訊中心網路(Information-Centric Networking,ICN)是近年以來未來網路一類發展方向的總稱,其下有美國的CCN,DONA,NDN,和歐盟的PSIRP,4WARD,PURSUIT,SAIL等[7][8]。

施樂派克研究中心的Van Jacobson於2006年分析認為網路的應用呈現以內容為中心的特點,提出了CCN(內容中心網路)的架構,實現了從IP為中心向資料為中心的轉變,解決位址空間可擴展、流量冗餘、移動性、安全性等問題。

NDN是美國NSF於2010年8月支持的4個未來互聯網架構項目之一,該項目力圖改變當前互聯網以主機為基礎的點對點通信架構。歐盟在2008年立項支持的FP7計畫4WARD專案中提出開展Networking of Information(NetInf)研究項目,期望構建以資訊為中心的網路體系,專案對命名機制、解析流程、協定架構等方面進行了探討。

2010年,FP7在SAIL(自我調整的互聯網解決方案)重點專案中又進一步支持了該研究方向。

此外,歐盟還專門啟動了針對發佈訂閱通信模式的PSIRP/ PURSUIT專案,在該項目中,組播通信將代替傳統的單播通信模式,緩存代替傳統無緩存的資料獲取模式。

1.2.2 發展思路

資訊中心網路與傳統互聯網體系架構的根本區別在於以命名資訊為中心,並將其作為網路架構的細腰。從關注“在哪裡”——位址和主機,到關注“什麼”——使用者和應用需要的資訊內容。

物件模型是資訊中心網路中的基本概念,包括資訊物件(Information Object)、比特級物件(Bit-level Object)。而資訊物件作為資訊中心網路的核心元素,其命名和標識影響著整個網路架構的設計。CCN和NDN專案是以層次化的命名方式對資訊物件進行命名,而4WARD與SAIL專案則採用了扁平化的命名方式,目前該領域研究尚無定論。

資訊中心網路借助在網路中緩存、逐跳傳輸等技術能夠高效地減少網路中傳統資料密集型應用(如www、檔下載等)的流量,即通過“存儲換頻寬”的策略來降低鏈路頻寬消耗並節省設備能耗;同時資訊中心網路更加關注安全問題,直接對資訊內容本身進行保護,而不再像傳統IP網路主要保護資料包和通道的安全,從而實現從信任主機到信任資訊內容的設計思路轉變。

1.2.3 問題與挑戰

雖然CCN有良好的發展事態,但是仍存在許多問題需要解決,例如如何更好的對內容和使用者興趣進行命名、以內容命名的資料的轉發、網路內緩存和可移動性等。此外,大多數現階段的網路應用、傳輸層協定、主機和路由器都是以用戶為中心的,不可能在朝夕之間部署內容為中心的網路架構,然而隨著網路中緩存成本的降低,網路內緩存已經成為了提升用戶體驗的主要途徑。

1.3 大資料技術1.3.1 產生背景

隨著互聯網、資料庫技術、高性能存放裝置的快速發展,人們正在快速的生成著各種資料:照片、郵件、位置資訊、視頻等等。國際文獻資料中心從2006年開始,逐年發表一個“數字宇宙”的報告,來跟蹤全球資料量的增長情況。2006年時,全球資料量為0.18ZB,2011年達到1.8ZB,預計到2020年時,會達到40ZB,這個數字為地球上所有海灘上沙粒總數的57倍,因此大資料問題應運而生。

2011年5月,麥肯錫公司在美國舉辦了EMC World年度大會,發佈了“Big data: The next frontier for innovation, competition and productivity”的報告,第一次提出了“大資料”的概念。2012年世界經濟論壇發佈了“Big data, big impact: New possibilities for international development”的報告,明確指出了大資料為全世界發展帶來的新機遇。2012年3月,美國政府打不了“大資料研究發展倡議”,啟動了“大資料發展計畫”。聯合國於2012年也公佈了“Challenges and opportunities with big data”的白皮書。對於我國而言,工信部發佈了物聯網“十二五”規劃,提出了海量資料存儲、資料採擷、圖像視頻智慧分析等大資料的重要組成成分。在中國電腦學會的主導下,成立了大資料專家委員會。2013年科技部正式啟動了863“面向大資料的先進存儲結構及關鍵技術”的研究專案[9]。

1.3.2 發展思路

近些年來,大資料迅速發展成為科技界和企業界關注的熱點,通過利用大資料技術可以獲得意想不到的商業價值 [10]。什麼是大資料,至今為止沒有公認的定義,從宏觀角度而言,大資料是一種對結構化和非結構化的大量資料進行快速準確的存儲、分類、管理、抽象和分析的技術 [11]。

在當下資料進行爆炸式增加的階段,例如網路中的博客文章、照片、郵件等在一直不斷的增長,這些資料也恰好暗示了一些用戶的行為,漸漸地這些資料也就產生了巨大的商業價值,這也就促使了許多商業組織建立了大資料分析和處理平臺。

與傳統資料相比,大資料的基本特徵有5個V,包括:volume(體積大)、velocity(速度快)、variety(模式多)、veracity(精確性高)、value(價值高)。針對大資料這5個特點,一些互聯網公司,例如Google、Facebook、Microsoft退出了不同的大資料處理系統,他們利用深度學習、知識技術、視覺化等技術使得大資料得到了迅猛的發展。

1.3.3 問題與挑戰

在大資料技術發展過程中,湧現出如Hadoop和Spark等批次處理和流處理技術,但是在處理過程中如果對資料預處理不完善,會導致資料的可用性差,資料不準確等問題。海量資料的處理需要可靠的架構設計,強大的資料中心來支撐。因此,如何在保證高併發穩定訪問的同時,有效減少伺服器的負載,成為大資料發展過程中的一大挑戰。

毫無疑問的是在SDN中有大量資料存在,然而很少有研究會真正將這些寶貴的資料加以分析和利用,從而幫助控制器更好的做出全網決策。因此有必要在控制器中增加大資料分析模組來更加智慧的確定功能統一的網路解決方案。

(未完待續)

《中國電子科學研究院學報》歡迎各位專家、學者賜稿!投稿連結 http://kjpl.cbpt.cnki.net

電話:010-68893411

郵箱:dkyxuebao@vip.126.com

1.1.2 體系架構

軟體定義網路是一種新型的網路架構,它將控制平面和資料平面進行了分離,並將可程式設計能力引入到控制平面中。這一創新有利於對底層網路資源的抽象管理,可以從邏輯的形式上支援上層應用,從而實現靈活性和可控性。

軟體定義網路的體系架構如圖1,包括資料轉發層、控制層和應用層。資料轉發層不在支援大量的協議標準,它只需要接收控制層的指令進行操作;對於控制層而言,可以進行全域資訊的監視,實現集中化的網路智慧;在應用層中,控制層提供的開放的介面來提供多樣化的應用服務。

圖1 軟體定義網路體系架構

1.1.3 問題與挑戰

SDN面對的問題和挑戰主要包括以下兩點:

1) 當前的網路使用者從關注“在哪裡”逐漸轉為關注“是什麼”,但是SDN並沒有很好的對內容的命名和路由解析進行探討。

2) SDN中的控制平面掌握有各種細微性的全域資訊資料,這些資料對於網路分析和決策是具有重要價值的,但是現階段的研究並沒有對這些資料加以有效的利用。

1.2 資訊中心網路1.2.1 產生背景

資訊中心網路(Information-Centric Networking,ICN)是近年以來未來網路一類發展方向的總稱,其下有美國的CCN,DONA,NDN,和歐盟的PSIRP,4WARD,PURSUIT,SAIL等[7][8]。

施樂派克研究中心的Van Jacobson於2006年分析認為網路的應用呈現以內容為中心的特點,提出了CCN(內容中心網路)的架構,實現了從IP為中心向資料為中心的轉變,解決位址空間可擴展、流量冗餘、移動性、安全性等問題。

NDN是美國NSF於2010年8月支持的4個未來互聯網架構項目之一,該項目力圖改變當前互聯網以主機為基礎的點對點通信架構。歐盟在2008年立項支持的FP7計畫4WARD專案中提出開展Networking of Information(NetInf)研究項目,期望構建以資訊為中心的網路體系,專案對命名機制、解析流程、協定架構等方面進行了探討。

2010年,FP7在SAIL(自我調整的互聯網解決方案)重點專案中又進一步支持了該研究方向。

此外,歐盟還專門啟動了針對發佈訂閱通信模式的PSIRP/ PURSUIT專案,在該項目中,組播通信將代替傳統的單播通信模式,緩存代替傳統無緩存的資料獲取模式。

1.2.2 發展思路

資訊中心網路與傳統互聯網體系架構的根本區別在於以命名資訊為中心,並將其作為網路架構的細腰。從關注“在哪裡”——位址和主機,到關注“什麼”——使用者和應用需要的資訊內容。

物件模型是資訊中心網路中的基本概念,包括資訊物件(Information Object)、比特級物件(Bit-level Object)。而資訊物件作為資訊中心網路的核心元素,其命名和標識影響著整個網路架構的設計。CCN和NDN專案是以層次化的命名方式對資訊物件進行命名,而4WARD與SAIL專案則採用了扁平化的命名方式,目前該領域研究尚無定論。

資訊中心網路借助在網路中緩存、逐跳傳輸等技術能夠高效地減少網路中傳統資料密集型應用(如www、檔下載等)的流量,即通過“存儲換頻寬”的策略來降低鏈路頻寬消耗並節省設備能耗;同時資訊中心網路更加關注安全問題,直接對資訊內容本身進行保護,而不再像傳統IP網路主要保護資料包和通道的安全,從而實現從信任主機到信任資訊內容的設計思路轉變。

1.2.3 問題與挑戰

雖然CCN有良好的發展事態,但是仍存在許多問題需要解決,例如如何更好的對內容和使用者興趣進行命名、以內容命名的資料的轉發、網路內緩存和可移動性等。此外,大多數現階段的網路應用、傳輸層協定、主機和路由器都是以用戶為中心的,不可能在朝夕之間部署內容為中心的網路架構,然而隨著網路中緩存成本的降低,網路內緩存已經成為了提升用戶體驗的主要途徑。

1.3 大資料技術1.3.1 產生背景

隨著互聯網、資料庫技術、高性能存放裝置的快速發展,人們正在快速的生成著各種資料:照片、郵件、位置資訊、視頻等等。國際文獻資料中心從2006年開始,逐年發表一個“數字宇宙”的報告,來跟蹤全球資料量的增長情況。2006年時,全球資料量為0.18ZB,2011年達到1.8ZB,預計到2020年時,會達到40ZB,這個數字為地球上所有海灘上沙粒總數的57倍,因此大資料問題應運而生。

2011年5月,麥肯錫公司在美國舉辦了EMC World年度大會,發佈了“Big data: The next frontier for innovation, competition and productivity”的報告,第一次提出了“大資料”的概念。2012年世界經濟論壇發佈了“Big data, big impact: New possibilities for international development”的報告,明確指出了大資料為全世界發展帶來的新機遇。2012年3月,美國政府打不了“大資料研究發展倡議”,啟動了“大資料發展計畫”。聯合國於2012年也公佈了“Challenges and opportunities with big data”的白皮書。對於我國而言,工信部發佈了物聯網“十二五”規劃,提出了海量資料存儲、資料採擷、圖像視頻智慧分析等大資料的重要組成成分。在中國電腦學會的主導下,成立了大資料專家委員會。2013年科技部正式啟動了863“面向大資料的先進存儲結構及關鍵技術”的研究專案[9]。

1.3.2 發展思路

近些年來,大資料迅速發展成為科技界和企業界關注的熱點,通過利用大資料技術可以獲得意想不到的商業價值 [10]。什麼是大資料,至今為止沒有公認的定義,從宏觀角度而言,大資料是一種對結構化和非結構化的大量資料進行快速準確的存儲、分類、管理、抽象和分析的技術 [11]。

在當下資料進行爆炸式增加的階段,例如網路中的博客文章、照片、郵件等在一直不斷的增長,這些資料也恰好暗示了一些用戶的行為,漸漸地這些資料也就產生了巨大的商業價值,這也就促使了許多商業組織建立了大資料分析和處理平臺。

與傳統資料相比,大資料的基本特徵有5個V,包括:volume(體積大)、velocity(速度快)、variety(模式多)、veracity(精確性高)、value(價值高)。針對大資料這5個特點,一些互聯網公司,例如Google、Facebook、Microsoft退出了不同的大資料處理系統,他們利用深度學習、知識技術、視覺化等技術使得大資料得到了迅猛的發展。

1.3.3 問題與挑戰

在大資料技術發展過程中,湧現出如Hadoop和Spark等批次處理和流處理技術,但是在處理過程中如果對資料預處理不完善,會導致資料的可用性差,資料不準確等問題。海量資料的處理需要可靠的架構設計,強大的資料中心來支撐。因此,如何在保證高併發穩定訪問的同時,有效減少伺服器的負載,成為大資料發展過程中的一大挑戰。

毫無疑問的是在SDN中有大量資料存在,然而很少有研究會真正將這些寶貴的資料加以分析和利用,從而幫助控制器更好的做出全網決策。因此有必要在控制器中增加大資料分析模組來更加智慧的確定功能統一的網路解決方案。

(未完待續)

《中國電子科學研究院學報》歡迎各位專家、學者賜稿!投稿連結 http://kjpl.cbpt.cnki.net

電話:010-68893411

郵箱:dkyxuebao@vip.126.com

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示