您的位置:首頁>正文

短視頻“崛起”背後的資料中心存儲架構選擇

短視頻無疑是2017年投資的風口, 在互聯網巨頭爭相佈局的同時, 不妨審視一下自己的資料中心:你真的為海量視頻資源找到理想的存儲選擇了嗎?

過去二十年, 從看文字資訊, 到後來看圖片集錦, 再到現在看視頻, 互聯網內容不斷更新反覆運算, 資訊量變得越來越大、可視性也越來越強。 短視頻也因此應運而生, 並且迅速佔據我們工作、生活之餘的大部分碎片時間, 目前, 單獨一個短視頻平臺的日播放量就能高達到100億次。

在短視頻業務快速擴張的背後, 是各種技術的不斷革新包括移動終端性能的提升,

移動網路的提速, 當然還有後端計算平臺的日益強勁和穩健。

當我們從看圖時代轉向視頻時代時, 資料中心又需要什麼樣的變革來適應新的業務應用?

開展短視頻業務前, 你需要先瞭解這些數位

每月PB級的資料存在哪?

相對於文字和圖片, 視頻的存儲需要更大的空間。 以國內某短視頻平臺的對外公開資料來看, 其平臺註冊用戶超過5億, 日活躍人數8000萬, 每天新增的段視頻數量1000萬, 按照1條57s的視頻大小6MB左右來算, 僅從存儲的視頻容量來看, 平臺每月新增的短視頻容量都將超過1PB。 那我們再算下, 按照單塊硬碟8T, 每台伺服器12塊硬碟, 那麼每月僅為了存儲這些視頻就新增12台伺服器。

如何面對80%的"冷"卻不可捨棄的資料?

視頻行業, 不論是短視頻, 還是直播, 又或是視頻網站, 他們的資料都有著一個共同的特點——資料的熱度不均且變化較快。 比如據統計, 大部分上傳的資料的高熱度狀態僅能保持1周甚至更短的時間。 在資料中心中熱資料、溫資料和冷資料占總數據量的比例約為5%、15%、80%。 冷資料也可以被叫做"低價值度的資料", 因為它們佔用著大部分的存儲空間, 但是通常不會再產生價值(被觀看)。

但是, 從一方面來看短視頻從本質上來講類似QQ空間、微信朋友圈, 是一種記錄生活的平臺, 因此平臺需要保證保有的資料不會被刪除, 因此這80%的資料成為"沒有價值"但是不能被捨棄的"雞肋"資料。

如何安全且低成本地保存這些低價值度的視頻資料?

高功耗的存儲伺服器將帶來居高不下的運營成本

目前國內大部分的存儲伺服器仍是採用通用伺服器的配置, 並沒有針對溫冷資料的存儲應用進行優化。 因此目前大多數資料中心中的存儲系統都處於低負載卻高功耗的狀態, 如何把存儲集群的功耗降下來, 是把資料中心從成本中心轉為利潤中心的關鍵之一。

浪潮SA5224M4存儲集群

短視頻背後的資料中心需要怎樣的存儲架構

計算和存儲分離, 讓專業的機器做專業的事

短視頻背後的資料中心架構其實並不是特別複雜, 從視頻採集端到用戶端, 編解碼、使用者特徵分析由專門的計算節點完成;CDN節點負責熱點視頻的緩存加速和分發;高密度的存儲節點用於存儲平臺的視頻資料。

CDN節點, 考慮如何讓熱點資料最快發出

由於視頻流量大, 因此CDN節點所承載的輸送量較大, 因此對於存儲容量和擴容的便捷度要求更高。 另外由於CDN需要存儲的資料熱度不一, 比如1年前的自拍視頻, 和最熱網紅的最新出品的點擊率有天壤之別。 因此, 視頻資料需要分級存儲, 將不同熱度資料放在不同的存儲介質中, 充分發揮部件的利用效率, 提升存儲能效比。

對於CDN伺服器的選擇, 通常會需要計算和存儲兩類伺服器來支撐:計算型主要用於處理分發任務等, CPU採用較高主頻即可, 對於記憶體和硬碟容量的要求並不高;存儲型則用於在關鍵節點的資料存儲和快速分發,因此要求IT架構中需要大容量的SSD或者高速HDD來應對。

在伺服器的選擇上可以考慮浪潮SA5212M5這種計算存儲均衡類伺服器,。在存儲性能上,SA5212M5搭配12塊大容量SATA硬碟,單塊容量達到8T,單機可容納96T的CDN資料,滿足CDN集群的龐大資料容量需求。而對於相對熱的資料,SA5212M5中可加入的4塊2.5寸SSD盤位元,將提升系統整體回應速度,經實測,使用SSD固態硬碟後單台伺服器的服務能力提升了1倍以上。

高密存儲節點,考慮如何提升存儲能效比

作為存儲節點的高密度伺服器本身不需要太高的計算處理性能,因此可以選擇基於Intel Xeon-D處理器家族的SA5224M4機型,搭配單顆D-1521 CPU,借助Xeon-D的SOC特性和低功耗優勢,通過大容量8T硬碟的使用,以追求更優的TCO收益。

從實際測試資料來看來看,搭載D-1531 CPU的SA5224M4的計算性能已經達到原E5-2620V3 平臺伺服器的80%左右,但是單CPU的TDP(散熱設計功耗)只用45W,相比傳統E5 CPU功耗降低35W以上。一般伺服器的生命週期為三年,這樣算下來,1000台的存儲伺服器集群就能節省下至少1050萬的電費。

高硬碟IO和網路IO

在短視頻的傳遞鏈條中,從使用者端上傳的視頻可以直接存入4U36盤位元組成的存儲集群中,並通過分佈在各地的CDN節點傳送給用戶端觀看,這樣自然對後端存儲伺服器的硬碟IO表現有著較高的要求。而目前應用的SA5224M4機型,其36盤位元順序寫的總頻寬接近4.8GB,順序讀接近6GB,有力支撐了這種硬碟高IO讀寫的性能需求。此外,借助SA5224M4的板載萬兆優勢,可構建起10Gb的內部高速互聯網路,保障了資料訪問和傳輸所需的網路頻寬。

更高的機櫃部署密度

同時,衡量伺服器的磁片密度不僅要看每U空間支援的磁片數量,更要放在機房供電環境下評估單機櫃支援的磁片密度。基於Intel Xeon-D平臺的集成性和低功耗優勢,在20A的機櫃中,42U的空間內,SA5224M4可部署9-10台,單機櫃磁片部署密度提升25%,即以往雙路4U36需要部署5個機櫃的磁片密度,當前4個機櫃就能解決。不僅提高了單機櫃供電利用效率,更減少了租賃機櫃的數量,節省伺服器生命週期內的運營成本。

基於Xeon-D平臺的浪潮SA5224M4高密存儲伺服器

短視頻無疑是2017年投資的風口,在互聯網巨頭爭相佈局的同時,不妨審視一下自己的資料中心:你真的為海量視頻資源找到理想的存儲選擇了嗎?

對於記憶體和硬碟容量的要求並不高;存儲型則用於在關鍵節點的資料存儲和快速分發,因此要求IT架構中需要大容量的SSD或者高速HDD來應對。

在伺服器的選擇上可以考慮浪潮SA5212M5這種計算存儲均衡類伺服器,。在存儲性能上,SA5212M5搭配12塊大容量SATA硬碟,單塊容量達到8T,單機可容納96T的CDN資料,滿足CDN集群的龐大資料容量需求。而對於相對熱的資料,SA5212M5中可加入的4塊2.5寸SSD盤位元,將提升系統整體回應速度,經實測,使用SSD固態硬碟後單台伺服器的服務能力提升了1倍以上。

高密存儲節點,考慮如何提升存儲能效比

作為存儲節點的高密度伺服器本身不需要太高的計算處理性能,因此可以選擇基於Intel Xeon-D處理器家族的SA5224M4機型,搭配單顆D-1521 CPU,借助Xeon-D的SOC特性和低功耗優勢,通過大容量8T硬碟的使用,以追求更優的TCO收益。

從實際測試資料來看來看,搭載D-1531 CPU的SA5224M4的計算性能已經達到原E5-2620V3 平臺伺服器的80%左右,但是單CPU的TDP(散熱設計功耗)只用45W,相比傳統E5 CPU功耗降低35W以上。一般伺服器的生命週期為三年,這樣算下來,1000台的存儲伺服器集群就能節省下至少1050萬的電費。

高硬碟IO和網路IO

在短視頻的傳遞鏈條中,從使用者端上傳的視頻可以直接存入4U36盤位元組成的存儲集群中,並通過分佈在各地的CDN節點傳送給用戶端觀看,這樣自然對後端存儲伺服器的硬碟IO表現有著較高的要求。而目前應用的SA5224M4機型,其36盤位元順序寫的總頻寬接近4.8GB,順序讀接近6GB,有力支撐了這種硬碟高IO讀寫的性能需求。此外,借助SA5224M4的板載萬兆優勢,可構建起10Gb的內部高速互聯網路,保障了資料訪問和傳輸所需的網路頻寬。

更高的機櫃部署密度

同時,衡量伺服器的磁片密度不僅要看每U空間支援的磁片數量,更要放在機房供電環境下評估單機櫃支援的磁片密度。基於Intel Xeon-D平臺的集成性和低功耗優勢,在20A的機櫃中,42U的空間內,SA5224M4可部署9-10台,單機櫃磁片部署密度提升25%,即以往雙路4U36需要部署5個機櫃的磁片密度,當前4個機櫃就能解決。不僅提高了單機櫃供電利用效率,更減少了租賃機櫃的數量,節省伺服器生命週期內的運營成本。

基於Xeon-D平臺的浪潮SA5224M4高密存儲伺服器

短視頻無疑是2017年投資的風口,在互聯網巨頭爭相佈局的同時,不妨審視一下自己的資料中心:你真的為海量視頻資源找到理想的存儲選擇了嗎?

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示