您的位置:首頁>科技>正文

紫光西部數據胡曉雷:快資料和大資料才是資料新維度

在賽迪顧問股份有限公司舉辦的2017年中國IT市場上, 紫光西部資料副總裁胡曉雷發表主題為“以資料成就未來”的主題演講, 詳細闡述了紫光西部資料對未來資料的認識和自身的應對方案。 和自身的應對方案。

紫光西部資料副總裁胡曉雷

隨著中國經濟的快速發展和“互聯網+”浪潮的推動, 資料正以超出人們想像的速度爆炸式增長。 資料所體現的價值越來越重要, 資料的形態對經濟、社會方面產生了非常劇烈的影響。 2016年~2020年, 資料的年均複合增長率達到40%, 而人類對存儲介質的生產能力來看, 存儲容量的複合增長率僅為28%。 這就是大資料的挑戰。

資料分類新維度:快資料和大資料

胡曉雷認為, 大資料有兩個特點:第一, 資料快速產生, 資料量大, 擴展快速。 第二, 需要在這個資料裡面挖掘巨大的價值。 為了大資料的這些特性, 紫光西部素具提出了另一個全新的概念——塊資料(Fast Data)。

將資料分為大資料和快資料兩類。

二者之間存在互動的關係。 度大資料新型挖掘、分析, 那麼這些資料就成為了快資料, 而快資料隨著時間的沉澱, 利用率會逐漸變低, 成為大資料。 在新的時代下, 以快資料和大資料的分類, 會比以往關於結構化資料、非結構化資料、企業級數據、消費者資料會更容易去根據這樣的全新資料屬性構建所需要的存儲系統。

目前來看, 70%多的資料都會集中在大資料的分佈上, 只有30%的資料才是使用者需要時時進行挖掘處理, 對存儲系統要求是有一個非常高的要求。

全供應快閃記憶體系統滿足新型快資料存儲需求

目前, 存儲介質實際上都是圍繞著CPU來進行構建的。 不同介質的性能不同的, 離CPU越近的介質, 性能越強勁。 現在最流行物理磁片, 容量很大的, 但性能相比於Flash還是要低很多。 SSD是一個非常好的介質, 通常用SSD來構建快資料的存儲系統, 構建大資料存儲系統會大大增加成本。

實際上紫光西部資料還認為, 在現在誕生這麼多存儲介質以後還有一個更加聰明的做法:在西部資料的存儲系統中,

既有冷資料的存儲空間, 又有資料的存儲空間, 還有熱資料的存儲空間, Meta-data依然會放在SSD這一層裡面。 這裡有一個非常創新以及非常獨特的方案, 就是把Meta-data的縮影放在NVRAM這一層, 這一層是目前最接近CPU, 在存儲系統這一層能夠干預和改變的在存儲架構設計的一部分。 也就是說能把mate data以及在冷熱資料和普通資料進行有效劃分的話, 這樣的新一代存儲系統就性能和成本方面能夠做到最佳平衡, 專門針對於快資料。

(作者:鹿文亮)

Next Article
喜欢就按个赞吧!!!
点击关闭提示