您的位置:首頁>正文

金山雲跟英特爾合作推出KMR,發力人工智慧

日前, 金山雲和英特爾合作推出資料分析領域解決方案KMR(Kingsoft MapReduce)。 KMR採用英特爾至強處理器E5 v4產品家族的硬體平臺, 是一個可伸縮的通用資料計算和分析平臺。 它以Apache Hadoop 和 Apache Spark兩大資料計算系統為基礎, 通過自動調度彈性計算服務(KEC), 能夠説明企業使用者快速構建分散式資料分析系統。

金山雲的發展大致分為三個階段:雲計算、大資料以及人工智慧。

雲計算, 說白了就是以IaaS和虛擬化等技術為核心支撐, 讓企業將其業務放到雲端, 降低企業的部署成本, 並且加速企業業務的發展。 接下來, 雲上會產生很多資料, 必須要有利用這些資料驅動企業進行決策的能力,

這個時候就需要以Hadoop為代表的大資料處理技術。 第三步, 其實就是人工智慧, 像人臉識別等, 這本身就是一個對性能和規模有非常高要求的行業, 天然適合上雲, 所以之後金山雲會著重佈局。

要實現這些的基礎, 就是靠金山雲機器學習平臺 KML(Kingsoft Machine Learning), 這是機器學習/深度學習任務託管平臺, 底層基於金山雲高性能異構計算集群, 融合了 Intel 等合作夥伴的技術。

會上, 金山雲大資料和AI技術總監張東進從成本、效率、性能、安全四方面闡述了KML的價值:

成本方面, 平臺會按實際的運營時間收費, 這樣就能幫企業省去系統研發和維護成本。

效率方面, 這是一個全功能的深度學習集成環境, 包括TensorFlow, 以及英特爾的BigDL等框架。 由於是全流程平臺, 所以從整個物料的預處理、物料的存儲、物料的訓練、評估、上線預測等等方面都提供完整的支援。

安全方面, 做人工智慧最核心的不是演算法, 還是資料。 KML可以提供一個企業級的資料加密和企業級HPC集群保證資料安全。


性能上, 底層是基於成熟的異構計算集群, 其中就包括英特爾給提供的高性能E5系列的CPU, 以及萬兆網卡和英特爾SSD技術。

至於英特爾方面, 技術專家也表示, 目前和金山雲一直在努力合作的部分是, 端到端、雲上大資料解決方案。 拿最典型的KMR計算舉例, 資料是放在塊存儲還是放在物件存儲呢?這個實際上是有不同的配置, 比如使用者想節省成本, 想成本最低, 都是批次處理, 這個時候可能把資料全放在底層物件存儲, 用KS3做物件存儲, 這樣的話, 當計算的時候, Spark直接從物件存儲調用資料計算。 同樣, 如果說想保證效率, 計算的即時性要求很高, 這個時候可以在記憶體裡面建立一個記憶體檔案系統, 現在叫Alluxio, 把熱資料全部緩存在記憶體裡面,

直接用上面的KML或者是Spark實現記憶體計算, 保證查詢的即時性和計算的即時性。

所以, 英特爾和金山雲的合作目的是對每一個模組進行優化, 按照雲的特性, 大資料的特性, 把雙方結合起來。

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示