日前, 金山雲和英特爾合作推出資料分析領域解決方案KMR(Kingsoft MapReduce)。 KMR採用英特爾至強處理器E5 v4產品家族的硬體平臺, 是一個可伸縮的通用資料計算和分析平臺。 它以Apache Hadoop 和 Apache Spark兩大資料計算系統為基礎, 通過自動調度彈性計算服務(KEC), 能夠説明企業使用者快速構建分散式資料分析系統。
金山雲的發展大致分為三個階段:雲計算、大資料以及人工智慧。
雲計算, 說白了就是以IaaS和虛擬化等技術為核心支撐, 讓企業將其業務放到雲端, 降低企業的部署成本, 並且加速企業業務的發展。 接下來, 雲上會產生很多資料, 必須要有利用這些資料驅動企業進行決策的能力,
要實現這些的基礎, 就是靠金山雲機器學習平臺 KML(Kingsoft Machine Learning), 這是機器學習/深度學習任務託管平臺, 底層基於金山雲高性能異構計算集群, 融合了 Intel 等合作夥伴的技術。
會上, 金山雲大資料和AI技術總監張東進從成本、效率、性能、安全四方面闡述了KML的價值:
成本方面,
平臺會按實際的運營時間收費,
這樣就能幫企業省去系統研發和維護成本。
效率方面,
這是一個全功能的深度學習集成環境,
包括TensorFlow,
以及英特爾的BigDL等框架。
由於是全流程平臺,
所以從整個物料的預處理、物料的存儲、物料的訓練、評估、上線預測等等方面都提供完整的支援。
安全方面, 做人工智慧最核心的不是演算法, 還是資料。 KML可以提供一個企業級的資料加密和企業級HPC集群保證資料安全。
性能上,
底層是基於成熟的異構計算集群,
其中就包括英特爾給提供的高性能E5系列的CPU,
以及萬兆網卡和英特爾SSD技術。
至於英特爾方面, 技術專家也表示, 目前和金山雲一直在努力合作的部分是, 端到端、雲上大資料解決方案。 拿最典型的KMR計算舉例, 資料是放在塊存儲還是放在物件存儲呢?這個實際上是有不同的配置, 比如使用者想節省成本, 想成本最低, 都是批次處理, 這個時候可能把資料全放在底層物件存儲, 用KS3做物件存儲, 這樣的話, 當計算的時候, Spark直接從物件存儲調用資料計算。 同樣, 如果說想保證效率, 計算的即時性要求很高, 這個時候可以在記憶體裡面建立一個記憶體檔案系統, 現在叫Alluxio, 把熱資料全部緩存在記憶體裡面,
所以, 英特爾和金山雲的合作目的是對每一個模組進行優化, 按照雲的特性, 大資料的特性, 把雙方結合起來。