您的位置:首頁>科技>正文

「最新」IBM 深度學習框架PowerAI,將訓練時間從幾周變成幾小時

新智元編譯

新的 PowerAI 軟體由四個主要部分組成

IBM 日前宣佈在 Power Systems 上發佈深度學習軟體PowerAI 的新版本。 這一 GPU 驅動的 AI 軟體通過簡化對開發經驗的需求和對資料準備的要求, 來解決資料科學家和開發人員面臨的主要挑戰, 同時將 AI 系統訓練所需的時間, 從幾周變為了幾個小時。

新的 PowerAI 軟體由四個主要部分組成:

“AI Vision”是為深度學習知識有限的開發人員設計的一種工具, 用於訓練和部署電腦視覺的深度學習模型。

集成了 ApacheSpark 的 IBM Spectrum Conductor 集群虛擬化軟體集成, 輕鬆轉換非結構化和結構化資料集, 為其用於深度學習訓練做準備。

TensorFlow(穀歌構建的開源機器學習框架)的分散式運算版本, 可以在GPU 加速伺服器的虛擬化集群上運行, IBM 表示這將學習訓練時間從幾周削減到幾個小時。

“DL Insight” 是一種新工具, 可説明資料科學家通過監控深度學習訓練過程並自動調整參數以達到最佳性能, 從而提高深度學習模型的準確性。

“我們增加了一套工具來使資料科學家的工作變得更輕鬆, 我們增加了一些功能來加快訓練時間。 ”IBM 主管 HPC、AI 和 Analytic 的副總裁 Sumit Gupta 說, “PowerAI使資料科學家和開發人員更容易地使用 AI 來構建應用程式, 而不必編寫複雜的代碼, 擔心集群管理之類的問題。 ”

Power Systems 與 x86 形成鮮明對比

IBM Cognitive Systems 高級副總裁 BobPicciano 說:“PowerAI的目標是盡可能簡單、直觀和有效地讓資料科學家和新興的認知技術開發者社群進入AI 的世界。 PowerAI 減少了等待的挫折感並提高了生產力。 Power Systems 專為資料和下一代計算而設計, 與過去為客戶/伺服器可程式設計時代設計的 x86 伺服器形成鮮明對比。

電子內容管理公司Elinar Oy Ltd 的 CTO Ari Juntunen 表示:“IBM PowerAI 在帶有GPU 加速器的Power servers 上提供了至少兩倍於我們 x86 平臺的性能。 無論是增加記憶體還是設置新伺服器, 一切都更快捷簡便了。 ”

IBM 還引用了韓國電力研究院(KEPRI)的例子, 該機構希望使用無人機來檢查高壓電力線路。

“我們需要一個深度學習和高速存儲平臺, 可以處理和存儲我們從無人機上獲得的大量圖像/視頻, ”KEPRI 的陳武霖說, “(PowerAI)滿足了這些需求, 使我們能夠改進系統, 同時為我們降低成本。 ”

IBM 的 Gupta 表示, KEPRI 的需求是典型的電腦視覺工作負載的簡化, PowerAI 和 AIVision 正是為此設計的。

他說:“耗時的部分原因是在 100M圖像上使用像 TensorFlow 這樣的框架。 當您有100M的圖像需要轉換並準備輸入到 TensorFlow 中時, 您就會遇到挑戰。

我們使用SpectrumConductor 自動化資料準備和 ETL, 它會自動啟動整個 Spark 工作群集, 每個Spark 一次轉換500萬個圖像。 從用戶的角度來看, 他們甚至不知道...它在集群上發起了大量的工作, 他們只知道資料正在被轉換。 ”

PowerAI 支援新的 NVIDIA Volta

PowerAI 針對用於 HPC 的IBM Power Systems S822LC 進行了優化, 用於資料密集型的工作負載, 如深度學習、機器學習和AI。 NVIDIA NVLink 高速互連可實現IBMPOWER 處理器和NVIDIA GPU 的緊密集成。 POWER 處理器和NVIDIA GPU 之間的“超高速公路”有助於在兩種類型的處理器之間實現極快速的資料移動。 這種獨特的CPU 到GPU 耦合在AI 訓練中能夠提供更高的性能, 這是開發人員生產力的關鍵指標。 它能夠以更快的速度實現創新, 因此開發人員可以開發和嘗試新的模型、參數設置和資料集。

PowerAI 將支持剛剛發佈的 NVIDIAVolta 架構。 Volta具有下一代NVLink , 配有兩個關鍵性的增強功能,能夠為 PowerAI 用戶帶來:(a)Power9CPU 和 Volta GPU 之間的資料傳輸比 VoltaGPU 和 x86 CPU 之間的資料傳輸速度要快10倍,其依賴於舊的 PCI-e 3.0 介面,4年前首次引入;(b)由於記憶體一致,可以在連接到 Power9 CPU 和 GPU 記憶體的系統記憶體之間自動移動資料,程式設計GPU 加速器對於軟體發展人員來說更容易了。

關於PowerAI

深度學習框架PowerAI的組建、測試和預先分發運行在為AI 構建的IBM Power System 伺服器上。這一硬體和軟體的組合能夠輕鬆處理計算任務很重的工作負載。PowerAI為資料科學家和開發人員提供了最快的開發速度,無論是在企業內部部署還是在雲中。

PowerAI 生態系統包括來自ContinuumAnalytics 的Anaconda,H2O 的H2O 機器學習庫,Bons.ai 的 AI軟體發展工具等許多軟體。

連結:https://www.hpcwire.com/2017/05/10/ibm-powerai-tools-aim-ease-deep-learning-data-prep-shorten-training/

新智元招聘

職位:客戶總監

職位年薪:30 - 60萬(工資+獎金)

工作地點:北京-海澱區

所屬部門:客戶部

彙報物件:COO

下屬人數:8 人

年齡要求:25 歲 至 40 歲

性別要求:不限

工作年限:5 年

語 言:英語 + 普通話

學歷要求:全日制統招本科

職位描述:

熱愛人工智慧,在行業內有一定的人脈資源和影響力;

為客戶制定媒體關係策略和公關活動策劃,達成客戶的市場或傳播目標;

負責監督公關專案的計畫和實施,使專案能按期在預算內完成;

積極拓展客戶資源,開發公司業務,與既有客戶保持緊密的業務聯絡和溝通;

監督、管理及考核客戶服務團隊,全面提升公司客戶服務品質;

理工科背景優先,有知名企業或知名媒體機構工作經驗者優先。

應聘郵箱:jobs@aiera.com.cn

新智元歡迎有志之士前來面試,更多招聘崗位請點擊【新智元招聘】查看。

配有兩個關鍵性的增強功能,能夠為 PowerAI 用戶帶來:(a)Power9CPU 和 Volta GPU 之間的資料傳輸比 VoltaGPU 和 x86 CPU 之間的資料傳輸速度要快10倍,其依賴於舊的 PCI-e 3.0 介面,4年前首次引入;(b)由於記憶體一致,可以在連接到 Power9 CPU 和 GPU 記憶體的系統記憶體之間自動移動資料,程式設計GPU 加速器對於軟體發展人員來說更容易了。

關於PowerAI

深度學習框架PowerAI的組建、測試和預先分發運行在為AI 構建的IBM Power System 伺服器上。這一硬體和軟體的組合能夠輕鬆處理計算任務很重的工作負載。PowerAI為資料科學家和開發人員提供了最快的開發速度,無論是在企業內部部署還是在雲中。

PowerAI 生態系統包括來自ContinuumAnalytics 的Anaconda,H2O 的H2O 機器學習庫,Bons.ai 的 AI軟體發展工具等許多軟體。

連結:https://www.hpcwire.com/2017/05/10/ibm-powerai-tools-aim-ease-deep-learning-data-prep-shorten-training/

新智元招聘

職位:客戶總監

職位年薪:30 - 60萬(工資+獎金)

工作地點:北京-海澱區

所屬部門:客戶部

彙報物件:COO

下屬人數:8 人

年齡要求:25 歲 至 40 歲

性別要求:不限

工作年限:5 年

語 言:英語 + 普通話

學歷要求:全日制統招本科

職位描述:

熱愛人工智慧,在行業內有一定的人脈資源和影響力;

為客戶制定媒體關係策略和公關活動策劃,達成客戶的市場或傳播目標;

負責監督公關專案的計畫和實施,使專案能按期在預算內完成;

積極拓展客戶資源,開發公司業務,與既有客戶保持緊密的業務聯絡和溝通;

監督、管理及考核客戶服務團隊,全面提升公司客戶服務品質;

理工科背景優先,有知名企業或知名媒體機構工作經驗者優先。

應聘郵箱:jobs@aiera.com.cn

新智元歡迎有志之士前來面試,更多招聘崗位請點擊【新智元招聘】查看。

Next Article
喜欢就按个赞吧!!!
点击关闭提示