您的位置:首頁>科技>正文

IBM全新的,可擴展的和分散式的深度學習軟體與AI巨頭們展開競爭

我們一直在關注IBM的人工智慧(AI)方面的工作, IBM開展人工智慧(AI)研究已經有一段時間了。 在我們看來, 正是由於這家公司在21世紀的早期引進了沃森(Watson)後從而開始了人工智慧現在的發展週期, 並且從那以後IBM一直在不斷地加大力度。 最近, IBM推出的PowerAI--這個IBM的軟體工具包解決方案與OpenPOWER系統配合使用, 用於那些不想從頭開始來開發他們的AI解決方案但仍然希望能夠根據他們特定的深度學習需求進行定制的企業。 今天, IBM Research宣佈了一項新的突破, 這將只會進一步加強PowerAI及其他AI產品, 這是一個突破性的分散式深度學習(DDL)軟體。

圖1、IBM的PowerAI

擺脫單節點瓶頸

任何一個一直關注AI的人都知道, 深度學習(deep learning)在過去的幾年裡真正起了作用。 它為消費者和商業領域的數百種應用提供支援, 並且還在持續增長。 然而, 阻礙深度學習進一步激增的最大問題之一是可擴展性問題。 今天大多數AI伺服器只是一個單一的系統,

而不是多個系統的組合。 最流行的開源深度學習軟體框架在多台伺服器上表現不佳, 成為了一個耗時的瓶頸。 換句話說, 儘管許多資料科學家能夠訪問具有四到八個GPU的伺服器, 但是他們卻無法利用它並擴展到單個節點之外。

圖2、IBM的PowerAI

IBM DDL輸入庫:這是使用IBM Research獨特的集群方法構建的庫, 連結到領先的開源AI框架(如TensorFlow, Caffee, Torch和Chainer)。 與舊的處理模式不同, 通過DDL, 這些框架可以擴展到數十台IBM伺服器中, 並充分利用數百個GPU。 為了描繪一張照片, 當IBM最初試圖用ImageNet-22K資料集來訓練一個模型時, 他們使用ResNet-101模型在一台Power Minsky伺服器上花了16天的時間, 並且使用了四台NVIDIA P100 GPU加速器。 為期16天的訓練意味著大大延遲了洞察力, 並且可能嚴重阻礙生產力。

IBM把DDL稱為“深度學習的噴氣發動機” - 一個吸引人的名字, 在我們看來, 這個名字實在不算太離譜。 IBM公司表示, 使用DDL技術, 他們能夠在64台Power Minsky伺服器上將相同的流程縮短到7個小時, 總共用到256個NVIDIA P100 GPU加速器。 讓我們再重申一下:從16天下降到了7小時。 如果這些結果是準確的,

我們相信它們是正確的, 那麼我們就有理由認為它有一個真正的改變遊戲規則的技術呢? IBM在7個小時內的33.8%準確度的新圖像識別記錄輕鬆超過了微軟公司以前的行業記錄, 此前的記錄是在10天內達到了29.9%的準確率。 為了完成這一切, IBM表示其DDL可以高效擴展 - 多達256個GPU, Caffe深度學習框架的效率高達95%。

圖3、IBM的PowerAI平臺

現在可用的測試版

開發人員不必等待就嘗試這種新技術。 IBM Research正在為IBM系統提供一個DDL的測試版, IBM系統現在已經發佈了新版本的IBM PowerAI(TensorFlow和Caffe, Torch和Chainer即將推出)。 我們認為這將成為Power systems系統的一個重要補充, 我們稱之為“瑞士軍刀般的加速器” - 標準PCI Express, CAPI和NVLink, 並且都被封裝在一個平臺上。

圖4、IBM的PowerAI助力AI發展

關於DDL的另一個值得注意的事情是,它不僅可以在本地使用,還可以通過雲端 - 通過名為Nimbix的雲提供商來提供。在今天的混合動力環境中,這種靈活性顯然是一個優點。開發人員現在可以在Nimbix或者IBM Power Systems伺服器上試用它。

結語

對我們來說最有趣的事情之一就是這個新技術是來自於IBM,而不是像Google或者Facebook那樣名頭更響亮的AI支持者。看起來,如果IBM能夠繼續把這種“第一”帶到桌面上,那麼IBM確實不僅僅是一家AI的主要參與企業,而是深度學習領域的整體推動者。 我們認為DDL和OpenPOWER將給IBM帶來AI所需的一個秘訣 - 顯著縮短訓練時間,提高準確性和效率。我們會繼續關注這一領域的發展,但我認為通過擺脫AI的發展瓶頸,DDL有可能真正打開深度學習閘門,IBM的PowerAI和OpenPOWER可能是一個真正的遊戲改變者。

(完)

圖4、IBM的PowerAI助力AI發展

關於DDL的另一個值得注意的事情是,它不僅可以在本地使用,還可以通過雲端 - 通過名為Nimbix的雲提供商來提供。在今天的混合動力環境中,這種靈活性顯然是一個優點。開發人員現在可以在Nimbix或者IBM Power Systems伺服器上試用它。

結語

對我們來說最有趣的事情之一就是這個新技術是來自於IBM,而不是像Google或者Facebook那樣名頭更響亮的AI支持者。看起來,如果IBM能夠繼續把這種“第一”帶到桌面上,那麼IBM確實不僅僅是一家AI的主要參與企業,而是深度學習領域的整體推動者。 我們認為DDL和OpenPOWER將給IBM帶來AI所需的一個秘訣 - 顯著縮短訓練時間,提高準確性和效率。我們會繼續關注這一領域的發展,但我認為通過擺脫AI的發展瓶頸,DDL有可能真正打開深度學習閘門,IBM的PowerAI和OpenPOWER可能是一個真正的遊戲改變者。

(完)

Next Article
喜欢就按个赞吧!!!
点击关闭提示