人工智慧的熱潮正在席捲各個行業， 如何讓各式各樣的設備都智慧化已成為研究熱點。 機器學習中最流行的深度學習通常需要較大的計算量， 因此伺服器加上高性能顯卡成為最常見的選擇。
不過， 此類組合平臺在功耗和體積上都存在較大限制， 無法使用在終端設備或者物聯網設備， 如監控攝像頭、無人機等。 針對這種情況， 比較可行的方法是將資料通過網路發送到雲端伺服器， 但這會耗費大量網路流量和頻寬， 並且很難保證計算的即時性。 另外一個方法是使用專用晶片或FPGA加速， 在性能和功耗方面取得折中，
針對上述問題， 英特爾給出了自己的方案——英特爾Movidius™神經元計算棒！
一個小小的計算棒如何能加速用戶端計算？讓我們一起走進Movidius™神經元計算棒， 瞭解其基本結構、實用工具和程式設計方法， 讓大家能夠更好地瞭解其在計算、開發、部署方面的特性。
Movidius神經網路加速晶片
Movidius神經網路加速晶片是整個技術的核心。 Movidius提供代號為Myraid的VPU(Video Processing Units)， 當前正在推廣是Myraid2 MA2X5X系列， 其兩款產品MA2150和MA2155的主要差異在於記憶體大小：前者為1G記憶體， 後者為4G記憶體。 Myraid2提供大概1T Flops的計算能力， 功耗均值約為1瓦。
Myraid2晶片結構如上圖所示， 2個羽量級CPU運行一個即時系統RTOS， 管理各種外設， 讀取卷積神經網路模型。 晶片的核心部件是向量計算單元（SHAVE）， 這種單元最多有12個， 參與計算的SHAVE數量將會直接影響程式性能。
Movidius會為特定的客戶提供開發板， 但對普通用戶而言， 通用、簡單的介面和封裝往往更受歡迎。 英特爾Movidius推出了基於Myraid2晶片的神經元計算棒， 將所有的功能封裝到了U盤大小的設備中， 使用者只需要將計算棒插入USB 2.0（推薦USB3.0）以上的介面中， 即可享用機器學習的強大功能。
Movidius開發套件可以從https://ncsforum.movidius.com 免費下載。 開發套件主要包含了三部分：函式程式庫、工具和開發實例， 當前推薦的開發環境為Ubuntu 16.04， x86_64。 為了支援更多IOT設備， Raspberry Pi也可以運行。
需要注意的是， Movidius™神經元計算棒主要是用於做深度學習的模型推理， 而對模型的訓練建議使用其他平臺。
當用戶考慮將已經訓練好的模型在神經元計算棒上使用時， 總是迫不及待想知道其性能， SDK中有一個非常有用的profiler工具可以把使用者的模型載入到計算棒中， 快速進行性能驗證。 在bin目錄下的運行mvNCProfile.pyc， 將模型作為參數輸入， 並用參數-s 來設定SHAVE的個數。SHAVE越多性能越好，最多為12個。
上圖是驗證Alexnet在Myraid2上使用12個SHAVE的性能，工具會給出模型中每層的執行時間和記憶體的消耗情況。當使用12個SHAVE時，Alexnet運行一次的時間為89.06 ms，而使用1個SHAVE時，其執行時間為281.06 ms。
目前Movidus開發套件支援C和Python3程式設計，在SDK中有很多例子，如常見的Alexnet, Googlenet, Squeezenet等都有實例，使用者可以很快上手。如果單個計算棒的性能不夠，還可以使用多個進行加速，取得線性加速比。
Movidius計算平臺幫助開發者快速構建神經網路加速器，推動人工智慧的應用。目前已經在無人機、AR、機器人甚至是可穿戴設備上得到應用 。如大疆最新的無人機Spark採用了Myraid2晶片來加速影像處理演算法，Google的Clips也採用Movidius 晶片來加速機器學習演算法。下一代MyraidX晶片將會帶來更強的計算能力和更低能耗比，為用戶帶來更多選擇。
上圖是驗證Alexnet在Myraid2上使用12個SHAVE的性能，工具會給出模型中每層的執行時間和記憶體的消耗情況。當使用12個SHAVE時，Alexnet運行一次的時間為89.06 ms，而使用1個SHAVE時，其執行時間為281.06 ms。
目前Movidus開發套件支援C和Python3程式設計，在SDK中有很多例子，如常見的Alexnet, Googlenet, Squeezenet等都有實例，使用者可以很快上手。如果單個計算棒的性能不夠，還可以使用多個進行加速，取得線性加速比。
Movidius計算平臺幫助開發者快速構建神經網路加速器，推動人工智慧的應用。目前已經在無人機、AR、機器人甚至是可穿戴設備上得到應用 。如大疆最新的無人機Spark採用了Myraid2晶片來加速影像處理演算法，Google的Clips也採用Movidius 晶片來加速機器學習演算法。下一代MyraidX晶片將會帶來更強的計算能力和更低能耗比，為用戶帶來更多選擇。