軟體可程式設計， 硬體可程式設計， I/O也可程式設計！既能軟體定義， 又能硬體優化， 管你市場風雲變幻， 管你市場標準、用戶需求如何莫測， 賽靈思All Programmable (全可程式設計晶片) 都能像變形金剛一樣, 讓用戶的設計永居科技前沿！然而， 由於可程式設計器件硬體程式設計模式的限制， 全可程式設計的解決方案一直惠及的只是少數擁有硬體專業知識的工程設計者。 儘管賽靈思通過高層次綜合工具Vivado HLS 以及軟體定義設計環境系列SDSoC/SDAccel 讓上千使用者也享受到了硬體加速設計的優勢， 但是這些還是遠遠不能滿足市場對全可程式設計技術的需求。
reVISION: 將全可程式設計技術擴展至廣泛的視覺導向機器學習應用
機器學習的應用正迅速地擴展至越來越多的終端市場， 在使用者端、在雲端或者在那些基於端處理與基於雲的資料分析相結合的混合解決方案中。 面向雲應用， 賽靈思最近推出了可重配置加速堆疊（2016年11月推出）， 目標直指包括機器學習推斷在內的各種計算加速應用。
廣泛的賽靈思視覺和機器學習應用
如圖2 所示， 放眼全球， 賽靈思已經成為眾多企業構建先進嵌入式視覺系統的最佳選擇。 截至今天， 全球已經有23 家汽車製造商在 85 款不同車型的 ADAS 系統中部署了賽靈思先進的嵌入式視覺系統， 另外還有數百家嵌入式視覺客戶在其他數千種應用中也部署了賽靈思的先進嵌入式視覺系統。 其中至少有40家已經在開發或部署機器學習技術以大幅提高系統的智慧。 現在， 大多數的賽靈思視覺客戶包括具有很強硬體專長的工程師們， 都看准了 Zynq® All Programmable SoC 和 MPSoC 的應用
圖 2：賽靈思嵌入式視覺行業成就
reVISION 的目標應用和使命
賽靈思正在為一些熱門市場的應用提供支援。 在這些市場中， 差異化至關重要， 系統必須回應迅速， 最新演算法和感測器必須能夠被快速部署。 這些應用包括“專業消費類”應用、汽車、工業、醫療、航空航太、軍用以及高端前沿消費者應用。 這些應用通常不包括部署在差異化較低的“夠用就好”或者發展成熟的技術之上的非常大批量的消費類應用或者主流商品化應用在。
如圖 3 所示， 眾多的傳統嵌入式視覺應用通過採用機器視覺和感測器融合技術後都在發生巨變。
圖3. 從嵌入式視覺到視覺導向的自主系統
下一代應用包括協作機器人、具有感應和躲避功能的無人機、增強現實、自動駕駛汽車、自動化監視和醫療診斷等。 這些系統通常具有三大使命：
1.系統不僅要會思考，而且還能對情境立即做出“回應”。這就要求一個從感應到處理、分析、決策、通信和控制整個流程中更一致的視圖。同時還要高效實施、部署最新機器學習技術，滿足8位及更深層面的精確性要求。注意，針對機器學習訓練優化的技術繼續偏離對機器學習推斷優化的技術。 賽靈思已經專門為推斷技術優化了其全可程式設計器件系列。
圖4：下一代視覺導向系統的應用使命
2.鑒於神經網路和相關演算法的快速變化以及感測器的快速發展，必須實現靈活性，能通過軟硬體的可重配置性升級系統。
3.由於許多新系統都連接到了一起（物聯網），因此需要既能與傳統的已有設備通信，也能與未來推出的新設備通信，同時還要能夠進行雲端通信。賽靈思將此定義為任意互聯。
賽靈思器件可以獨特地支持以上所有三大使命， 且比其它替代方案擁有顯著的和可測量的優勢。 通過高效的推斷和控制，賽靈思實現了感測器的最快回應時間，支援最新的神經網路，演算法和感測器的可重構性，並支援與傳統或新機器、網路和雲的任意連接。
圖5：賽靈思獨特的應用優勢
然而，賽靈思器件的這些優勢原來只有那些擁有硬體或者RTL 設計專長的專業用戶才能受益，對於更廣泛的應用和支持使用行業標準庫和框架進行軟體定義程式設計，還存在巨大的障礙。 reVISION堆疊的誕生， 解決了這個通往廣泛應用的障礙。
圖6：廣泛應用的障礙
reVISION STACK
圖7：賽靈思reVISION 堆疊
賽靈思 reVISION 堆疊包括用於平臺、演算法和應用開發的豐富的開發資源，支援最流行的神經網路（諸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN）以及庫元素（如 CNN 網路層的預定義優化型實現方案，這也是構建定制神經網路 DNN/CNN 所需的）。配合豐富的滿足加速要求的 OpenCV 功能，支援機器視覺處理。對應用層面的開發來說，賽靈思支援流行的框架，包括用於機器學習的 Caffe 和用於電腦視覺的 OpenVX（將於 2017 年下半年推出）。reVISION 堆疊還包括賽靈思和協力廠商提供的基於 Zynq SoC 和 MPSoC 的開發平臺。
移除了通往廣泛應用的障礙
reVISION 堆疊支援一大批廣泛的設計團隊無需深層的硬體專業技術，使用軟體定義開發流程就能將機器學習和電腦演算法的高效實現方案整合到回應迅速的系統中。
圖8：reVISION 的軟體定義設計流程
如圖 8 所示，reVISION 開發流程從 熟悉的C、C++ 和/或 OpenCL 語言及相關編譯器技術的基於 eclipse 的開發環境（即 SDSoC 開發環境）啟動。在 SDSoC 環境中，軟體工程師和系統工程師能以 reVISION 硬體平臺為目標，並採用大量的加速就緒型電腦視覺庫，很快還能採用OpenVX框架，從而快速構建應用。
對於機器學習，我們可用 Caffe 等流行的框架來培訓神經網路，用 Caffe 生成的 .prototxt 檔對基於 ARM 的軟體調度器進行配置，從而驅動專門為可程式設計邏輯預先優化的CNN 推斷加速器。
對電腦視覺和其他專有演算法來說，使用者可對軟體代碼進行特徵分析，發現瓶頸，並在代碼中標出希望加速並進行“硬體優化”的特定功能。“系統優化編譯器”則用來創建加速的實現方案，包括處理器/加速器介面（資料移動器）和軟體驅動器。結合電腦視覺和機器學習功能，該編譯器能創建優化的融合實現方案。
如圖 9 左側所示，專家級賽靈思使用者採用傳統 RTL 設計流程，與 ARM 軟體發展人員合作，要花大量設計階段才能開發出高度差異化的機器學習和電腦視覺應用。
圖9：reVISION 堆疊 —— 移除通往廣泛應用的障礙
為進一步加快設計進程，減少對硬體專家的依賴，賽靈思大約在兩年前推出了基於 C、C++ 和 OpenCL 語言的 SDSoC 開發環境。雖然這幫助其它上千名能夠開發自己的基礎平臺、庫和應用的用戶大幅縮短了開發週期，但仍無法滿足廣泛機器學習應用推廣與部署的要求，而且機器學習也帶來了複雜問題。
如圖 10 所示，賽靈思的全新 reVISION 堆疊使更多軟體工程師和系統工程師無需掌握或只需掌握一點硬體設計專業技術，就能夠更輕鬆快速地開發出智慧嵌入式視覺系統，包括將機器學習和電腦視覺演算法的超高效實現方案整合到高回應性系統中。
圖10：賽靈思reVISION和Nvidia Tegra X1對比
最快回應性 —— 從感測器到推斷和控制的最低時延
如上所述，軟體定義的 reVISION 流程支援快速開發回應最快的系統。事實上，相比嵌入式 CPU 和典型 SoC 的性能參數，賽靈思的表現大大超越了英偉達 （ Nvidia） 這一強手。
將基於 Zynq SoC 的 reVISION流程與 Nvidia Tegra X1 進行基準對比可以看出，reVISION流程講機器學習的單位功耗圖像捕獲速度提升了6 倍，將電腦視覺處理的畫面播放速率提升了 42 倍，而時延僅為 1/5（以毫秒為單位），這些資料對即時應用而言都是至關重要的。
如圖 11 所示，擁有速度極快的確定性系統回應時間非常有用。我們從這個例子看到，一輛汽車採用賽靈思基於 Zynq SoC 的reVISION 與採用 Nvidia Tegra 的汽車一起識別潛在的碰撞事故並採取刹車，在速度為 65 mph 情況下，根據 Nvidia器件的具體實現方案，賽靈思的回應時間可以讓汽車在5到33英尺的距離停下，從而輕鬆實現安全刹車，避免碰撞。
圖11：回應時間為什麼重要：賽靈思和Nvidia Tegra X1的對比
回應時間的的這些顯著優點來源於Zynq SoC相對於嵌入式GPU和典型SoC的基本架構優勢。 如圖12所示，嵌入式GPU和典型SoC需要從感測器到視覺、機器學習和控制處理頻繁訪問外部記憶體。 相比之下，Zynq SoC部署了使用可程式設計邏輯和顯著多得多的內部記憶體（高達Nvidia Tegra X1的19倍）實現的優化和流線型資料流程。 這不僅實現了相對替代方案1/5的延遲，而且還實現了對於許多即時應用至關重要的確定性的回應能力。
面向最新網路和感測器的可重配置性
回應時間很重要，而賽靈思解決方案還提供了非常獨特的可重配置性優勢。為了能夠用尖端神經網路和機器學習推斷效率部署最佳系統，工程師必須能夠在整個產品的產品生命週期同時優化軟硬體。如圖 13 所示，機器學習領域最後兩年的發展所帶來的科技進步超越了過去 45 年的水準。許多新的神經網路隨著新技術的出現不斷發展，也大幅提高了的部署效率。不管今天制定什麼標準，未來部署什麼，都需要通過硬體可重配置性確保滿足未來需求。只有賽靈思全可程式設計（All programmable）的器件才能提供這種級別的可重配置性。
圖13：隨著機器學習技術的發展，為什麼可重配置性非常重要？
如圖14所示，對快速演進感測器技術的管理同樣需要可重配置性。人工智慧（AI）革命加速了感測器技術在不同領域的發展演進，也要求更高水準的感測器融合，以整合不同類型的感測器，以便在該環境了構建全面而完整的系統環境和物件視圖。與機器學習類似，不管制定什麼感測器配置標準、未來如何實現，都需要通過硬體可重配置性來滿足未來需求。同樣，只有賽靈思 All programmable 器件才能提供這種級別的可重配置性。
圖14：為什麼隨著感測器的發展，可重配置性非常重要？
任意連接和感測器介面
如圖 15 所示，基於 Zynq 的視覺平臺提供了穩健可靠的任意連接能力和感測器介面優勢。
Zynq 的感測器和連線性優勢包括：
1.相對於目前市場中其它 SoC而言，頻寬提升高達 12 倍，包括支持原生的 8K 和定制解析度。
2.大幅增加了高低頻寬感測器介面和通道，支援差異化感測器組合，包括RADAR、LiDAR、加速計和力扭矩感測器。
3.業界領先的最新資料傳輸和存儲介面支援，為滿足未來標準要求可方便地進行重新配置。
圖 15: 感測器 &連接器 ：Xilinx 與 Nvidia 和 典型SoC對比
賽靈思與業界其它解決方案對比
通過將 Zynq 平臺的獨特優勢和配備了各種庫和業界標準框架支援的軟體定義開發環境融為一體，reVISION為視覺系統開發提供了最佳替代方案。如前所述，reVISION 的獨特之處在于能實現智慧應用的三大使命，以最新技術滿足差異化和上市進程的重要要求，同時支持最快回應性、可重配置性、任意連接和軟體定義程式設計。它同時還利用軟體定義的程式設計模式移除了通往廣泛應用的障礙。
如圖 16 所示，在縱軸上只有 reVISION 能支持從感測器到機器學習推斷和互聯控制的優化，實現最佳系統回應時間。在橫軸上，只有reVISION能為硬體優化的演算法加速提供所需的可重配置性，並能升級更新到最新的感測器和連線性需求。雖然許多賽靈思器件客戶的硬體專家已經能夠實現這些優勢，但是全新的reVISION堆疊通過使用行業標準庫和框架實現軟體定義的程式設計，消除了向更廣泛應用的障礙。
圖16：消除了向廣泛視覺導向機器學習應用擴展的障礙
總結： reVISION
通過Xilinx reVISION™ 堆疊的推出， 賽靈思將技術擴展至廣泛的視覺導向機器學習應用領域。reVISION™ 堆疊的推出進一步補充和完善了近期發佈的可重配置加速堆疊，大幅擴展了賽靈思技術在機器學習應用領域從端到雲的部署。全新的reVISION堆疊能夠支援更廣泛的很少甚至沒有硬體專業知識的軟體和系統工程師，使其可以更輕鬆、更快速地開發視覺導向的智慧系統。一旦將機器學習、電腦視覺、感測器融合和連接的優勢融為一體，這些工程師將從中大受裨益。
R
eading
這些系統通常具有三大使命：1.系統不僅要會思考，而且還能對情境立即做出“回應”。這就要求一個從感應到處理、分析、決策、通信和控制整個流程中更一致的視圖。同時還要高效實施、部署最新機器學習技術，滿足8位及更深層面的精確性要求。注意，針對機器學習訓練優化的技術繼續偏離對機器學習推斷優化的技術。 賽靈思已經專門為推斷技術優化了其全可程式設計器件系列。
圖4：下一代視覺導向系統的應用使命
2.鑒於神經網路和相關演算法的快速變化以及感測器的快速發展，必須實現靈活性，能通過軟硬體的可重配置性升級系統。
3.由於許多新系統都連接到了一起（物聯網），因此需要既能與傳統的已有設備通信，也能與未來推出的新設備通信，同時還要能夠進行雲端通信。賽靈思將此定義為任意互聯。
賽靈思器件可以獨特地支持以上所有三大使命， 且比其它替代方案擁有顯著的和可測量的優勢。 通過高效的推斷和控制，賽靈思實現了感測器的最快回應時間，支援最新的神經網路，演算法和感測器的可重構性，並支援與傳統或新機器、網路和雲的任意連接。
圖5：賽靈思獨特的應用優勢
然而，賽靈思器件的這些優勢原來只有那些擁有硬體或者RTL 設計專長的專業用戶才能受益，對於更廣泛的應用和支持使用行業標準庫和框架進行軟體定義程式設計，還存在巨大的障礙。 reVISION堆疊的誕生， 解決了這個通往廣泛應用的障礙。
圖6：廣泛應用的障礙
reVISION STACK
圖7：賽靈思reVISION 堆疊
賽靈思 reVISION 堆疊包括用於平臺、演算法和應用開發的豐富的開發資源，支援最流行的神經網路（諸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN）以及庫元素（如 CNN 網路層的預定義優化型實現方案，這也是構建定制神經網路 DNN/CNN 所需的）。配合豐富的滿足加速要求的 OpenCV 功能，支援機器視覺處理。對應用層面的開發來說，賽靈思支援流行的框架，包括用於機器學習的 Caffe 和用於電腦視覺的 OpenVX（將於 2017 年下半年推出）。reVISION 堆疊還包括賽靈思和協力廠商提供的基於 Zynq SoC 和 MPSoC 的開發平臺。
移除了通往廣泛應用的障礙
reVISION 堆疊支援一大批廣泛的設計團隊無需深層的硬體專業技術，使用軟體定義開發流程就能將機器學習和電腦演算法的高效實現方案整合到回應迅速的系統中。
圖8：reVISION 的軟體定義設計流程
如圖 8 所示，reVISION 開發流程從 熟悉的C、C++ 和/或 OpenCL 語言及相關編譯器技術的基於 eclipse 的開發環境（即 SDSoC 開發環境）啟動。在 SDSoC 環境中，軟體工程師和系統工程師能以 reVISION 硬體平臺為目標，並採用大量的加速就緒型電腦視覺庫，很快還能採用OpenVX框架，從而快速構建應用。
對於機器學習，我們可用 Caffe 等流行的框架來培訓神經網路，用 Caffe 生成的 .prototxt 檔對基於 ARM 的軟體調度器進行配置，從而驅動專門為可程式設計邏輯預先優化的CNN 推斷加速器。
對電腦視覺和其他專有演算法來說，使用者可對軟體代碼進行特徵分析，發現瓶頸，並在代碼中標出希望加速並進行“硬體優化”的特定功能。“系統優化編譯器”則用來創建加速的實現方案，包括處理器/加速器介面（資料移動器）和軟體驅動器。結合電腦視覺和機器學習功能，該編譯器能創建優化的融合實現方案。
如圖 9 左側所示，專家級賽靈思使用者採用傳統 RTL 設計流程，與 ARM 軟體發展人員合作，要花大量設計階段才能開發出高度差異化的機器學習和電腦視覺應用。
圖9：reVISION 堆疊 —— 移除通往廣泛應用的障礙
為進一步加快設計進程，減少對硬體專家的依賴，賽靈思大約在兩年前推出了基於 C、C++ 和 OpenCL 語言的 SDSoC 開發環境。雖然這幫助其它上千名能夠開發自己的基礎平臺、庫和應用的用戶大幅縮短了開發週期，但仍無法滿足廣泛機器學習應用推廣與部署的要求，而且機器學習也帶來了複雜問題。
如圖 10 所示，賽靈思的全新 reVISION 堆疊使更多軟體工程師和系統工程師無需掌握或只需掌握一點硬體設計專業技術，就能夠更輕鬆快速地開發出智慧嵌入式視覺系統，包括將機器學習和電腦視覺演算法的超高效實現方案整合到高回應性系統中。
圖10：賽靈思reVISION和Nvidia Tegra X1對比
最快回應性 —— 從感測器到推斷和控制的最低時延
如上所述，軟體定義的 reVISION 流程支援快速開發回應最快的系統。事實上，相比嵌入式 CPU 和典型 SoC 的性能參數，賽靈思的表現大大超越了英偉達 （ Nvidia） 這一強手。
將基於 Zynq SoC 的 reVISION流程與 Nvidia Tegra X1 進行基準對比可以看出，reVISION流程講機器學習的單位功耗圖像捕獲速度提升了6 倍，將電腦視覺處理的畫面播放速率提升了 42 倍，而時延僅為 1/5（以毫秒為單位），這些資料對即時應用而言都是至關重要的。
如圖 11 所示，擁有速度極快的確定性系統回應時間非常有用。我們從這個例子看到，一輛汽車採用賽靈思基於 Zynq SoC 的reVISION 與採用 Nvidia Tegra 的汽車一起識別潛在的碰撞事故並採取刹車，在速度為 65 mph 情況下，根據 Nvidia器件的具體實現方案，賽靈思的回應時間可以讓汽車在5到33英尺的距離停下，從而輕鬆實現安全刹車，避免碰撞。
圖11：回應時間為什麼重要：賽靈思和Nvidia Tegra X1的對比
回應時間的的這些顯著優點來源於Zynq SoC相對於嵌入式GPU和典型SoC的基本架構優勢。 如圖12所示，嵌入式GPU和典型SoC需要從感測器到視覺、機器學習和控制處理頻繁訪問外部記憶體。 相比之下，Zynq SoC部署了使用可程式設計邏輯和顯著多得多的內部記憶體（高達Nvidia Tegra X1的19倍）實現的優化和流線型資料流程。 這不僅實現了相對替代方案1/5的延遲，而且還實現了對於許多即時應用至關重要的確定性的回應能力。
面向最新網路和感測器的可重配置性
回應時間很重要，而賽靈思解決方案還提供了非常獨特的可重配置性優勢。為了能夠用尖端神經網路和機器學習推斷效率部署最佳系統，工程師必須能夠在整個產品的產品生命週期同時優化軟硬體。如圖 13 所示，機器學習領域最後兩年的發展所帶來的科技進步超越了過去 45 年的水準。許多新的神經網路隨著新技術的出現不斷發展，也大幅提高了的部署效率。不管今天制定什麼標準，未來部署什麼，都需要通過硬體可重配置性確保滿足未來需求。只有賽靈思全可程式設計（All programmable）的器件才能提供這種級別的可重配置性。
圖13：隨著機器學習技術的發展，為什麼可重配置性非常重要？
如圖14所示，對快速演進感測器技術的管理同樣需要可重配置性。人工智慧（AI）革命加速了感測器技術在不同領域的發展演進，也要求更高水準的感測器融合，以整合不同類型的感測器，以便在該環境了構建全面而完整的系統環境和物件視圖。與機器學習類似，不管制定什麼感測器配置標準、未來如何實現，都需要通過硬體可重配置性來滿足未來需求。同樣，只有賽靈思 All programmable 器件才能提供這種級別的可重配置性。
圖14：為什麼隨著感測器的發展，可重配置性非常重要？
任意連接和感測器介面
如圖 15 所示，基於 Zynq 的視覺平臺提供了穩健可靠的任意連接能力和感測器介面優勢。
Zynq 的感測器和連線性優勢包括：
1.相對於目前市場中其它 SoC而言，頻寬提升高達 12 倍，包括支持原生的 8K 和定制解析度。
2.大幅增加了高低頻寬感測器介面和通道，支援差異化感測器組合，包括RADAR、LiDAR、加速計和力扭矩感測器。
3.業界領先的最新資料傳輸和存儲介面支援，為滿足未來標準要求可方便地進行重新配置。
圖 15: 感測器 &連接器 ：Xilinx 與 Nvidia 和 典型SoC對比
賽靈思與業界其它解決方案對比
通過將 Zynq 平臺的獨特優勢和配備了各種庫和業界標準框架支援的軟體定義開發環境融為一體，reVISION為視覺系統開發提供了最佳替代方案。如前所述，reVISION 的獨特之處在于能實現智慧應用的三大使命，以最新技術滿足差異化和上市進程的重要要求，同時支持最快回應性、可重配置性、任意連接和軟體定義程式設計。它同時還利用軟體定義的程式設計模式移除了通往廣泛應用的障礙。
如圖 16 所示，在縱軸上只有 reVISION 能支持從感測器到機器學習推斷和互聯控制的優化，實現最佳系統回應時間。在橫軸上，只有reVISION能為硬體優化的演算法加速提供所需的可重配置性，並能升級更新到最新的感測器和連線性需求。雖然許多賽靈思器件客戶的硬體專家已經能夠實現這些優勢，但是全新的reVISION堆疊通過使用行業標準庫和框架實現軟體定義的程式設計，消除了向更廣泛應用的障礙。
圖16：消除了向廣泛視覺導向機器學習應用擴展的障礙
總結： reVISION
通過Xilinx reVISION™ 堆疊的推出， 賽靈思將技術擴展至廣泛的視覺導向機器學習應用領域。reVISION™ 堆疊的推出進一步補充和完善了近期發佈的可重配置加速堆疊，大幅擴展了賽靈思技術在機器學習應用領域從端到雲的部署。全新的reVISION堆疊能夠支援更廣泛的很少甚至沒有硬體專業知識的軟體和系統工程師，使其可以更輕鬆、更快速地開發視覺導向的智慧系統。一旦將機器學習、電腦視覺、感測器融合和連接的優勢融為一體，這些工程師將從中大受裨益。
R
eading