矽谷Live / 實地探訪 / 熱點探秘 / 深度探討
AI 領域打仗， 怎能不瞭解“軍火”—AI 晶片。
穀歌的人工智慧大殺器 AlphaGO 下贏了世界圍棋冠軍李世石， 但你知道嗎， 李世石的大腦就是我們普通人類的大腦， 如果說人腦耗能是20瓦的話， AlphaGO所用的電腦耗能2000千瓦。
也就是說， 人工智慧機器人用十萬倍的功耗才把李世石打敗。
可見， 人工智慧要往前發展， 硬體是個很大障礙， 誰克服了這個障礙， 誰就能往前跑得更快。 這也是為什麼， 晶片對於人工智慧的普及和發展來說極為重要。
作為人工智慧的重要加速器， 2018年人工智慧晶片前景如何？市場現有的重要玩家又有什麼重要表現？創業公司機會在哪裡？矽谷投資人，
戴學穎 Lake Dai
大玩家霸主地位仍在
如果說， 誰是這兩年美國股市的大牛股， 英偉達（Nvidia）是當仁不讓的那個。
得益於人工智慧和深度學習的迅速發展，
因為 GPU （Graphic Processing Unit， 圖形處理單元）對處理複雜運算、並行運算擁有天然優勢， 這也讓英偉達成為了深度學習的首選和主要選擇。
去年12月， 英偉達公佈了首款基於 Volta 架構的Titan V， 官方宣稱是目前“全球最強 PC 用 GPU”， 主要針對的就是 AI、深度學習等相關領域的科研人士。
這款“旗艦產品”在 815 平方毫米的晶片上裝有 211 億個電晶體， 可以產生 110 TFLOPS， 當然售價也達到了2999美元。
（圖片來自網路）
相較于晶片巨頭英偉達， 另一個重要玩家卻是以互聯網搜索起家的科技巨頭－－Google。 我們知道李世石大戰 AlphaGo， TPU 就是穀歌稱幫助 AlphaGo 擊敗李世石的“秘密武器”。
17年4月， 谷歌關於張量處理器（TPU）的論文被接收， 這也是穀歌官方首次公開這款定制機器學習晶片的“內幕”。
將 TPU 與 Intel 和 Nvidia 的晶片進行比較的話， 穀歌官方博客透露， “儘管在一些應用上利用率很低， TPU 平均比當前的 GPU 或 CPU 快15－30倍， 性能功耗比高出約 30－80 倍”。
為什麼身為互聯網公司的穀歌要自己造晶片？還是取決於對處理資料和能耗的要求。
第二年的I/ O大會上， 穀歌公司宣佈了第二代 TPU 的性能：它可以提供高達 180 TFLOPS （萬億次浮點運算）。 為了讓人明白這個性能有多強大， 穀歌官方舉例是：大規模翻譯模型可能需要花一整天的時間來訓練世界上最好的32個GPU， 但只需要一個下午， 用八分之一個TPU， 就能把這件事情做好了。
毫無疑問， 目前， 穀歌並沒有將定制的硬體推向市場， 這對於英偉達、英特爾等公司來說是一件好事。
而消費者和個人電腦OEM（原始設備製造商）更傾向于使用英特爾集成晶片和AMD最新Vega GPU上的獨立顯卡。 不過， 英特爾傳聞會拿出獨立GPU來挑戰Nvidia的霸主地位。
不管如何， 當前英偉達與英特爾等大公司仍佔據人工智慧晶片市場的頭號地位暫時並未被撼動。
小玩家垂直領域機會眾多
到底人工智慧晶片市場有多大？根據瑞士聯合銀行預測， AI晶片市場到2021年將激增至350億美元， 高於2016年的60億美元。 儘管存在著英偉達、英特爾、穀歌等大玩家， 但現有市場依舊容得下更多的玩家進入。
比如說Groq這個隱形創業公司。
這家公司是由Google TPU 原來的創始工程師團隊創立的， 有八名是TPU團隊的前十名員工，其中創始人之一就是TPU的發明者Jonathan Ross。儘管沒有正式產品出來，但團隊稱，正在“構建下一代晶片”。
矽谷知名風投機構Social Capital 為這家公司投了1000萬美元，投資人恰好是密探此前介紹過的Facebook 前副總裁Palihapitiya，光找到創始人，Palihapitiya 就花了一年半時間。
另一家公司 Novumind 則是希望打造Google Deepmind ＋TPU的結合。它旗下的NovuMind 為人工智慧推理提供高性能、低功耗的 NovuTensor，以及為 AI Training 設計了超級電腦 NovuStar，2016年已經完成了1500萬美元的A輪融資。
到底中小玩家在什麼領域更有機會？
我們都知道，目前使用深度神經網路是一個兩階段的過程，首先，第一階段是“訓練一個神經網路”，也就是Training。第二階段，是部署這個“神經網路”進行推理，使用之前訓練過的參數，對未知的輸入進行分類、識別和處理，也就是Inference。
晶片針對訓練（Training）和推理（Inference）功能所達到的不同目標，給人工智慧晶片領域的中小玩家帶來了巨大的機會。
因為針對訓練的話，需要很高的輸送量，大量的算力、資料等，而GPU 具有很高的計算精度（Computational precision），很強的並行、複雜運算的能力，但Nvidia仍然需要不斷提高其記憶體頻寬和資料輸送量（Data throughput）。
而推理方面，通常會比訓練分批輸入更少的資料量，但需要盡可能快的回應和能耗效率優化。能耗優化在終端場景更為重要，比如無人機、IoT 等。穀歌第一代 TPU 就在推理方面的性能和耗電效能方面超過 GPU。據穀歌稱，與當前的CPU和GPU相比，TPU的性能提高了15-30倍，每瓦性能提高了30-80倍。這些優勢有助於Google的許多服務以較低的成本和規模運行最先進的神經網路。
舉個例子你就懂了。
神經網路如果是人，大家可以想像這個人在學習做一份工作。學習的過程中需要大量資料大量練習，反復出錯糾錯，然後總結出了經驗。一旦學會了，執行工作就快很多了。因為你已經知道該怎麼做了。
用專業詞彙說，訓練有素的神經網路是在數位世界中運用已經學到的東西 - 識別圖像，語言，基因疾病，根據訓練結果推斷出新資料。在AI詞典中，這被稱為“推理”。
推理跟人大腦處理資訊是一樣的。如果你把人放在花花草草的環境裡，去看去吸收，腦子裡自然會有各種結論，比如這裡有行人，這裡有花草等等。如果你帶著“現在是不是春天”這樣的問題去看，你可能知道有嫩綠花草的就是春天，帶著問題去找答案，就沒用這麼多腦細胞，決策就快了。
因此，現在很多晶片創業公司會研發推理晶片，而且就某一個垂直領域進行優化，他們更省能耗就是這個道理。
這裡面就是機會，因為垂直領域很多，也不會是一個晶片解決所有的問題，專門優化的晶片可能會做得更好。不過值得注意的是，各大公司其實各自有傾向性，到底是適應什麼場景去優化這點很重要。
2018市場預測：“垂直領域有一場混戰”
既然垂直領域眾多機會，2018年人工智慧晶片市場的一個明顯趨勢將會是：推理的垂直領域將會有一場晶片“混戰”。
因為，不僅中小玩家意識到機會，連大公司也進入了。
今年 CES 上，第一場重磅發佈會就是英偉達發佈"全球首個自動化機器處理器Drive Xavier"，這是英偉達新一代的自動駕駛晶片。因為，深度學習正是自駕車演算法的秘密武器。這款晶片不僅擁有8核ARM架構的CPU、GPU核心暴漲到了512個，且採用了下一代Volta架構、但功耗下降至30W。
（圖片來自網路）
除了英偉達之外，英特爾也跳出來說“could be better in inference of AI”。再加上穀歌的定制晶片，有可能會促使Amazon 、Microsoft 等公司進行更多的定制晶片開發，可見，接下來的晶片開發、研發的一場混戰很可能就在推理（Inference）這塊。
儘管機會眾多，但不可否認晶片這個行業屬於研發投入非常高的行業。從巨頭公司來看，像英偉達拿出了20億美元研發費用設計這款最強的晶片 Titan V，所以說，初創公司融資1000多萬美元，可能只夠完成晶片的設計部分。
此外，整個晶片從設計到量產的環節耗時非常久。因為首先要有一個理論，需要滿足什麼功能，當晶片做出來，需要在不同場景之下測試，看是不是能夠實現原本理論設計的功能。小批量生產後，還要結合量產做設計，看最終能否成功量產。通常至少需要上百人的工程師團隊，花上2到3年的時間。
從人工智慧的風開始吹，借助英偉達股票這兩年的上漲和整個行業的增長空間，可以說，人工智慧晶片的創業意識從兩年前就開始覺醒了，經過兩年多的潛伏與發展，2018年恰好達到一個成長期。因此，不管是湧現更多的晶片也好，或者是晶片相關軟體層面的開發，2018年都會開始陸續出現，這將是今年值得期待和觀察的第二個重要趨勢。
讓我們拭目以待。
你對AI晶片又有什麼期待？歡迎留言討論。
對人工智慧、深度學習感興趣的，還可查看Lake Dai此前的科普文章：如何區分人工智慧、機器學習和深度學習？
想和探長聊一聊？來加探長個人微信號 svinsight
有八名是TPU團隊的前十名員工，其中創始人之一就是TPU的發明者Jonathan Ross。儘管沒有正式產品出來，但團隊稱，正在“構建下一代晶片”。矽谷知名風投機構Social Capital 為這家公司投了1000萬美元，投資人恰好是密探此前介紹過的Facebook 前副總裁Palihapitiya，光找到創始人，Palihapitiya 就花了一年半時間。
另一家公司 Novumind 則是希望打造Google Deepmind ＋TPU的結合。它旗下的NovuMind 為人工智慧推理提供高性能、低功耗的 NovuTensor，以及為 AI Training 設計了超級電腦 NovuStar，2016年已經完成了1500萬美元的A輪融資。
到底中小玩家在什麼領域更有機會？
我們都知道，目前使用深度神經網路是一個兩階段的過程，首先，第一階段是“訓練一個神經網路”，也就是Training。第二階段，是部署這個“神經網路”進行推理，使用之前訓練過的參數，對未知的輸入進行分類、識別和處理，也就是Inference。
晶片針對訓練（Training）和推理（Inference）功能所達到的不同目標，給人工智慧晶片領域的中小玩家帶來了巨大的機會。
因為針對訓練的話，需要很高的輸送量，大量的算力、資料等，而GPU 具有很高的計算精度（Computational precision），很強的並行、複雜運算的能力，但Nvidia仍然需要不斷提高其記憶體頻寬和資料輸送量（Data throughput）。
而推理方面，通常會比訓練分批輸入更少的資料量，但需要盡可能快的回應和能耗效率優化。能耗優化在終端場景更為重要，比如無人機、IoT 等。穀歌第一代 TPU 就在推理方面的性能和耗電效能方面超過 GPU。據穀歌稱，與當前的CPU和GPU相比，TPU的性能提高了15-30倍，每瓦性能提高了30-80倍。這些優勢有助於Google的許多服務以較低的成本和規模運行最先進的神經網路。
舉個例子你就懂了。
神經網路如果是人，大家可以想像這個人在學習做一份工作。學習的過程中需要大量資料大量練習，反復出錯糾錯，然後總結出了經驗。一旦學會了，執行工作就快很多了。因為你已經知道該怎麼做了。
用專業詞彙說，訓練有素的神經網路是在數位世界中運用已經學到的東西 - 識別圖像，語言，基因疾病，根據訓練結果推斷出新資料。在AI詞典中，這被稱為“推理”。
推理跟人大腦處理資訊是一樣的。如果你把人放在花花草草的環境裡，去看去吸收，腦子裡自然會有各種結論，比如這裡有行人，這裡有花草等等。如果你帶著“現在是不是春天”這樣的問題去看，你可能知道有嫩綠花草的就是春天，帶著問題去找答案，就沒用這麼多腦細胞，決策就快了。
因此，現在很多晶片創業公司會研發推理晶片，而且就某一個垂直領域進行優化，他們更省能耗就是這個道理。
這裡面就是機會，因為垂直領域很多，也不會是一個晶片解決所有的問題，專門優化的晶片可能會做得更好。不過值得注意的是，各大公司其實各自有傾向性，到底是適應什麼場景去優化這點很重要。
2018市場預測：“垂直領域有一場混戰”
既然垂直領域眾多機會，2018年人工智慧晶片市場的一個明顯趨勢將會是：推理的垂直領域將會有一場晶片“混戰”。
因為，不僅中小玩家意識到機會，連大公司也進入了。
今年 CES 上，第一場重磅發佈會就是英偉達發佈"全球首個自動化機器處理器Drive Xavier"，這是英偉達新一代的自動駕駛晶片。因為，深度學習正是自駕車演算法的秘密武器。這款晶片不僅擁有8核ARM架構的CPU、GPU核心暴漲到了512個，且採用了下一代Volta架構、但功耗下降至30W。
（圖片來自網路）
除了英偉達之外，英特爾也跳出來說“could be better in inference of AI”。再加上穀歌的定制晶片，有可能會促使Amazon 、Microsoft 等公司進行更多的定制晶片開發，可見，接下來的晶片開發、研發的一場混戰很可能就在推理（Inference）這塊。
儘管機會眾多，但不可否認晶片這個行業屬於研發投入非常高的行業。從巨頭公司來看，像英偉達拿出了20億美元研發費用設計這款最強的晶片 Titan V，所以說，初創公司融資1000多萬美元，可能只夠完成晶片的設計部分。
此外，整個晶片從設計到量產的環節耗時非常久。因為首先要有一個理論，需要滿足什麼功能，當晶片做出來，需要在不同場景之下測試，看是不是能夠實現原本理論設計的功能。小批量生產後，還要結合量產做設計，看最終能否成功量產。通常至少需要上百人的工程師團隊，花上2到3年的時間。
從人工智慧的風開始吹，借助英偉達股票這兩年的上漲和整個行業的增長空間，可以說，人工智慧晶片的創業意識從兩年前就開始覺醒了，經過兩年多的潛伏與發展，2018年恰好達到一個成長期。因此，不管是湧現更多的晶片也好，或者是晶片相關軟體層面的開發，2018年都會開始陸續出現，這將是今年值得期待和觀察的第二個重要趨勢。
讓我們拭目以待。
你對AI晶片又有什麼期待？歡迎留言討論。
對人工智慧、深度學習感興趣的，還可查看Lake Dai此前的科普文章：如何區分人工智慧、機器學習和深度學習？
想和探長聊一聊？來加探長個人微信號 svinsight