主題：模式識別與智慧感知分論壇
時間：2017年5月22日下午
地點：國家會議中心401
本文根據速記進行整理
打造雲上視覺智慧生態
華先勝
阿裡巴巴iDST研究員/資深總監， IEEE Fellow
下面先介紹第一位報告人， 來自阿裡巴巴的華先勝博士， 他是阿裡巴巴iDST研究員、資深總監， IEEE Fellow， 阿裡巴巴人工智慧研發部門iDST視覺計算團隊負責人， 視頻分析和搜索等多媒體領域的著名專家， 有請。
華先勝：大家好， 非常高興有機會和大家探討雲上的視覺智慧。 剛才劉老師提到我們今天有來自是學術界和工業界的分享， 我經常開玩笑， 我是學術界裡最瞭解工業界， 工業界裡最瞭解學術界的。 我在微軟工作了14年多， 有12年多是在研究院， 有兩年多是在產品組， 加入阿裡以後就是一直在產品前線了。 今天主要彙報的是近兩年在阿裡雲上做的視覺智慧方面的工作和一些思考。
雲上的大資料視覺智慧
我們首先看一下人工智慧的三次“春天”：第一次是在50年代， 人工智慧的概念首次提出， 大家覺得人工智慧在20年之內會改變世界， 所有的工作都會被人工智慧顛覆。 但是後來很遺憾， 10年以後發現不行， 大家很失望。 第二次， 80年代， 神經網路的提出， BP演算法的提出， 以及專家系統的初步結果， 大家又很高興， 人工智慧又要改變世界， 取代很多人的工作， 但是後來證明還是不行， 人工智慧又一次進入了低估。 第三次就是今天， 這次是不是真的春天呢， 昨天有一個論壇也在探討這個問題。 這次有一些不一樣， 有很多不同的觀點， 有人認為深度學習取得了很大的突破， 計算能力大的提升， 資料更多， 網路頻寬大大增加。 還有一個很重要的原因，
今天， 人工智慧技術將會改變哪些行業呢？我們先從視覺的角度看一看， 視覺智慧可以從雲上做也可以從端上做， 我們今天就從雲上來看。 我們看看現在發生了什麼樣的事情， 其實有的是發生了很多年的事情。 大家看這些圖， 左上角是交通的監控場景， 右邊和左下是治安和教育的場景， 最後一個是直播。 這個是主動的， 前面三個是被動的。 這些大量的資料它的價值有沒有被充分發掘出來， 這是一個很大的問題。 例如， 在全世界有數以億計的攝像頭，
再看個人的圖像視頻資料， 這個資料量也是挺大， 和每個人切身相關。 我們到一個好的地方， 好的風景， 自己看沒看沒有關係， 一定要讓相機“看”一下。 還有各行各業的資料， 無人機的資料， 工業的資料， 醫療的資料， 體育娛樂，
我們處理這樣的資料， 就會是一個視覺大資料的問題。 它的特點是顯而易見， 第一就是資料量非常大， 例如， 要處理數以萬計的攝像頭， 對計算的效率要求非常高。 像城市計算， 視覺資料量最大的地方就在城市裡面。 有一些電視臺有100萬小時的資料， 已經很多了， 後來想一想， 如果一個城市裡有10萬個攝像頭， 跑了10個小時就是100萬小時了。 第二， 是很多應用有即時性的要求。 例如， 交通紅綠燈的自我調整優化， 就需要即時進行分析， 即時做出決策。 第三點， 就是資料的複雜度非常高， 各種情況下的資料都有， 各種應用的資料都有， 資料的乾淨程度和品質都有很大的不同， 需要完成的任務，開發的智慧也都是不一樣的，對演算法的普適性的要求很高。
視覺智慧的五要素和現狀
我們先回顧一下現在的技術和資料等各方面是不是準備好了。第一，從演算法的角度來看，準確率是我們首先關注的目標。我們經常看到這個公司又刷新了一個公測集的記錄，包括我自己最近也刷了一個車輛檢測的記錄。這個是不是說明視覺智慧已經很厲害、已經超過人了呢？現實的應用當中往往是非常殘酷的，公測集上的結果往往只是個開始，在實際應用中還有很多的工作，很多非常繁重的工作，才能使得我們的演算法在一個行業裡做到可用。
其次，從覆蓋率上來講，這個問題更大了，在座可能很多人都是學生，我們在寫論文的時候很少有人關注覆蓋率這個問題。覆蓋率是什麼意思呢？如果從識別的角度來講，就是識別的範圍足夠大。這個問題很有意思，例如，ImageNet中1000類物體場景的識別，我們拿到真正的應用場景裡去看，是遠遠不夠，或者說應用場景感興趣的常常不是這些類別，也就是說這些沒有覆蓋到使用者需要的地方。你要覆蓋全世界是非常難的事情，但是不見得是不能做的事情，幾年前我微軟還嘗試過做過百萬標籤識別的問題，這個準確率當然很難做得高，但是在一些場景下也是可以用的，例如搜索。覆蓋率在視覺搜索中的體現，例如，能搜衣服，不能搜鞋子不行，不能搜其他東西也不行。用戶的使用體驗往往覆蓋率非常有關係。
第二方面，計算效率。效率決定了這個事情可不可能發生，比如我們要處理城市的幾十萬攝像頭，需要花幾十億就完蛋了，這不是成本的問題，是這個事情可不可能發生的問題。從計算的角度來講，不僅僅是計算的效率，還有計算的平臺，尤其是當你處理大量資料的時候，不是一台機器兩台機器，需要百台千台萬台的時候，需要處理系統和流程的問題，比如說容錯、流程的控制等等，這就需要一個大的計算平臺來支撐它。從計算來講，效率是非常重要的，包括平臺的效率，計算節點的效率，例如一台GPU放多張卡，這些卡如何充分利用起來，還有演算法本身實際運行效率的問題。剛才我忘了說一句，關於演算法的一個結論：我們確實有很大的進展，但是還有很長的路要去走。對於演算法而言，只有把計算的效率發揮到極致，演算法的優勢才能發揮到極致。
協力廠商面，數據。資料也是爭論最多的問題，昨天也有一個論壇討論資料的問題。大家經常發現資料的威力有時候會超過演算法，當然如果只是學生作為藉口，做不好演算法說是資料的問題，那是另外一回事。在昨天的論壇上也一直討論資料和深度學習演算法的問題，實際上資料的使用有兩個方面的問題，這個還是一直沒有說清楚，也就是就是說，資料的作用到底在哪裡的問題。我覺得很多時候大家只是關注了資料對演算法研發的作用，但是這只是其中一個作用，而資料對智慧本身是另外一種作用，而且是很重要的作用。沒有資料，就沒有從資料產生的智慧。至於沒有大量資料是不是就沒有深度學習演算法，這個還可以商量，也許少量的資料也是可以的，但是作為智慧，尤其是強人工智慧的話，如果沒有大資料恐怕是不可能的。所以，資料是有兩個維度的作用在裡面，一個是資料本身是演算法研發的原料，同時又是演算法的素材和智慧產生的原料，這是資料的兩個作用。
資料本身也是有很多的困難，資料量大的時候，包括採集、傳輸、接入、融合和存儲等方面都不是簡單的事情。還有非技術方面的困難，尤其是資料的開放，其實在中國這件事情已經比西方國家好得多了。在中國，大家對資料開放沒有那麼糾結，這也是人工智慧在中國獲得更快發展的一個很重要的原因。
第四點，剛才講了人工智慧風聲水起，視覺計算遍地開花，但是，花開了，能不能得到結果呢？就是你做的事情是不是個正確的事情，是不是真的事情。有時候看起來是個真的事情，其實有時候是個偽課題，偽需求。昨天也有人提到偽需求，我們在實際當中確實是會碰到的。客戶有時提出的需求，仔細想一想可能就是偽需求，也就是說不是一個能夠帶來真正價值的需求，無論你帶來了價值是節省了人力，降低了成本，還是提高了安全性等等，這些都是要非常明確的。如果這些不明確，你就沒有一個商業的模型和應用，沒有明確的商業應用，沒有持久的商業應用，這個AI也就不能持久。
總結一下，一共五點：演算法，是安身立命之本；計算平臺保證演算法能大規模處理大量資料，也是計算效率的問題；資料，一方面是演算法研發的原料，也是產生智能的原料；用戶這個要素剛才沒有單獨分析，但其跟商業模式和資料是非常相關的。商業上，有大量的用戶使用，或者說使用者少，使用的頻率比較高也是OK的，而使用者本身也能產生資料，例如，搜尋引擎就是利用了大量的使用者的資料，每個人對搜尋引擎都是有貢獻的。商業剛才講了，合適的商業模式，保證你做的是正確的事情，不是虛假的問題。
視覺智慧實例：拍立淘
下面講幾個例子，有的是已經做好的，有的是正在做的。首先看基於圖像的商品搜索。我們今天講的是視覺的搜索，是通過拍照的方式搜索商品。淘寶上有一個功能就是拍照搜索，叫做“拍立淘”。它要解決問題就是文字之外的搜索入口，是無法用簡單的文字描述的搜索需求，是個簡單直接的搜索方式。如果這個應用每天的使用者和交易量在千萬級別的話，還是很有價值的。這裡關鍵的技術包括，商品識別，商品檢測，和商品描述。首先，用戶拍了商品照片後，要做出精准的商品類型判斷，不然後面就全錯了；然後要知道這個商品在圖像中的位置，再用一個深度學習網路的做特徵提取。後面還有檢索，排序，搜索品質判斷，以及結果呈現。這裡的幾乎每一步都是用深度學習來完成的。
我們來看幾個例子。這是同一個包，但其實圖像是不一樣；這是一隻鞋子，雖然我們沒有找到同款，但找到了非常相像的款式；這是一件圓領衫，沒有什麼顯著的特徵，比較難做，但也是找到了很象的衣服；這個杯子是一次開會的時候看到的，你要用文字搜就說不清楚了，但用圖像找到同款卻是易如反掌；這個例子，是和朋友喝茶的時候，看到這個泡茶杯太好了，我之前沒有見過。被子上面有一個紅色的按鈕，就是水倒下去後，水是在上面泡著茶葉，覺得泡的濃度差不多了，就可以按這個紅色的按鈕，茶水就流下去了。我想買，也不知道這個被子叫什麼。好在我有拍立淘，一拍就知道，這種杯子叫做飄逸杯，淘寶上有很多可以選擇。
視覺智慧實例：城市之眼
視覺之眼，是城市的眼睛。我們要處理的是城市的攝像頭，不管是交通、安防、城管還是個人的，這些攝像頭的資料，我們考慮怎麼樣把它的價值挖掘出來。裡面涉及到的技術仍然是視覺資料的檢測、識別、系統支援、搜索、挖掘等等。
這個例子是交通視頻的分析，對車輛的檢測，車輛的跟蹤，車輛的屬性，就是將路面上發聲的事情瞭解到底朝天的。過去做交通優化的時候有兩個資訊源，第一個是地感線圈，但線圈資料不知道這個車的屬性，車類型，車多長，這個車到哪裡去了，這個資訊不全。第二個資料，是GPS的資料，但一般只有少數人開啟GPS，所以是採樣資料。視頻資料不同，是“眼見為實”，攝像頭見到才是真實完整的資料，所以這個資料是不可替代的。
這個例子是另外一種攝像頭，高點的攝像頭，雖然細節看不清楚，但是數數可以數得出來，而且，你任意畫一個區域就知道關於這個區域物體的移動的情況。比如說過去多少輛車，大概的類型是什麼，有的地方不讓停車，你可以畫個框不讓停，一旦有車停了就可以報警。
這些技術也沒有什麼特別的地方，也有很多人做類似的工作。但是有一件事情不同 ，就是如果處理大量這樣的資料，幾萬，幾十萬這樣的資料，你需要在一個平臺上進行即時處理，這就不是一個簡單的事情，而且要處理的效率足夠高，這是很關鍵的事情。我們有離線和即時處理系統，大規模離線視覺分析，這個是阿裡的一套系統，對即時要求不高的大量視頻資料，離線比較容易處理。即時的原理也差不多，只不過有延時方面的要求。系統實現上，還有時間上的和空間上的即時協同，比如說一個路口的交通燈進行管控，你要看這四個路口，還要看旁邊幾個路口，你在即時的時候還要把空間多路資訊融合。時間和空間的協同的問題，這個是由平臺來支撐的，不是由演算法來支撐的，而我們做演算法的人員可以集中在演算法的設計和優化上。
還有搜索的功能，剛才講了電商的搜索，這個量級不小，但是還有一個量更大的就是城市的資料，城市的資料量太大了。裡面有車有人，人是非常難的事情，人臉相對容易，而看不清人臉的人就非常難。車相對容易一點，我們要學習它的結構化的特徵，和它的非結構化的特徵，也就是用一個向量表示的視覺特徵。
這裡面我講兩個精細的視覺資料的理解的例子，第一個是車牌。資料這件事情是非常有意思的，剛才講了大資料，但是剛才講的資料一個是研發演算法的原料，第二個就是人工智慧的原料。對於演算法研發而言，往往需要大量的標注資料，但有時候這樣的資料並不容易獲取，或者獲取的成本比較高。例如，有一種車牌的識別。車牌看起來資料量很大，但雙層黃車牌的量就要小很多。有一種思路就是自動生成一些車牌作為車牌識別的訓練資料，這兩幅圖就是例子，是演算法生成的以假亂真的車牌。這個車牌產生以後，對識別的準確率是壓倒性的提升的。還有場景，資料的獲取更可憐，比如事故，但是你有大量正常的樣本，一樣可以用來做資料的模型，可以作為異常檢測的問題來做就可以了。這上面是公開測試級上的結果，視頻中間有人撒了一點紙，這個異常的檢測回應是非常明顯的；下面的這個例子是車輛的刮蹭，是個真實場景，難度就大多了。
從搜索的角度來講，我們把整個城市的資料如果都搜集起來，放到一個大資料裡，建好索引，大家腦補一下，將會對城市的交通優化等應用產生什麼樣的影響力。如果我們再進一步挖掘資料的價值，有很多應用場景可以考慮 ……
視覺智慧實例：視覺診斷
第三個是視覺診斷，包括診斷人和診斷機器。診斷人比較好說了，就是醫療圖像分析，現在也是很熱的題目。當然它比其他的方向慢了半拍，一方面由於資料收集的困難，另一方面是需要很強的專業知識。機器診斷是還沒有開發的方向，它的問題有點像前面提到的異常檢測的問題，一般有三個特點：發生概率很低，正例樣本很少，正例樣本差異性大的東西。舉個例子，1萬個樣本，只有10個是有問題，是你要找出來。但是你找不准那10個，只能說找出100個，那10個就在100個裡面。這個時候，你的召回率是100%，而準確率呢，很低的，只有10%。但是，這是有沒有用呢？我們算算省了多少人力，省了99%，因為你只需要看100個就行了。哪怕我們只有1%的準確率，只要召回率足夠，我們也省了90%的人力。所以這類的問題目標也是不一樣的，衡量的標準是不一樣，省人力是非常重要的指標。其實這裡面涉及到各行各業的視覺問題，凡是過去需要人眼來看的，是不是都可以看到用視覺的方法實現。從這個角度來講，就是遍地黃金，很多地方都可以挖到黃金，不見得出來一個視覺創業公司就一定要去做人臉識別。
視覺智慧實例：視覺廣告
前面三個是偏分析、搜索的，第四個方向，視覺廣告，是合成的方向。視覺廣告將視覺資料變現的最直接的方法，特別是對於娛樂的資料，個人的資料，新聞，電視電影等這些資料。這些資料怎麼發揮更多的價值，除了人看以外，廣告是很重要的方法。但是增加廣告後用戶的體驗不見得好，大家如果看過網上的視頻，應該有深切的體會。那廣告是不是可以做的更好一點？時間關係，細節我不講了，我們看幾個例子。例如，可不可以把廣告放在場景裡，作為場景的一部分？當然，這個已經有人工在做這樣的事情了，但是人工做不了大量的內容。如果可以自動化，就可以用到大量的視頻中，像這個例子，把電視機換成了廣告視頻，這樣也不耽誤觀看者欣賞視頻的內容，也不占觀者的時間，但實際上它潛移默化地影響了你。
雲上視覺智慧生態
阿裡雲上的視覺技術有一個統一的名字，阿裡雲眼，是阿裡雲大資料平臺的智慧視覺中心，這是它的總圖。回到一開始提出的問題，人工智慧將會改變什麼行業，答案就是：智慧將進入各行各業，Intelligence Everywhere勢不可擋。但是，人工智慧的從業者也是很容易翻船，因為你需要這些五個因素齊備。還有一種選擇，就是你可以加入到一個生態裡 - 我終於回到今天講的主題上來了，打造雲上視覺計算的生態。不僅僅是視覺，其他智慧也是一樣的。在雲上，可以搭一個舞臺，這個舞臺不僅僅是大公司在玩，小公司也可以玩，個人也可以玩。不管是哪個層次的智慧，基礎API、功能模組和解決方案都可以。這個舞臺上還有一些基本的道具可以使用，例如，搜尋引擎，機器學習平臺，大規模視覺計算等等，還有最基本的計算和存儲，這些東西都可以利用起來，大家都可以在這個平臺上玩。其實整個雲上的智慧也不是一個公司兩個公司可以完成的，各行各業的需求量非常大，需要很多人一起努力，把這個生態一起繁榮起來。謝謝大家。
劉成林/主持人：謝謝華先勝博士，信息量非常大，用他的話說，現在技術應用這麼透，所以是遍地黃金，大家可能都是沖著黃金來的。下面大家可以提兩個問題。
提問：華老師你好，我是來自北郵的劉武，我想請問您，車輛搜索部分能不能講的細一點。
華先勝：搜索是兩類特徵，第一個是結構化特徵，例如，顏色、類型，還有一些細節方面的，包括車窗、車輪，這些你應該很清楚吧。雖然準確率不是太高，但是每一個都有參考價值。另外一個就是視覺特徵，就是學它的Feature。學Feature有很多方法，通過分類，通過pair-wise，通過triplet，還有通過一些局部特徵的結合等等。說白了，就是你第想盡一切辦法逼神經網路收斂到描述這個車輛的本質，有很多方法可以逼它，把它逼到死角。
提問：我比較感興趣剛才不太能拍照的部分，我的問題是，我們現在跟一些交通部門合作，我們的技術在他們的服務裡已經起到什麼樣的作用，具體有怎樣的落地的功能？
華先勝：這個不便多講，簡單說一下，第一個是對交通參數的估計，就是對車流、人流的檢測，這是比較基本的功能。過去很多工作是在攝像頭端做的，當然有一些局限，現在我們在雲上做，你需要一套高效可靠的系統處理這個車流的資訊。剛才我講過了車的檢測，車的類型，走向，包括行人和非機動車。中國的交通比較特殊，非機動車和行人對交通的影響比較大。第二就是對事故事件的檢測，這對交警管控交通有很好的參考作用。過去都是要人工巡檢的，現在逐步可以自動報告。
CAAI原創 丨 作者華先勝
未經授權嚴禁轉載及翻譯
如需轉載合作請向學會或本人申請
轉發請注明轉自中國人工智慧學會
需要完成的任務，開發的智慧也都是不一樣的，對演算法的普適性的要求很高。視覺智慧的五要素和現狀
我們先回顧一下現在的技術和資料等各方面是不是準備好了。第一，從演算法的角度來看，準確率是我們首先關注的目標。我們經常看到這個公司又刷新了一個公測集的記錄，包括我自己最近也刷了一個車輛檢測的記錄。這個是不是說明視覺智慧已經很厲害、已經超過人了呢？現實的應用當中往往是非常殘酷的，公測集上的結果往往只是個開始，在實際應用中還有很多的工作，很多非常繁重的工作，才能使得我們的演算法在一個行業裡做到可用。
其次，從覆蓋率上來講，這個問題更大了，在座可能很多人都是學生，我們在寫論文的時候很少有人關注覆蓋率這個問題。覆蓋率是什麼意思呢？如果從識別的角度來講，就是識別的範圍足夠大。這個問題很有意思，例如，ImageNet中1000類物體場景的識別，我們拿到真正的應用場景裡去看，是遠遠不夠，或者說應用場景感興趣的常常不是這些類別，也就是說這些沒有覆蓋到使用者需要的地方。你要覆蓋全世界是非常難的事情，但是不見得是不能做的事情，幾年前我微軟還嘗試過做過百萬標籤識別的問題，這個準確率當然很難做得高，但是在一些場景下也是可以用的，例如搜索。覆蓋率在視覺搜索中的體現，例如，能搜衣服，不能搜鞋子不行，不能搜其他東西也不行。用戶的使用體驗往往覆蓋率非常有關係。
第二方面，計算效率。效率決定了這個事情可不可能發生，比如我們要處理城市的幾十萬攝像頭，需要花幾十億就完蛋了，這不是成本的問題，是這個事情可不可能發生的問題。從計算的角度來講，不僅僅是計算的效率，還有計算的平臺，尤其是當你處理大量資料的時候，不是一台機器兩台機器，需要百台千台萬台的時候，需要處理系統和流程的問題，比如說容錯、流程的控制等等，這就需要一個大的計算平臺來支撐它。從計算來講，效率是非常重要的，包括平臺的效率，計算節點的效率，例如一台GPU放多張卡，這些卡如何充分利用起來，還有演算法本身實際運行效率的問題。剛才我忘了說一句，關於演算法的一個結論：我們確實有很大的進展，但是還有很長的路要去走。對於演算法而言，只有把計算的效率發揮到極致，演算法的優勢才能發揮到極致。
協力廠商面，數據。資料也是爭論最多的問題，昨天也有一個論壇討論資料的問題。大家經常發現資料的威力有時候會超過演算法，當然如果只是學生作為藉口，做不好演算法說是資料的問題，那是另外一回事。在昨天的論壇上也一直討論資料和深度學習演算法的問題，實際上資料的使用有兩個方面的問題，這個還是一直沒有說清楚，也就是就是說，資料的作用到底在哪裡的問題。我覺得很多時候大家只是關注了資料對演算法研發的作用，但是這只是其中一個作用，而資料對智慧本身是另外一種作用，而且是很重要的作用。沒有資料，就沒有從資料產生的智慧。至於沒有大量資料是不是就沒有深度學習演算法，這個還可以商量，也許少量的資料也是可以的，但是作為智慧，尤其是強人工智慧的話，如果沒有大資料恐怕是不可能的。所以，資料是有兩個維度的作用在裡面，一個是資料本身是演算法研發的原料，同時又是演算法的素材和智慧產生的原料，這是資料的兩個作用。
資料本身也是有很多的困難，資料量大的時候，包括採集、傳輸、接入、融合和存儲等方面都不是簡單的事情。還有非技術方面的困難，尤其是資料的開放，其實在中國這件事情已經比西方國家好得多了。在中國，大家對資料開放沒有那麼糾結，這也是人工智慧在中國獲得更快發展的一個很重要的原因。
第四點，剛才講了人工智慧風聲水起，視覺計算遍地開花，但是，花開了，能不能得到結果呢？就是你做的事情是不是個正確的事情，是不是真的事情。有時候看起來是個真的事情，其實有時候是個偽課題，偽需求。昨天也有人提到偽需求，我們在實際當中確實是會碰到的。客戶有時提出的需求，仔細想一想可能就是偽需求，也就是說不是一個能夠帶來真正價值的需求，無論你帶來了價值是節省了人力，降低了成本，還是提高了安全性等等，這些都是要非常明確的。如果這些不明確，你就沒有一個商業的模型和應用，沒有明確的商業應用，沒有持久的商業應用，這個AI也就不能持久。
總結一下，一共五點：演算法，是安身立命之本；計算平臺保證演算法能大規模處理大量資料，也是計算效率的問題；資料，一方面是演算法研發的原料，也是產生智能的原料；用戶這個要素剛才沒有單獨分析，但其跟商業模式和資料是非常相關的。商業上，有大量的用戶使用，或者說使用者少，使用的頻率比較高也是OK的，而使用者本身也能產生資料，例如，搜尋引擎就是利用了大量的使用者的資料，每個人對搜尋引擎都是有貢獻的。商業剛才講了，合適的商業模式，保證你做的是正確的事情，不是虛假的問題。
視覺智慧實例：拍立淘
下面講幾個例子，有的是已經做好的，有的是正在做的。首先看基於圖像的商品搜索。我們今天講的是視覺的搜索，是通過拍照的方式搜索商品。淘寶上有一個功能就是拍照搜索，叫做“拍立淘”。它要解決問題就是文字之外的搜索入口，是無法用簡單的文字描述的搜索需求，是個簡單直接的搜索方式。如果這個應用每天的使用者和交易量在千萬級別的話，還是很有價值的。這裡關鍵的技術包括，商品識別，商品檢測，和商品描述。首先，用戶拍了商品照片後，要做出精准的商品類型判斷，不然後面就全錯了；然後要知道這個商品在圖像中的位置，再用一個深度學習網路的做特徵提取。後面還有檢索，排序，搜索品質判斷，以及結果呈現。這裡的幾乎每一步都是用深度學習來完成的。
我們來看幾個例子。這是同一個包，但其實圖像是不一樣；這是一隻鞋子，雖然我們沒有找到同款，但找到了非常相像的款式；這是一件圓領衫，沒有什麼顯著的特徵，比較難做，但也是找到了很象的衣服；這個杯子是一次開會的時候看到的，你要用文字搜就說不清楚了，但用圖像找到同款卻是易如反掌；這個例子，是和朋友喝茶的時候，看到這個泡茶杯太好了，我之前沒有見過。被子上面有一個紅色的按鈕，就是水倒下去後，水是在上面泡著茶葉，覺得泡的濃度差不多了，就可以按這個紅色的按鈕，茶水就流下去了。我想買，也不知道這個被子叫什麼。好在我有拍立淘，一拍就知道，這種杯子叫做飄逸杯，淘寶上有很多可以選擇。
視覺智慧實例：城市之眼
視覺之眼，是城市的眼睛。我們要處理的是城市的攝像頭，不管是交通、安防、城管還是個人的，這些攝像頭的資料，我們考慮怎麼樣把它的價值挖掘出來。裡面涉及到的技術仍然是視覺資料的檢測、識別、系統支援、搜索、挖掘等等。
這個例子是交通視頻的分析，對車輛的檢測，車輛的跟蹤，車輛的屬性，就是將路面上發聲的事情瞭解到底朝天的。過去做交通優化的時候有兩個資訊源，第一個是地感線圈，但線圈資料不知道這個車的屬性，車類型，車多長，這個車到哪裡去了，這個資訊不全。第二個資料，是GPS的資料，但一般只有少數人開啟GPS，所以是採樣資料。視頻資料不同，是“眼見為實”，攝像頭見到才是真實完整的資料，所以這個資料是不可替代的。
這個例子是另外一種攝像頭，高點的攝像頭，雖然細節看不清楚，但是數數可以數得出來，而且，你任意畫一個區域就知道關於這個區域物體的移動的情況。比如說過去多少輛車，大概的類型是什麼，有的地方不讓停車，你可以畫個框不讓停，一旦有車停了就可以報警。
這些技術也沒有什麼特別的地方，也有很多人做類似的工作。但是有一件事情不同 ，就是如果處理大量這樣的資料，幾萬，幾十萬這樣的資料，你需要在一個平臺上進行即時處理，這就不是一個簡單的事情，而且要處理的效率足夠高，這是很關鍵的事情。我們有離線和即時處理系統，大規模離線視覺分析，這個是阿裡的一套系統，對即時要求不高的大量視頻資料，離線比較容易處理。即時的原理也差不多，只不過有延時方面的要求。系統實現上，還有時間上的和空間上的即時協同，比如說一個路口的交通燈進行管控，你要看這四個路口，還要看旁邊幾個路口，你在即時的時候還要把空間多路資訊融合。時間和空間的協同的問題，這個是由平臺來支撐的，不是由演算法來支撐的，而我們做演算法的人員可以集中在演算法的設計和優化上。
還有搜索的功能，剛才講了電商的搜索，這個量級不小，但是還有一個量更大的就是城市的資料，城市的資料量太大了。裡面有車有人，人是非常難的事情，人臉相對容易，而看不清人臉的人就非常難。車相對容易一點，我們要學習它的結構化的特徵，和它的非結構化的特徵，也就是用一個向量表示的視覺特徵。
這裡面我講兩個精細的視覺資料的理解的例子，第一個是車牌。資料這件事情是非常有意思的，剛才講了大資料，但是剛才講的資料一個是研發演算法的原料，第二個就是人工智慧的原料。對於演算法研發而言，往往需要大量的標注資料，但有時候這樣的資料並不容易獲取，或者獲取的成本比較高。例如，有一種車牌的識別。車牌看起來資料量很大，但雙層黃車牌的量就要小很多。有一種思路就是自動生成一些車牌作為車牌識別的訓練資料，這兩幅圖就是例子，是演算法生成的以假亂真的車牌。這個車牌產生以後，對識別的準確率是壓倒性的提升的。還有場景，資料的獲取更可憐，比如事故，但是你有大量正常的樣本，一樣可以用來做資料的模型，可以作為異常檢測的問題來做就可以了。這上面是公開測試級上的結果，視頻中間有人撒了一點紙，這個異常的檢測回應是非常明顯的；下面的這個例子是車輛的刮蹭，是個真實場景，難度就大多了。
從搜索的角度來講，我們把整個城市的資料如果都搜集起來，放到一個大資料裡，建好索引，大家腦補一下，將會對城市的交通優化等應用產生什麼樣的影響力。如果我們再進一步挖掘資料的價值，有很多應用場景可以考慮 ……
視覺智慧實例：視覺診斷
第三個是視覺診斷，包括診斷人和診斷機器。診斷人比較好說了，就是醫療圖像分析，現在也是很熱的題目。當然它比其他的方向慢了半拍，一方面由於資料收集的困難，另一方面是需要很強的專業知識。機器診斷是還沒有開發的方向，它的問題有點像前面提到的異常檢測的問題，一般有三個特點：發生概率很低，正例樣本很少，正例樣本差異性大的東西。舉個例子，1萬個樣本，只有10個是有問題，是你要找出來。但是你找不准那10個，只能說找出100個，那10個就在100個裡面。這個時候，你的召回率是100%，而準確率呢，很低的，只有10%。但是，這是有沒有用呢？我們算算省了多少人力，省了99%，因為你只需要看100個就行了。哪怕我們只有1%的準確率，只要召回率足夠，我們也省了90%的人力。所以這類的問題目標也是不一樣的，衡量的標準是不一樣，省人力是非常重要的指標。其實這裡面涉及到各行各業的視覺問題，凡是過去需要人眼來看的，是不是都可以看到用視覺的方法實現。從這個角度來講，就是遍地黃金，很多地方都可以挖到黃金，不見得出來一個視覺創業公司就一定要去做人臉識別。
視覺智慧實例：視覺廣告
前面三個是偏分析、搜索的，第四個方向，視覺廣告，是合成的方向。視覺廣告將視覺資料變現的最直接的方法，特別是對於娛樂的資料，個人的資料，新聞，電視電影等這些資料。這些資料怎麼發揮更多的價值，除了人看以外，廣告是很重要的方法。但是增加廣告後用戶的體驗不見得好，大家如果看過網上的視頻，應該有深切的體會。那廣告是不是可以做的更好一點？時間關係，細節我不講了，我們看幾個例子。例如，可不可以把廣告放在場景裡，作為場景的一部分？當然，這個已經有人工在做這樣的事情了，但是人工做不了大量的內容。如果可以自動化，就可以用到大量的視頻中，像這個例子，把電視機換成了廣告視頻，這樣也不耽誤觀看者欣賞視頻的內容，也不占觀者的時間，但實際上它潛移默化地影響了你。
雲上視覺智慧生態
阿裡雲上的視覺技術有一個統一的名字，阿裡雲眼，是阿裡雲大資料平臺的智慧視覺中心，這是它的總圖。回到一開始提出的問題，人工智慧將會改變什麼行業，答案就是：智慧將進入各行各業，Intelligence Everywhere勢不可擋。但是，人工智慧的從業者也是很容易翻船，因為你需要這些五個因素齊備。還有一種選擇，就是你可以加入到一個生態裡 - 我終於回到今天講的主題上來了，打造雲上視覺計算的生態。不僅僅是視覺，其他智慧也是一樣的。在雲上，可以搭一個舞臺，這個舞臺不僅僅是大公司在玩，小公司也可以玩，個人也可以玩。不管是哪個層次的智慧，基礎API、功能模組和解決方案都可以。這個舞臺上還有一些基本的道具可以使用，例如，搜尋引擎，機器學習平臺，大規模視覺計算等等，還有最基本的計算和存儲，這些東西都可以利用起來，大家都可以在這個平臺上玩。其實整個雲上的智慧也不是一個公司兩個公司可以完成的，各行各業的需求量非常大，需要很多人一起努力，把這個生態一起繁榮起來。謝謝大家。
劉成林/主持人：謝謝華先勝博士，信息量非常大，用他的話說，現在技術應用這麼透，所以是遍地黃金，大家可能都是沖著黃金來的。下面大家可以提兩個問題。
提問：華老師你好，我是來自北郵的劉武，我想請問您，車輛搜索部分能不能講的細一點。
華先勝：搜索是兩類特徵，第一個是結構化特徵，例如，顏色、類型，還有一些細節方面的，包括車窗、車輪，這些你應該很清楚吧。雖然準確率不是太高，但是每一個都有參考價值。另外一個就是視覺特徵，就是學它的Feature。學Feature有很多方法，通過分類，通過pair-wise，通過triplet，還有通過一些局部特徵的結合等等。說白了，就是你第想盡一切辦法逼神經網路收斂到描述這個車輛的本質，有很多方法可以逼它，把它逼到死角。
提問：我比較感興趣剛才不太能拍照的部分，我的問題是，我們現在跟一些交通部門合作，我們的技術在他們的服務裡已經起到什麼樣的作用，具體有怎樣的落地的功能？
華先勝：這個不便多講，簡單說一下，第一個是對交通參數的估計，就是對車流、人流的檢測，這是比較基本的功能。過去很多工作是在攝像頭端做的，當然有一些局限，現在我們在雲上做，你需要一套高效可靠的系統處理這個車流的資訊。剛才我講過了車的檢測，車的類型，走向，包括行人和非機動車。中國的交通比較特殊，非機動車和行人對交通的影響比較大。第二就是對事故事件的檢測，這對交警管控交通有很好的參考作用。過去都是要人工巡檢的，現在逐步可以自動報告。
CAAI原創 丨 作者華先勝
未經授權嚴禁轉載及翻譯
如需轉載合作請向學會或本人申請
轉發請注明轉自中國人工智慧學會