您的位置:首頁>科技>正文

演講實錄丨明立波:基於HPC和大資料技術的超大規模視頻內容分析

由2017全國雙創周組委會指導, 國家發展和改革委員會與中國科學技術協會聯合主辦, 中國人工智慧學會承辦的2017年國家雙創周與人工智慧科技相關的重要活動:“智創未來——人工智慧與新生活創新創業論壇”於9月19日下午在中關村國家自主創新示範區成功舉辦。

以下是明立波老師的演講實錄:

明立波 中科曙光解決方案中心副總工程師

明立波:謝謝大家。 非常感謝學會劉老師和趙老師的邀請。 我這幾年一直在做視頻處理相關的東西, 今天給大家講一下視頻處理當前能夠做到什麼樣以及具體的效果。

大家知道這兩年開始, Skynet之後雪亮工程的進展, 各地攝像頭數量越來越多, 差不多每個城市會有十萬路左右, 用於分析的攝像頭差不多在一萬多的規模。 它對應什麼規模的資料量呢?按照現在的要求存儲一年, 總共生成約1.8萬億的數據。 在此基礎上, 要對各種屬性進行查詢, 對各種行為和場景進行預警分析, 即時計算的量五億條左右, 而且即時分析的話要求一百毫秒以內的延時, 具體如何實現, 後續我給大家說明。

首先介紹大資料。 大資料這麼多年說的比較爛了, 各種各樣的3V、5V、5S等等, 今天不提這些概念。 我從2011年開始做大資料到現在, 從大資料落地的角度, 可以認為大資料的系統無外乎兩大部分, DB和BI, 我今天主要說DB,

不是傳統的DB, 是能夠即時處理萬億規模資料的超級DB。 大家知道大資料它的落地非常困難, 缺一個什麼東西呢?缺一個類SQL的PL, 這個PL不是Programing Language, 而是Process Language。 後面大概會說一下。 大資料時代的資料處理, 更多強調的是流程, 而不是資料處理本身。 這時候你會發現在十萬億的規模, 如果要做即時處理的話, 以前所有的方法都不頂用了。 這個時候怎麼辦呢?就是HPC技術的天下。 100G頻寬以及0.6us的延時, 才使得十萬億規模的即時分析成為可行。

其他的東西, 我就不給大家細說了。 今天主要講視頻和圖像分析的, 為什麼要講這個呢?因為這個是我們工作的核心, 也是在創新性的把人工智慧後端接入到大資料平臺, 讓大資料和人工智慧混合作用產生新的系統。

先看一下視頻圖像分析系統整體的架構。 通過分散式消息流把視頻分發、人臉識別、視頻結構化和大資料等系統整合起來。 業內絕大多數公司的做法都是在AI引擎後端做統計分析, 但在系統設計時, 我們權衡, 一萬攝像頭規模的情況下, 一秒鐘的數量差不多是在六萬條, 六萬條入庫的情況下再去做預警, 要掛個後端的方式不太適合, 所以後來改了。

下面講一下具體的處理流程。 前段輸入一秒鐘差不多有十萬條, 然後在要保持好幾年的情況之下做屬相檢索和即時預警。 我們採用了兩個消息流並行處理的方式, 基於Kafka Stream對前端資料進行簡單的過濾和聚合計算, 然後分發到不同的後端集群。 後端集群針對不同業務場景採用Spark記憶體計算或者Redis-ML分別進行全量屬性查詢和即時預警分析。

這個是一個具體的屬性搜索的介面, 你會發現包含了各種各樣的屬性搜索。 各類高大上的技術對我們重要, 但是對客戶不重要。 我們系統設計的目標就是能夠讓不懂技術的人也能夠很好的應用系統。 我對我的程式師說過, 我不和你討論哪個合適哪個不合適, 一切以用戶的偏好為准。

今天就給大家分享到這裡。 再次感謝學會的邀請。 謝謝大家。

CAAI原創 丨 作者明立波儒

未經授權嚴禁轉載及翻譯

如需轉載合作請向學會或本人申請

轉發請注明轉自中國人工智慧學會

Next Article
喜欢就按个赞吧!!!
点击关闭提示