華文網

「長沙論道」廣科院尹亞光:大資料的實踐與思考

【流媒體網】消息:2017年,是產業智慧升級,依託運營致勝的關鍵一年。據工信部資料顯示,截至2017年9月末,IPTV用戶總數已達1.12億戶,再次鞏固了全球行業領先的地位,遠超國外同行。從2012年底的2300萬使用者到今年的規模破億,

從原有LINUX封閉平臺到目前的Android智慧終端機,從粗獷式發展到智慧化、精細化運營……過去五年間IPTV在激烈的市場競爭中實現了逆勢崛起,正在成為中國電視領域的主流觀看管道,書寫了中國電視新媒體創新發展的輝煌篇章。

2017年11月9日—10日,以“新電視、新娛樂、新傳媒、新生態”為主題的流媒體網第十四屆電視新媒體高峰論壇在長沙舉行。10日上午,在主題為“新電視、新娛樂、新傳媒、新生態 ”的主論壇上,

廣電總局廣播科學研究院高級工程師尹亞光進行了主題為《大資料的實踐與思考》的演講。

感謝主持人,各位領導、各位來賓大家好!我做了一點資料分析的工作,一些科研專案,在這裡跟大家彙報一下,看看大家有什麼合作的機會和相互幫助的地方。

首先說一下廣電行業的視頻大資料,大資料的戰略是國家定了政策,推動大資料產業持續健康發展,是黨中央國務院作出的戰略部署,我們大資料產業規劃發佈了一個規劃。同時聶部長很關心我們資料的工作。廣電行業的視頻大資料是什麼概念呢?視頻規模越來越大,如何存儲、查詢、挖掘,如何存得下、讀得快、找得到、用得好。

真正的視頻行業的資料在學術界做得更多一些。

多媒體大資料的相關技術是這樣的,首先要有資料內容,有了資料內容之後,這種非結構的資料如何變得結構化,如何通過分散式的存儲,以及分散式的結構處理,把非結構化的資料和結構化的資料都存下來。還有一個資料索引技術,基於標籤的索引,它能夠解決我們的查詢問題,對於視頻來說,真正的索引是自動化的,

是基於內容的。學術上有很大的難度,這才是視頻大資料的研究根本。

資料的訪問技術,我們視頻的供給側改革,我們的視頻太多了,如果查詢不出來這個視頻等於沒有,查詢不到的話是屬於沉默的視頻內容。多媒體大資料相關領域,應該利用機器學習理論,結合大資料管理技術,研究文本、圖像、音視頻的檢索、分析和挖掘方法。

下面是大資料的實踐,這個回歸到我們行業的初期,

現在IPTV發展如火如荼,我是在IPTV的資料獲取和資料分析上做了工作,我認為不能叫嚴格意義上的大資料,資料統計更為合理,2014年廣電總局科技司大資料項目目,廣科院、央視國際、央廣新媒體,江蘇台,我們完成了一個實驗室。

專案的基本情況針對我們各個省的IPTV的資料,如何建設一個IPTV的資料獲取分析系統,但是我這邊更加偏重的是研究採集的策略,資料介面標準,從廣科院的事業單位,出標準的話意義更大,包括全國的資料如何彙聚。

全國的IPTV總架構同行說了,全國性的內容平臺覆蓋到全國,每個省通過本省的播控平臺將省內的節目發佈到本省。由於技術系統的複雜性或者技術系統的特點,每個地方都有搜集資料的機會。廣電能夠掌握用戶能否收看該節目的能力,結合我們電信、華為的系統,在探針的即時資料和離線資料,是我們現在作IPTV收視率的根本和基礎,這個收視率我也做了很多,從來沒有發佈過,跟同行探討了很多,也沒有形成一個最終的發佈管道,只是在探索。

在這個過程中我發現IPTV資料獲取的介面標準對行業有很大的促進作用。我們31個省都在做招標,希望統一的介面做一個參考,方便我們後續31個省的聯合,也適合我們後續的資料彙集。IPTV的資料獲取分析系統是個比較經典的架構設計,在這裡和大家分享,在每個省都會建立這樣一個小前端來做這樣的資料分析。所有的經過事件處理伺服器後進入我們的存儲,無非是結構存儲和非結構存儲,最後形成我們的分析和展示。

收視率指標廣科院也在進行設計和修訂,我們的收視率出了全國的規範,在IPTV裡面我們發佈一個指標的時候,應該以統一的名詞。大資料的研究方向有一整套的標準:有基礎標準、資料處理標準、資料安全等等,一步步的完成指導,大家事半功倍的做一些事情,這樣需要所有廠家的聯合。

最後是大資料我個人的思考,每次講PPT,我在這個地方寫完了,大資料分析的重要步驟之一是“試錯+調整”,我們什麼操作使得我們的系統變好了,或者什麼使我們的系統變差了,我們做了哪些操作使得我們的收視率變差了。北京台的趙總提了互聯網的企業,互聯網公司成功的也有很多,他們也是大規模的試錯。資料分析、資料變現探討了很多,其實也很難。所有現在的業務要有使用者的導向,廣電供給側思維的轉變,我是很喜歡看電視,只要有時間就會去看電視,在OTT的時代,我大概用30分鐘的時間,看看這個,搜搜那個沒有想看的就關掉了。我們現在的用戶是誰?使用者的屬性如何?如何黏住用戶?我們要用資料去評判,很多時候我們在做電視沒有去看電視,我們沒有時間去看電視,看電視是什麼樣的人?他的消費能力如何?我們要通過調研、實際的分析掌握這個屬性,然後再運營我們的產品。IPTV的使用者數和有線電視一樣,在家庭使用者數飽和了以後,拓展我們的屏,在螢幕拓展了之後,如何提升收視時長。IPTV開機率是每日是4-5個小時,未來我們視頻行業如何讓螢幕更長一點,或者24小時都開著。還有付費率、轉換率,我們做什麼能夠提供轉換率,我們的用戶習慣是什麼?我們針對用戶的運營有寒暑假,我們如何面對這些問題設計我們的產品。還有一個流動是春節期間的,用戶從打工的城市回到自己的家裡,我們原來有線電視有個典型的付費包,每年春節你開,要交三個月的錢,他既保證了收入,是一個新的產品設計。IPTV也會面臨這樣的問題,如何設計產品。比如說有個28原則,80%的用戶是低消費,20%的用戶是特別用戶。對於共性的人設置共性的節目,千人千面的這些也有很多。

我自己作為行業的從業者我們IPTV的產品、服務是什麼?跟我們各個廠家的想法是一樣的,我們能夠給用戶提供什麼?我們改變了什麼?我們能夠讓使用者有更好的產品和服務,才能提升我們的經濟效率。我們要有媒體屬性、事業感,同樣現在越來越的經濟效益也很重要,如何用資料來做優化,因為目標不一樣,需要有不同的調整和運營的策略。

這個是我引用復旦大學的一個老師的PPT,在國外做得很好,在國內有一些新聞從業者來做研究,廣電行業在做資料、做新聞的時候,尤其是IPTV,慢慢的我們還是會做內容才是我們的核心競爭力,IPTV也是個管道。我們在大資料新聞有個選題策劃、資料的採集、篩選、整合、視覺化、讀者的回饋,簡單來說在最早流覽網頁的時候,他會給你提示你是今天多少個流覽的用戶。這樣一個簡單的用戶,讓新聞的讀者有個參與感,證明我來過,你也知道我來過。這樣帶給他的體驗是不一樣的。包括所有的選題資料要用資料分析的方式去做。

這是很早之前的統計圖表,這個特別像湖南黃總說的一樣,做視頻我們要相信自己的能力,我們能力是有的,只要我們有核心內容的時候我們是可以超過互聯網的。這條黃線是互聯網的流量。我們跟互聯網全部的人在爭奪同樣的關注度和流量,如果把視頻做得好,他會降低別的內容訪問量。視頻在將來是有最大的關注度,只要我們把內容做好。

同樣的,我們做資料分析還有一個典型的,我們都在說推薦,都在說內容,在我看來內容和應用同樣重要,智慧是什麼?智慧是帶來簡單化。在座的各位有很多是電視機廠商,但是沒有人思考什麼是智慧。我希望白天的時候聲音大一點,晚上的時候聲音小一點,但是從來沒有一個硬體廠商滿足我的需求。智慧帶來的推薦無非是在我們把內容與使用者進行精准的匹配,它給用戶帶來的是簡單,就像洗衣機一樣,讓用戶節省時間出來。同樣在所有的IPTV和OTT,我出去做諮詢的時候,提出一個問題,只要電視機一打開,總會放個頻道給我。現在的IPTV、OTT一打開,還要我需要遙控選擇。智慧簡單的方向在哪裡,很多的細節如何處理。

大資料的應用效果如何?社會效應是什麼?我們要考慮輿情分析,還有研究者做了GDP的預測,人員的流動性怎樣,春節的時候收視率和平時的收視率、開機率的差別,像統計局一樣,分析我們人口流動的趨勢。還有媒體的覆蓋深度。我們現在想通過資料分析的方式在IPTV、OTT在視頻運營的時候有個重新的演繹。我個人喜歡做研究的,大資料是生產力的提升,它能提升用戶的體驗。

未來大資料的工作,這個更宏觀一點,強化大資料技術產品研發,促進行業大資料應用的發展,加快產業的主體培育。完善大資料產業化的支撐體系。發佈給誰?什麼時候發佈?在哪發佈?如何發佈?我們發佈的資料一定要公正、準確、沒有偏頗。

今天的小結:大資料能夠促進供給側的改革,我們如果通過資料分析發現內容是:收看率是0%,為何沉默了?如果沉默了就踢出去。我們把需要的提供給使用者就可以了。它決策就是要調整了,我們做法有利於我們的目標就繼續這樣做,如果得到了相反的結果就要調整運營的策略。我們每一次的分析是不一樣的,有的時候追求最大的利益,有的時候追求傳播力。所有全國未來如何用一個資料標準把資料統和起來是很關鍵的。大資料的彙集平臺技術上很好解決,但是大家是不是捨得把資料貢獻出來,貢獻出來了以後大家如何合作、共贏,形成聯盟,現在都在探討中。利用大資料能夠提升廣電的傳播力和影響力,我們各個省在做OTT也好、IPTV也好,分享合作共贏才是我們要追求的。

感謝各位!

如何建設一個IPTV的資料獲取分析系統,但是我這邊更加偏重的是研究採集的策略,資料介面標準,從廣科院的事業單位,出標準的話意義更大,包括全國的資料如何彙聚。

全國的IPTV總架構同行說了,全國性的內容平臺覆蓋到全國,每個省通過本省的播控平臺將省內的節目發佈到本省。由於技術系統的複雜性或者技術系統的特點,每個地方都有搜集資料的機會。廣電能夠掌握用戶能否收看該節目的能力,結合我們電信、華為的系統,在探針的即時資料和離線資料,是我們現在作IPTV收視率的根本和基礎,這個收視率我也做了很多,從來沒有發佈過,跟同行探討了很多,也沒有形成一個最終的發佈管道,只是在探索。

在這個過程中我發現IPTV資料獲取的介面標準對行業有很大的促進作用。我們31個省都在做招標,希望統一的介面做一個參考,方便我們後續31個省的聯合,也適合我們後續的資料彙集。IPTV的資料獲取分析系統是個比較經典的架構設計,在這裡和大家分享,在每個省都會建立這樣一個小前端來做這樣的資料分析。所有的經過事件處理伺服器後進入我們的存儲,無非是結構存儲和非結構存儲,最後形成我們的分析和展示。

收視率指標廣科院也在進行設計和修訂,我們的收視率出了全國的規範,在IPTV裡面我們發佈一個指標的時候,應該以統一的名詞。大資料的研究方向有一整套的標準:有基礎標準、資料處理標準、資料安全等等,一步步的完成指導,大家事半功倍的做一些事情,這樣需要所有廠家的聯合。

最後是大資料我個人的思考,每次講PPT,我在這個地方寫完了,大資料分析的重要步驟之一是“試錯+調整”,我們什麼操作使得我們的系統變好了,或者什麼使我們的系統變差了,我們做了哪些操作使得我們的收視率變差了。北京台的趙總提了互聯網的企業,互聯網公司成功的也有很多,他們也是大規模的試錯。資料分析、資料變現探討了很多,其實也很難。所有現在的業務要有使用者的導向,廣電供給側思維的轉變,我是很喜歡看電視,只要有時間就會去看電視,在OTT的時代,我大概用30分鐘的時間,看看這個,搜搜那個沒有想看的就關掉了。我們現在的用戶是誰?使用者的屬性如何?如何黏住用戶?我們要用資料去評判,很多時候我們在做電視沒有去看電視,我們沒有時間去看電視,看電視是什麼樣的人?他的消費能力如何?我們要通過調研、實際的分析掌握這個屬性,然後再運營我們的產品。IPTV的使用者數和有線電視一樣,在家庭使用者數飽和了以後,拓展我們的屏,在螢幕拓展了之後,如何提升收視時長。IPTV開機率是每日是4-5個小時,未來我們視頻行業如何讓螢幕更長一點,或者24小時都開著。還有付費率、轉換率,我們做什麼能夠提供轉換率,我們的用戶習慣是什麼?我們針對用戶的運營有寒暑假,我們如何面對這些問題設計我們的產品。還有一個流動是春節期間的,用戶從打工的城市回到自己的家裡,我們原來有線電視有個典型的付費包,每年春節你開,要交三個月的錢,他既保證了收入,是一個新的產品設計。IPTV也會面臨這樣的問題,如何設計產品。比如說有個28原則,80%的用戶是低消費,20%的用戶是特別用戶。對於共性的人設置共性的節目,千人千面的這些也有很多。

我自己作為行業的從業者我們IPTV的產品、服務是什麼?跟我們各個廠家的想法是一樣的,我們能夠給用戶提供什麼?我們改變了什麼?我們能夠讓使用者有更好的產品和服務,才能提升我們的經濟效率。我們要有媒體屬性、事業感,同樣現在越來越的經濟效益也很重要,如何用資料來做優化,因為目標不一樣,需要有不同的調整和運營的策略。

這個是我引用復旦大學的一個老師的PPT,在國外做得很好,在國內有一些新聞從業者來做研究,廣電行業在做資料、做新聞的時候,尤其是IPTV,慢慢的我們還是會做內容才是我們的核心競爭力,IPTV也是個管道。我們在大資料新聞有個選題策劃、資料的採集、篩選、整合、視覺化、讀者的回饋,簡單來說在最早流覽網頁的時候,他會給你提示你是今天多少個流覽的用戶。這樣一個簡單的用戶,讓新聞的讀者有個參與感,證明我來過,你也知道我來過。這樣帶給他的體驗是不一樣的。包括所有的選題資料要用資料分析的方式去做。

這是很早之前的統計圖表,這個特別像湖南黃總說的一樣,做視頻我們要相信自己的能力,我們能力是有的,只要我們有核心內容的時候我們是可以超過互聯網的。這條黃線是互聯網的流量。我們跟互聯網全部的人在爭奪同樣的關注度和流量,如果把視頻做得好,他會降低別的內容訪問量。視頻在將來是有最大的關注度,只要我們把內容做好。

同樣的,我們做資料分析還有一個典型的,我們都在說推薦,都在說內容,在我看來內容和應用同樣重要,智慧是什麼?智慧是帶來簡單化。在座的各位有很多是電視機廠商,但是沒有人思考什麼是智慧。我希望白天的時候聲音大一點,晚上的時候聲音小一點,但是從來沒有一個硬體廠商滿足我的需求。智慧帶來的推薦無非是在我們把內容與使用者進行精准的匹配,它給用戶帶來的是簡單,就像洗衣機一樣,讓用戶節省時間出來。同樣在所有的IPTV和OTT,我出去做諮詢的時候,提出一個問題,只要電視機一打開,總會放個頻道給我。現在的IPTV、OTT一打開,還要我需要遙控選擇。智慧簡單的方向在哪裡,很多的細節如何處理。

大資料的應用效果如何?社會效應是什麼?我們要考慮輿情分析,還有研究者做了GDP的預測,人員的流動性怎樣,春節的時候收視率和平時的收視率、開機率的差別,像統計局一樣,分析我們人口流動的趨勢。還有媒體的覆蓋深度。我們現在想通過資料分析的方式在IPTV、OTT在視頻運營的時候有個重新的演繹。我個人喜歡做研究的,大資料是生產力的提升,它能提升用戶的體驗。

未來大資料的工作,這個更宏觀一點,強化大資料技術產品研發,促進行業大資料應用的發展,加快產業的主體培育。完善大資料產業化的支撐體系。發佈給誰?什麼時候發佈?在哪發佈?如何發佈?我們發佈的資料一定要公正、準確、沒有偏頗。

今天的小結:大資料能夠促進供給側的改革,我們如果通過資料分析發現內容是:收看率是0%,為何沉默了?如果沉默了就踢出去。我們把需要的提供給使用者就可以了。它決策就是要調整了,我們做法有利於我們的目標就繼續這樣做,如果得到了相反的結果就要調整運營的策略。我們每一次的分析是不一樣的,有的時候追求最大的利益,有的時候追求傳播力。所有全國未來如何用一個資料標準把資料統和起來是很關鍵的。大資料的彙集平臺技術上很好解決,但是大家是不是捨得把資料貢獻出來,貢獻出來了以後大家如何合作、共贏,形成聯盟,現在都在探討中。利用大資料能夠提升廣電的傳播力和影響力,我們各個省在做OTT也好、IPTV也好,分享合作共贏才是我們要追求的。

感謝各位!