華文網

永洪科技王桐:一文讀懂“2018中國企業大資料需求5大演進趨勢”

作者介紹:擁有9年商業智慧領域的產品銷售、市場行銷經驗,

在甲骨文、IBM、永洪科技等知名企業擔任諮詢、銷售管理要職,曾成功推進多個大型專案的實施,為上百家企業使用者提供了完善的資料視覺化分析解決方案,這些企業既有寶寶樹等電商領域的明星公司,也有中國移動等傳統巨頭。

導語:自從大資料成為業界熱詞後,中國企業的大資料建設就開啟了井噴時代。近年來,企業對大資料的需求也在不斷升級演化,整體呈現更深入、更落地的特點。

近幾年,筆者通過實地調研、對話CIO等方式走訪上千家企業,部署上百家企業大資料商業智慧專案,通過對一線實踐經驗進行提煉總結,中國企業大資料需求大致呈現出5大演進趨勢。

一.AI逐漸成為商業智慧的重要組成部分

1. 單純的BI已不能滿足處於領導者地位企業的全部需求

從本質上來講,資料分析的目標是説明客戶從資料當中獲取洞察力,

創造價值。而AI作為商業智慧中的關鍵技術,它圍繞的目標並沒有發生變化,還是怎麼樣説明到客戶,尤其是對於企業中的絕大多數業務人員。通過AI説明他們從資料當中獲取洞察、實現更精准的趨勢預測和輔助決策,提高企業營業額以及提升企業的運營效率。

2. AI不能獨立存在,應站在BI的肩膀上,與BI無縫集成

BI和AI同屬大資料和智慧分析的範疇,在技術上有相當多的重疊性。

相比AI,BI的發展已經經歷了幾十個年頭,各層技術路線和資源都十分成熟豐富,尤其是BI的視覺化能力、敏捷易用性、資料準備能力、高性能處理能力都可讓AI借力。

視覺化能力:AI模型處理出的結果,很多時候也需要供人來查看解讀。豐富的圖表類型和展現形式,是BI的擅長點,也是很多AI平臺薄弱的環節。缺少好的視覺化輸出會降低資料的“易讀懂性”。值得注意的是,有部分AI演算法適合用特殊的非常規圖表類型來展示,

也需要BI平臺做好擴展支援。

敏捷易用性:在談論AI的時候,非資料科學家類人群都會把它當成非常神秘和高大上的東西,莫測不可知。實際上雖然演算法的理論基礎專業性要求很強,但演算法的應用並不複雜,也不應該複雜,應該降低演算法應用的使用門檻,讓大量需要應用的業務使用者也能夠上手使用,以此來最大化AI的商業價值。

敏捷BI在易用性上已經做了很多創新,AI的應用可以借力其用戶體驗。

資料準備能力:和BI一樣,資料治理的水準、資料的品質也會影響AI模型輸出結果的精准度。資料準備能力,如數據治理、資料清洗、資料整合等,AI可以共用、共用其結果。在高品質的資料基礎上,進行模型的訓練和探索。

高性能處理能力:性能強大的平臺,可以壓縮數倍AI模型訓練的時間,讓企業更快的應用AI的價值成果。可將AI的演算法改造為可支援分散式運算的形式,以適配MPP的計算引擎。

由此可以看出,在BI平臺中集成AI能力,對比獨立開發新的AI平臺,會具備極大的完備性優勢。

二.早期嘗試自服務分析的企業未達目標,真正的企業級自服務分析被探索落地

1. 早期企業簡單的認為,只要系統操作簡便,就能讓業務人員自己完成分析過程

然而業務人員並不懂資料庫、資料表和資料結構,也缺乏資料分析的方法論知識,並不能實現目標。如果分析需求並不很多,業務人員也缺乏自己動手的動力。

業務人員經常用不符合IT最佳實踐的方式作業系統,導致系統崩潰。

以上都是在實踐中會遇到的非常現實的問題。在國外,有如Tableau之類的視覺化工具,易用性很好,操作很簡便易學。但是自服務分析的內涵並不僅僅這麼簡單,幾乎所有自服務分析專案的失敗,都是上述問題導致的。

2. 真正的企業級自服務分析,需要合理分工、全面指導、性能強大:

合理分工:IT使用者負責資料的準備,業務使用者負責在準備好的資料基礎上,通過簡便的操作做靈活的多維分析或AI預測分析。

全面指導:經常聽到視覺化工具廠商告訴客戶“你通過拖拽就可以完成分析操作”,但客戶經常還是懵,“我拖什麼呢?”。對於很多業務使用者,資料分析不是他們的專業,基本的分析方法和思路還是需要通過培訓傳遞給客戶,且不能冗長,要非常簡練易學。附上幾篇面向業務用戶的分析方法論教學文章。(大道至簡的資料分析方法論)

性能強大:性能保障不光要靠計算引擎本身的強大,相關的系統管理機制也要十分完備。業務使用者在自服務分析時比較容易出現拖拽的維度過多過細導致笛卡爾積很大的情況,系統資源一下就被占滿了,變得十分卡頓甚至宕機。國內的資料分析平臺如永洪,就在系統管理機制上做了很多考慮和設計,如系統資源隔離,讓自服務分析的使用者操作不會影響到看日常固定報告的用戶;如可對用戶設置資源使用的額度和優先順序;再如多級緩存保障計算資源不被浪費,等等。

三.越來越多企業能夠清晰區分報表與資料分析的差異

1. 報表工具只能滿足“看到資料”的基礎需求

報表工具只能做結果監控,而不能回答發現的問題,更不能帶來直觀的決策指導。企業需要資料分析平臺來做資料應用的基礎。

2. 互動式分析成為企業資料平臺標配功能

在今天,企業更加注重“看到資料”——“發現問題”——“找到答案”——“採取行動”的閉環實現。

這個閉環實現需要平臺功能和服務能力的雙重支撐。

在平臺功能上,需要支援好下鑽、全域聯動、動態計算等。使使用者看到的不是靜態的固定報表,而是可交互、可對話的動態報告。在報告中發現的問題可通過互動式操作直接找到答案,而不是再去做一個新的固定報表。

在服務能力上,服務方不光要負責分析需求在資料分析平臺上的實施和實現,更需要具備資料諮詢能力,通過對業務和資料的系統化梳理,設計具備深度業務價值的分析體系,而非僅僅被動回應業務使用者提出的常規報表需求。

四.越來越多企業將資料分析嵌入從高層到一線人員的日常決策中

1. 一線人員的決策普遍呈現效率低、水準低的狀況

其實我並不喜歡“決策”這個詞,容易讓人誤解,總覺得很重,只有大事才需要決策。我更喜歡用“判斷”這個詞,即我的日常工作中,有哪些事需要做思考判斷?今天我需要致電哪些客戶、哪些商品需要下生產訂單了、下月的新品該如何設計等,都是需要做思考判斷的事項。

思考判斷是如何做的呢?通常情況下,使用者都會到各個系統查看需要的資訊,也經常需要再打一圈電話做確認,用半個小時完成判斷的過程,效率不高。且新人和老人的判斷水準也參差不齊,判斷的失誤則會直接影響到業務的發展。

2. 並不是做個駕駛艙就算實現了“決策支持”

在過去,有很多專案都以“決策支援系統”為名稱,但交付的僅是一個駕駛艙,實際仍然只是結果監控,並沒有做到真正的決策支持。

在我們和企業的溝通中,有時會問“您有哪些需要決策/判斷的問題”,結果通常是一時反應不過來。如果這個問題都尚未明確,駕駛艙支持了哪些決策呢?

3. 以決策支援為目的的資料分析能極大改進這一問題

資料諮詢的能力,在做好真正的決策支援時至關重要。需要對業務物件的日常工作有細緻的梳理,找出其中需要做思考判斷的事項,將判斷的依據和判斷的規則用資料分析平臺整合呈現出來,使用者就不用到處看系統打電話來收集資訊了,在一個統一的頁面上就能集中看到做判斷所需的全部資訊,這些資訊都以資料視覺化的形式呈現出來,而判斷規則轉化為了公式和模型。這樣,原來半小時做的判斷,現在一分鐘就能完成了,還保障了判斷水準的統一高品質。

五.越超半數大中型企業需要一個資料分析的“全能專家”作為企業發展的戰略夥伴

1. 昂貴的實施、集成、維護、學習成本,使企業迫切需要具備全方位能力的合作夥伴來提供服務

和資料打交道的越深,企業越感到其專業範圍之廣,從而迫切需要一個資料分析的“全能專家”來説明自己做好資料價值的挖掘。在任何一方面瘸腿兒,都會導致流程阻塞,折損價值的輸出。

所謂“全能”,不光是資料分析平臺的功能要完整全面,資料諮詢、資料治理、資料化運營最佳實踐等相關的服務型能力也要完整全面,綜合起來才能把事情做好。

2. 全能專家需要具備4方面能力:平臺、應用、服務、運營

目前業界已有像永洪一樣具備資料分析“全能專家”能力的企業產生。永洪基於對企業需求的洞察,逐步構建各方面能力,率先定義了資料驅動業務增長的PASO能力模型,作為對“全能專家”能力的詮釋。

永洪的PASO能力介紹

PASO分別是平臺(Platform)、應用(Application)、服務(Service)、運營(Operation)的首字母:

平臺:資料分析鏈條很長,從採集、治理、整合、存儲、計算、建模到展現,如果沒有一個完整全面的資料分析平臺,將會涉及太多工具和技術,成本高昂,架構複雜,需求實現效率太低,難以滿足企業業務的洞察需要。

應用:IT部門辛苦做出的資料包告,業務部門覺得沒用;問業務部門有什麼需求,又難以提出。需要有專業的資料諮詢專家來做好具備深度價值的資料應用的設計。

服務:無論是自建服務團隊還是找協力廠商供應商,缺乏貼身的精細化專業服務能力會導致解決問題效率低下,帶來負面用戶回饋。精細化的本機服務是專案成功的保障。

運營:很多企業用的都是國際大牌產品,但系統也往往不穩定,問題頻出,本質是因為缺少運營的系統化方法,沒有遵循最佳實踐。永洪基於數百個大型專案經驗,提煉總結了上百條資料化運營最佳實踐原則,通過永洪的客戶成功團隊傳遞給眾多企業。

結語:時至今日,企業對資料價值的挖掘和利用仍然處於早期階段,未來資料使用的方式、形態、場景,可能很多在今天都還沒有被想到。這是一件令人興奮的事情,探索未知總是很有樂趣,在這個過程中保持好奇和空杯的心態,才能在每一個需求演進的階段中作引領者,否則就會被市場淘汰。

可將AI的演算法改造為可支援分散式運算的形式,以適配MPP的計算引擎。

由此可以看出,在BI平臺中集成AI能力,對比獨立開發新的AI平臺,會具備極大的完備性優勢。

二.早期嘗試自服務分析的企業未達目標,真正的企業級自服務分析被探索落地

1. 早期企業簡單的認為,只要系統操作簡便,就能讓業務人員自己完成分析過程

然而業務人員並不懂資料庫、資料表和資料結構,也缺乏資料分析的方法論知識,並不能實現目標。如果分析需求並不很多,業務人員也缺乏自己動手的動力。

業務人員經常用不符合IT最佳實踐的方式作業系統,導致系統崩潰。

以上都是在實踐中會遇到的非常現實的問題。在國外,有如Tableau之類的視覺化工具,易用性很好,操作很簡便易學。但是自服務分析的內涵並不僅僅這麼簡單,幾乎所有自服務分析專案的失敗,都是上述問題導致的。

2. 真正的企業級自服務分析,需要合理分工、全面指導、性能強大:

合理分工:IT使用者負責資料的準備,業務使用者負責在準備好的資料基礎上,通過簡便的操作做靈活的多維分析或AI預測分析。

全面指導:經常聽到視覺化工具廠商告訴客戶“你通過拖拽就可以完成分析操作”,但客戶經常還是懵,“我拖什麼呢?”。對於很多業務使用者,資料分析不是他們的專業,基本的分析方法和思路還是需要通過培訓傳遞給客戶,且不能冗長,要非常簡練易學。附上幾篇面向業務用戶的分析方法論教學文章。(大道至簡的資料分析方法論)

性能強大:性能保障不光要靠計算引擎本身的強大,相關的系統管理機制也要十分完備。業務使用者在自服務分析時比較容易出現拖拽的維度過多過細導致笛卡爾積很大的情況,系統資源一下就被占滿了,變得十分卡頓甚至宕機。國內的資料分析平臺如永洪,就在系統管理機制上做了很多考慮和設計,如系統資源隔離,讓自服務分析的使用者操作不會影響到看日常固定報告的用戶;如可對用戶設置資源使用的額度和優先順序;再如多級緩存保障計算資源不被浪費,等等。

三.越來越多企業能夠清晰區分報表與資料分析的差異

1. 報表工具只能滿足“看到資料”的基礎需求

報表工具只能做結果監控,而不能回答發現的問題,更不能帶來直觀的決策指導。企業需要資料分析平臺來做資料應用的基礎。

2. 互動式分析成為企業資料平臺標配功能

在今天,企業更加注重“看到資料”——“發現問題”——“找到答案”——“採取行動”的閉環實現。

這個閉環實現需要平臺功能和服務能力的雙重支撐。

在平臺功能上,需要支援好下鑽、全域聯動、動態計算等。使使用者看到的不是靜態的固定報表,而是可交互、可對話的動態報告。在報告中發現的問題可通過互動式操作直接找到答案,而不是再去做一個新的固定報表。

在服務能力上,服務方不光要負責分析需求在資料分析平臺上的實施和實現,更需要具備資料諮詢能力,通過對業務和資料的系統化梳理,設計具備深度業務價值的分析體系,而非僅僅被動回應業務使用者提出的常規報表需求。

四.越來越多企業將資料分析嵌入從高層到一線人員的日常決策中

1. 一線人員的決策普遍呈現效率低、水準低的狀況

其實我並不喜歡“決策”這個詞,容易讓人誤解,總覺得很重,只有大事才需要決策。我更喜歡用“判斷”這個詞,即我的日常工作中,有哪些事需要做思考判斷?今天我需要致電哪些客戶、哪些商品需要下生產訂單了、下月的新品該如何設計等,都是需要做思考判斷的事項。

思考判斷是如何做的呢?通常情況下,使用者都會到各個系統查看需要的資訊,也經常需要再打一圈電話做確認,用半個小時完成判斷的過程,效率不高。且新人和老人的判斷水準也參差不齊,判斷的失誤則會直接影響到業務的發展。

2. 並不是做個駕駛艙就算實現了“決策支持”

在過去,有很多專案都以“決策支援系統”為名稱,但交付的僅是一個駕駛艙,實際仍然只是結果監控,並沒有做到真正的決策支持。

在我們和企業的溝通中,有時會問“您有哪些需要決策/判斷的問題”,結果通常是一時反應不過來。如果這個問題都尚未明確,駕駛艙支持了哪些決策呢?

3. 以決策支援為目的的資料分析能極大改進這一問題

資料諮詢的能力,在做好真正的決策支援時至關重要。需要對業務物件的日常工作有細緻的梳理,找出其中需要做思考判斷的事項,將判斷的依據和判斷的規則用資料分析平臺整合呈現出來,使用者就不用到處看系統打電話來收集資訊了,在一個統一的頁面上就能集中看到做判斷所需的全部資訊,這些資訊都以資料視覺化的形式呈現出來,而判斷規則轉化為了公式和模型。這樣,原來半小時做的判斷,現在一分鐘就能完成了,還保障了判斷水準的統一高品質。

五.越超半數大中型企業需要一個資料分析的“全能專家”作為企業發展的戰略夥伴

1. 昂貴的實施、集成、維護、學習成本,使企業迫切需要具備全方位能力的合作夥伴來提供服務

和資料打交道的越深,企業越感到其專業範圍之廣,從而迫切需要一個資料分析的“全能專家”來説明自己做好資料價值的挖掘。在任何一方面瘸腿兒,都會導致流程阻塞,折損價值的輸出。

所謂“全能”,不光是資料分析平臺的功能要完整全面,資料諮詢、資料治理、資料化運營最佳實踐等相關的服務型能力也要完整全面,綜合起來才能把事情做好。

2. 全能專家需要具備4方面能力:平臺、應用、服務、運營

目前業界已有像永洪一樣具備資料分析“全能專家”能力的企業產生。永洪基於對企業需求的洞察,逐步構建各方面能力,率先定義了資料驅動業務增長的PASO能力模型,作為對“全能專家”能力的詮釋。

永洪的PASO能力介紹

PASO分別是平臺(Platform)、應用(Application)、服務(Service)、運營(Operation)的首字母:

平臺:資料分析鏈條很長,從採集、治理、整合、存儲、計算、建模到展現,如果沒有一個完整全面的資料分析平臺,將會涉及太多工具和技術,成本高昂,架構複雜,需求實現效率太低,難以滿足企業業務的洞察需要。

應用:IT部門辛苦做出的資料包告,業務部門覺得沒用;問業務部門有什麼需求,又難以提出。需要有專業的資料諮詢專家來做好具備深度價值的資料應用的設計。

服務:無論是自建服務團隊還是找協力廠商供應商,缺乏貼身的精細化專業服務能力會導致解決問題效率低下,帶來負面用戶回饋。精細化的本機服務是專案成功的保障。

運營:很多企業用的都是國際大牌產品,但系統也往往不穩定,問題頻出,本質是因為缺少運營的系統化方法,沒有遵循最佳實踐。永洪基於數百個大型專案經驗,提煉總結了上百條資料化運營最佳實踐原則,通過永洪的客戶成功團隊傳遞給眾多企業。

結語:時至今日,企業對資料價值的挖掘和利用仍然處於早期階段,未來資料使用的方式、形態、場景,可能很多在今天都還沒有被想到。這是一件令人興奮的事情,探索未知總是很有樂趣,在這個過程中保持好奇和空杯的心態,才能在每一個需求演進的階段中作引領者,否則就會被市場淘汰。