您的位置:首頁>科技>正文

深入思考—大資料思維與價值核心:資料驅動和業務場景化(原創)

每日乾貨好文分享丨請點擊+關注

fridaybifly, 邀請你進入頭條資料愛好者交流群, 資料愛好者們都在這兒。

開篇語

看過不少講解大資料思維的文章, 文章的一些觀點能夠帶給我很多的啟發, 很有見地也很受用。 在跟一些企業的負責人聊起大資料項目目規劃和建設的時候, 發現大家對大資料並不缺少自己的認識和看法, 只是這些認識和看法沒有被系統性的組織起來, 形成一個比較有深度的思考問題、解決問題的套路。

這篇文章結合我在和一些朋友溝通過程中看到的一些問題, 將大資料思維和價值做了一些聚焦和分解。

我來抛磚引玉, 希望這篇文章能夠讓大家從另外的一個角度去瞭解和思考一下到底什麼是大資料思維和價值。

這篇文章適合企業高層、即將或者正在規劃大資料項目目、思考如何對大資料進行頂層設計、大資料項目目管理人員一讀。 作為補充, 我在此也推薦幾篇文章以豐富大家思考問題的維度(角度):

【概念篇】大資料思維十大核心原理

【分析篇】趨勢 | 大資料應用落地分析

【案例篇】深入解讀民生銀行阿拉丁大資料生態圈如何養成

【案例篇】大資料如何聚焦業務價值, 美的大資料建設的啟發

本文作者:呂品 天善智能聯合創始人

本文整理自 2017年3月3日 美雲智數新品發佈會資料雲分論壇呂品的演講內容

人人必談大資料

說到大資料, 大家並不陌生, 從各種自媒體、線上線下沙龍, 包括生活中大家經常提起。 早在 2010 年之前, 國內的很多互聯網公司都已經在處理 “大資料”, 只不過那時對大資料還沒有一個清晰的定義。 2013 年起, 我們注意到在國內大資料這個詞開始火了,

火到什麼程度? 舉個例子:我每次回家, 家裡的親人朋友都在問我是做什麼的, 我說我們是搞商業智慧 BI 的, 基本上聽不懂。 什麼把資料變為資訊、資訊產生決策, 什麼 ETL、報表, 幾乎是懵圈的。 後來提了一句, 我們有一個技術網站, 裡面都是玩資料的, 比如大資料、資料分析、資料採擷...。 “大數據啊!大資料我知道!”, 我問什麼是大資料, 回答很簡潔乾脆:“大資料就是資料大唄!”。

其實這種理解不能說錯, 只能說不全面, 但是從某種角度上來說大資料還是比較深入人心的, “大資料”這三個字起到了一個很好的名詞普及作用, 至少不會像商業智慧 BI 那樣很難用一句或者幾句話讓大家有個哪怕是很基礎的概念。

大數據 4V

我們經常提到的大資料四大特徵:4個V

Volume 資料容量大:資料量從 GB 到 TB 到 PB 或以上的級別。

Variety 資料類型多:企業在解決好內部資料之後, 開始向外部資料擴充。 同時, 從以往處理結構化的資料到現在需要處理大量非結構化的資料。 社交網路資料獲取分析、各種日誌文本、視頻圖片等等。

Value 價值高, 密度低:資料總量很大, 但真正有價值的資料可能只有那麼一部分, 有價值的資料所占比例很小。 就需要通過從大量不相關的、各種類型的資料中去挖掘對未來趨勢和模型預測分析有價值的資料, 發現新的規律和新的價值。

Velocity 快速化:資料需要快速處理和分析。 2010年前後做過一個美國醫療保險的資料移轉專案, 有一個 ETL 需要處理該公司幾十年的歷史檔和歷史資料, 檔資料量很大, 並且邏輯非常複雜, 一個流程幾十個包, 一趟下來 35 個小時執行完畢。 這種情形如果放在現在的互聯網比如電商平臺很顯然是不允許的。 比如像電商促銷、或者要打促銷價格戰, 即時處理傳統的 BI 是無法完成的。 對有這種即時處理即時分析要求的企業來說, 資料就是金錢,時間就是生命。

我相信上面提到的大資料的四個 V、核心特徵還是比較容易理解的。如果我們不是站在技術層面去聊的話,大家對大資料或多或少都會有一些比較接近和類似的看法,並且在理解和認識上基本也不會有太大的偏差。

但是當我們談到大資料,大家真正關心的問題在哪裡呢? 從技術角度大家可能關心的是大資料的架構、大資料處理用到了什麼樣的技術。但是站在一個企業層面,特別是在著手考察或者規劃大資料項目目建設的負責人、企業高層來說,更多關心的應該是下面這幾個問題:

1. 大資料到底能幫我們企業做什麼,或者說能夠帶給我們企業什麼變化。上了大資料對我們有什麼用,會有什麼樣的改變,是經營成本下降、還是幫我們把產品賣的更多?

2. 我們的企業現在能不能上大資料?如果不能上大資料,為什麼,那又需要怎麼做?

3. 我們企業也想跟隨潮流上大資料,問題是要怎麼做。需要準備什麼,關於投入、人才、還缺什麼、需要用到什麼樣的技術?

4. 我們怎麼驗證這個大資料項目目是成功還是失敗,我們判斷的標準是什麼?

我相信這些問題都是大家比較關心的一些點,包括我自己。我們目前還是以 BI 分析為主,但我們也會去爬一些外部的資料,後面也在規劃大資料相關的一些專案和開發。

當然大資料這個話題是非常大的,我們很難從一個或者兩個角度把這些問題回答的非常全面。但是我覺得有一點是我們的企業高層或者決策者可以注意的:在規劃和考慮大資料的時候需要具備一定的大資料思維,或者說是面對大資料時我們所要具備的考慮問題和看問題的角度。

大資料思維方式

大資料思維方式我簡單概括為兩個方面:第一個是以資料為核心、資料驅動的思維方式。第二個是業務核心,業務場景化的思維方式。

以資料為核心、資料驅動的思維方式包含這幾個方面:

1. 盡可能完善自己的資料資源。我們手上握有什麼樣的資料資源,我們資料資源的品質如何?

企業需要關注和梳理我們有什麼樣的資料,以前是關注企業的流程,IT的流程、業務流程再造。現在大多數企業這些 IT 基礎和應用的建設都已經完成了,更加關心的應該是在我們的企業裡到底握有什麼樣的資料資源,在不同的行業我們的資料主題是不一樣的。

比如電商零售行業,我們考慮更多的可能是消費資料、涉及到使用者、產品、消費記錄。因為我們可以圍繞這些資料比如做使用者畫像、精准行銷、定制化的產品、產品的市場定位分析等等。

比如製造生產行業,我們涉及更多的資料可能是產品本身、我們的生產流程、供應商等。因為我們可以圍繞這些資料比如做我們的生產品質檢查、降低生產成本、工藝流程再造等。

只有瞭解我們目前自身的資料資源,才能知道我們還缺少哪些資料資源。而這些缺少的資料資源從哪裡來,如何獲得,就是我們在規劃大資料專案的時候是需要解決的。如果缺乏這種意識,等在規劃和上大資料專案的時候你的大資料資源非常有限的。

2. 增加資料觸點、盡可能多的去收集資料,增加資料收集和採集管道。大資料的建設和大資料分析它是一個反覆運算的過程,很多的分析場景都是在不斷的探索中找出來的,它有一定的不確定性。正是因為這種不確定性所以才需要我們盡可能收集更多的資料。

現在是移動互聯網時代,人人都是資料的生產者和製造者。比如每天的社交資料、互聯網點擊網路的資料、刷卡消費的資料、電信運營、互聯網運營資料。像我們的製造和生產行業,有自動化的感測器、生產流水線、自動設施的資料等。有些資料放在以前可能不值錢,但是現在看呢?這些資料現在或者在將來的某一天就會變得很有價值。

比如像我最開始提到的那家美國醫療保險公司,我看過他們的 COBOL 代碼注釋都有是七幾年、八幾年前的。他們積累了幾十年的資料,突然在 2010 年前後開始意識到資料的價值了,開始通過資料進行一些變現了。之前知道這些資料的價值嗎?不知道,但是嘗試到資料的甜頭,比如做自己的資料分析,諮詢機構購買一些脫敏的資料,或者給諮詢機構提供資料做市場研究用途。

所以大資料的構建不會是一天兩天的,這個過程會持續很長的時間,我們需要為將來做準備。所以如果你的公司連個最簡單的業務系統,IT 應用系統都沒有,資料連存放的地方都沒有,怎麼能夠上大資料呢?不合理。

資料越多,資料種類越豐富,我們觀察資料的角度維度就越豐富,我們利用大資料從中就能夠發掘出以前更多沒有看到的東西。

3. 資料開放和共用思維。這一點在我們國內其實說起來很容易,但是實際上很難。

去年的時候我去看了一個市公安局的大資料項目目(可參看這篇文章 政府大資料面臨的問題和阻力在哪裡?),他們有兩點意識非常好:

1)非常清楚的知道自己擁有哪些資料資源。比如市公安局以及下屬分局、各個支隊各個應用系統的資料:基礎的人口管理、信訪、犯罪資訊、情報。包括資料監控所涉及到的鐵路、網吧、民航購票、ETC 卡口等。

2)為了納入更多的社會化資料資源、實現全行業的資料覆蓋,他們準備接入交通、服務、科技資訊化、教育、社保、民政等各個行業的資料。包括他們給下面的單位下了資料的指標,每個單位或者每個民警都有這種收集資料的指標,比如哪個單位今天上傳了什麼樣的多少資料,每個月哪個單位上傳的最多,這都是很好的資料收集的意識。

但問題在哪裡?問題在於很多機構比如銀行受國家政策限制很多資料是沒有辦法共用的、還有像教育機構,我憑什麼把資料給你,在行政上大家是並級的機構。

所以這個時候就需要考慮資料開放和共用的思維,在滿足資料安全性的基礎之上我們可以不可以考慮資料互換共用的可能。公安局有的資料一定是教育機構沒有的資料,那麼同樣的教育機構有的資料,公安機構也不一定有。如果兩者資料在某種程度上形成共用,在保證資料安全和不衝突的情況下是可以創造出更多的社會價值的。比如公安局可以提供教育機構關於各個地區犯罪率的資訊,包括交通安全事故多發地等,教育機構可以針對這些資訊進行學校安全升級、學校周邊交通事故比較多的地方應該要進行什麼樣的安全教育和防護等。

那麼作為我們的企業而言,我們內部的資料打通自然是沒有問題,但是外部資料就比較缺乏。我們能不能考慮我們企業的上下游比如供應鏈、物流等合作夥伴我們之前的資料本著平等和互利的原則進行打通和共用,這裡面一定會創造出很多有價值的場景。內部共用沒有問題的時候,我們可不可以把思路變得更加開闊一些,讓外部的資料特別是上下游合作的資料流程動起來去創造更多的價值 1+1>2。

資料只有流動才會有變得有價值,大資料思維下,資料流程通和共用這需要我們把思維放得更開放。

4. 通過資料生成問題,發現問題,而不僅僅是回答問題。很多人都認為我只要上了大資料就可以幫我們自動找到企業或者業務中所有存在的問題,事實上我覺得大資料做不到。

大資料不是用來回答問題的,也不是用來去下結論的,大資料是基於海量資料用來洞察、預測和發現問題的,發現問題之後是需要我們的分析人員去進行分析得出結論,之後再去優化我們的產品、流程,然後再分析再預測和再驗證的一個過程。

比如 Google Flu Trends Google 流感趨勢分析 GFT,2008年11月 Google 啟動的 GFT 項目,目前是預測美國疾控中心 CDC 報告的流感發病率。2009 年的時候 GFT 發表的報告對用戶數十億的搜索中,差不多 45 個跟流感相關的關鍵字做分析,GFT 就能比 CDC 提前兩周預報 2007-2008 季流感病的發病率。

背後這是套非常複雜的演算法,是通過資料生成問題,發現問題的一個過程,大資料回答不了具體的真正的發病率,但是它有很高的參考性,這就是它的預測。

就像之前在美的大資料(請參考文章:大資料如何聚焦業務價值 | 世界500強美的大資料建設的啟發)裡面看到的一個案例:關於一款產品在社交網路投訴率的問題,比如丟失配件,但是通過產品檢查沒有這個問題。通過大資料分析可能並不能直接得出到底是哪一個環節出現了問題,它回答不了。但是卻可以讓我們發現這個問題是存在,是需要後面我們人為去介入的。

所以我覺得正確的利用大資料的思維方式是,通過資料去發現更多的問題、資料洞察。

5. 由經驗判斷判斷改為資料判斷。之前我們有一個朋友他們是做醫藥行業的 BI 項目實施,他們有一個客戶是一個醫藥連鎖店,規模也不是非常的大,業務系統也不是非常的多。他們和客戶去聊的時候,客戶說我們不需要這些東西,太虛。為什麼?每天閉著眼睛就知道哪些藥是暢銷藥,自己一個小系統就能算出庫存,季度的暢銷藥,沒有必要去上這些 BI 系統。這說的是一個事實,一年下來資料不到幾百兆內部的小資料用 EXCEL 就可以做做日常分析,這種就是經驗判斷。體量太小、業務單一,上 BI 都沒有必要,何況大資料。

但是如果我們的業務體量上去了,比如大的電商平臺,或者像上面提到的美的這樣生產製造行業,全國又有龐大的終端銷售門店包括各種電商平臺,這個時候光靠經驗能夠判斷出來市場上到底哪些是暢銷產品,產品有什麼問題,使用者回饋嗎?判斷不出來。所以這個時候就需要靠資料驅動,由以往的經驗判斷變為資料驅動、資料判斷。

所以總結起來,資料驅動的思維方式就是:瞭解和掌握我們已有的資料資源、尋找我們沒有的新的資料資源、盡可能多的收集與我們行業、業務、上下游相關的資料資源、資料開放和資料流程通、通過資料發現問題定位問題、由以往的經驗判斷過渡到資料驅動資料判斷。

以業務為核心,業務場景化的思維方式

首先需要大家能夠清晰認識到的是:大資料在不同的行業中不具備可複製性,大資料是一個高度個性化與行業深度結合的技術加業務的綜合體。如果我們在外面碰到有大資料公司說我什麼行業都能做,這基本上就是忽悠。目前大資料做的比較深的行業主要還是集中在互聯網、電商、金融、銀行這些領域。包括我在美的大資料那篇文章中提到的美雲智數主要還是聚焦在生產製造、泛電商行業,這種大資料才是靠譜的。

有很多朋友說,我們企業資料有很多、業務我們也非常熟悉,要上大資料怎麼做?我實話實說,就這麼問我也不知道。原因非常簡單,我不熟悉這個行業、我不熟悉你們的業務也不熟悉你們的資料。

在以前有一個朋友公司要上大資料,找了一個大資料項目目實施公司,但是過去一聊,聊的全是大資料架構應該怎麼搭建、技術怎麼選型怎麼開發,採購什麼樣的產品。但是很顯然,這家大資料實施公司弄錯了方向。這家企業目前要的不是大資料技術選型,也不是大資料技術架構應該怎麼去搭,它要的是大資料的一個頂層設計,需要的是一個個具體的業務場景,我們的大資料在這些業務場景裡面能夠解決哪些具體的問題。只有這些問題弄清楚了之後,再才是資料調研和技術架構選型到最終的實施。

業務場景化

那麼什麼叫業務場景化? 舉一個例子,比如我們天善智慧在北京專門租了一個場地定名叫 xTechDay,4月份就會啟動。

這個 xTechDay 專門用來主辦大資料、人工智慧、雲計算相關的活動,主要是週末。週一到週五怎麼辦? 就要租出去解決一個空置率的問題,那麼就要考慮到如何定價的問題,這個實際上就是一個業務場景。

我們到各種場地出租的網站,包括各種發佈這種線下活動的網站去爬資料,看看在北京每天有哪些是和我們相關的活動,活動地點分佈在哪個城區,各種場地大小、現場可以容納的人數、活動密度,基本上就可以看出來每個月每週這種活動的密度和各個場地的租金。我們再去比較我們的場地和這些場地的優點缺點,比如最後得出的結論就是我們的活動場地在 80-150 人之間,在北京的東邊地段,我們的場地日租金定在 4000元左右有很大的優勢。

當然我們也沒有打算靠場地能賺什麼錢,只是希望擁有一個自己的高品質的活動場地,想做活動的時候就可以隨時做。

會有人問,這個業務場景跟大資料沒有關係啊,一般的分析就可以做。沒錯,因為這個不需要大資料,就是一個小資料分析的業務場景。

那麼我們把它拉大一些,比如在電商平臺新推出了一個暢銷品,我們需要 24 小時監控這個產品上線之後大家的回饋。這個時候小資料做的了嗎?很顯然做不了,這個業務場景需要對各種海量資料進行即時的快速處理與分析,這個就是大資料下的業務場景—— 海量、即時、快速、價值。

前面做了一些鋪墊,讓大家理解了什麼是業務場景化,接著我們再來看大資料業務場景化的思維方式包括哪些?

1. 懂行業、深挖業務,業務邊界要先聚焦再擴散。每一個行業都各不相同,即使是同一個行業不同的企業對於自身業務、IT 應用流程構建的深度和廣度也都不同。但是有一點是需要我們特別注意的是,不管是大資料還是小資料,做好資料平臺的前提就是懂自身的行業、懂自身的業務。離開業務談資料平臺的建設,特別是大資料平臺的建設基本上就是一個空中樓閣。

我有朋友公司說 Simon 你過來幫我們規劃一下我們的大資料要怎麼搞,我說我做不了,因為我不懂這個行業。我可以幫你們梳理和看看整體的方向,我有我自己的一套方法,但前提是我需要花時間去深入瞭解你們的業務,做到業務真正弄清楚了才會有下一步的規劃。所以,沒有業務的指引,大資料的建設就失去了方向。

另外,大資料的建設要階段性的出成果,不是一上來所有的業務就需要全面打通。首先聚焦的應該是核心業務,企業業務核心重點在哪裡?比如生產製造行業業務流程重點在生產、電商平臺的核心業務重點在交易。

先把最有價值的業務場景梳理清楚,在逐步擴散到其它的重點業務流程。

2. 通過業務找資料、通過問題找資料。有很多企業在規劃大資料業務場景的時候會有這樣的困惑,企業已經有了很多需要分析的業務場景了,但是缺少資料資源。比如像銀行信用理財機構想做用戶畫像、做精准行銷,這是一個很好的業務場景,但是每個銀行只具備自己的用戶開戶資源,而這些用戶在自己銀行的標籤屬性價值很低。這個時候就需要借助協力廠商的資料資源來完成這個業務場景,這就是通過業務找資料、通過問題找資料。

比如,像電信運營商掌握著大家移動上網的資訊,你近期有沒有看過金融、理財相關的文章。比如,像大家上網的手機 APP,你看過哪些新聞和金融、理財相關的內容。這些相關的資料都會通過一些管道拿到,銀行理財的精准推薦就會通過各種方式推到你面前,國內有一些大資料公司就在做這些事情。

比如,像這篇文章中提到的民生銀行阿拉丁大資料項目目(【萬字大資料 BI 案例|視頻】民生銀行十五年的資料體系建設,深入解讀阿拉丁大資料生態圈、人人BI 是如何養成的?)民生銀行如何去判斷高價值的用戶 – 開豪車、住豪宅、用好手機號碼、出入高檔消費場所。最終從幾十萬的潛在客戶群體中挖掘出了幾千位高價值用戶,然後再去做精准行銷。最後的效果是節約了 90% 的行銷費用,同時這項行銷給一個分行帶來了高達 X 個多億的金融資產提升。那麼這裡面就涉及到了 4S店的消費資料、全國社區和物業收費資訊、聯通移動電信運營商的資料、刷卡消費記錄等等。

像美的大資料也會借助各種電商平臺和社交資源,抓取使用者對產品的評價回饋等做了很多的事情。

所以業務場景化,需要具備通過業務發現缺失的資料資源,同時也需要掌握這種找資料的能力。有自己通過技術手段解決的,也有通過與協力廠商公司合作完成的。

3. 通過資料找問題、通過資料找業務。比如還是民生銀行的阿拉丁專案,一個分行的運營人員就是通過大資料平臺上的資料花了半天時間發現了一個 ATM 機選址和優化的問題。通過對 ATM 機的交易活躍度、交易類型分析,比如查詢交易、轉帳交易、取款交易分析,最後發現 ATM 機的佈局不合理,有很多能存能取的 ATM 機利用率並不高。最後通過 ATM 選址優化、ATM 最優資源優化,一年為一個分行節省了幾百萬人民幣。

這個分析是一個非常偶然的發現,通過資料偶然找到了以可以對運營業務優化的方式,這個發現後面就可以推廣到更多的分行,一年可以節約的成本可想而知。

4. 豐富和創造各種業務場景。比如像我上面提到的民生銀行阿拉丁項目還有像美的大資料項目目,各種業務分析場景和案例至少是幾百個。業務場景的豐富程度決定大資料利用價值的深度和廣度,但凡是成功的大資料項目目它的業務場景都是非常豐富的。我們也對照一下我們自身的大資料項目目建設,這種已有的和被創造出來的業務場景有多少個,如果一雙手就能夠數出來,很明顯是不夠的,大資料的價值沒有被充分的發揮出來。

所以在大資料專案的規劃和落地的過程中,我們首先要去想想我們的業務場景有哪些?有哪些業務場景可以被創造出來,有哪些業務場景是我們之前一直想做但由於條件限制沒有辦法做的。如果是因為資料資源的問題,我認為是可以解決的,需要分清楚哪些資料資源是我們內部可以解決的,哪些資料資源是需要通過外部合作創造的,有哪些資料資源是我們現在沒有但是通過增加自身資料獲取的管道來豐富的。

比如像生產行業,我們想在流程監控、品質監控上去創造一些業務場景,那麼就要去想一想我們的資料夠不夠,我們各個環節的資料存儲是否到位。所以,業務場景的豐富程度取決於資料的積累程度,資料的積累程度不夠,就需要首先解決資料的問題。

站的高才能看得遠,業務場景多了,就會有場景交叉,資料的關聯性也上去了,資料的價值才會充分的被利用。

5. 關注新技術、新資源、新管道。我們以前是 PC 互聯網時代,現在已經進入到移動互聯網時代,但是不久的將來我們將進入到物聯網時代。我們的企業高層還有大資料建設團隊需要去關注新的技術、新的資源和管道,特別是對我們的行業有變革性影響的技術和資源。

新的技術和資源管道會影響甚至變革我們自身的業務,也可能帶來新的業務模式,我們需要不斷的關注這些新的業務模式帶來的新的業務場景。新的業務場景也可能需要新的資料資源、資料管道,保持對行業對新技術的好奇心,豐富我們考慮問題的思維場景這一點也是非常有必要的。

6. 專業的業務分析人員培養,專業諮詢和規劃人才可遇而不可求。雖然我們在這裡講的是大資料思維方式,那麼思維方式表示的是一種看問題和解決問題的角度。大資料思維方式不僅僅限定在資料和業務場景化本身,也需要考慮人的因素。

我碰到過一些公司在搭建不管是BI還是大資料分析平臺的時候,經常聽到 IT 部門說 “我們的業務人員不懂怎麼提出需求”,“我們的業務人員有資料不知道怎麼用”。同樣的業務部門的回饋是:“我們的技術人員不懂業務,講一遍講兩遍也聽不懂”。這說明一個問題:我們企業內部的人才培養是有缺陷的,IT 人員只懂技術只懂架構不懂業務,我們的業務人員對資料缺乏好奇心、缺乏基本的資料意識。

所以站在一定的高度上來看,不管是資料的創造、業務場景化的創造,本質都是需要人來驅動的。如果我們在規劃和建設大資料平臺的時候,忽略了懂業務懂分析專業人才的培養,這樣的大資料平臺是不會創造持久的價值的。

專業的分析、技術、諮詢和規劃人才可遇而不可求,很多異想天開、腦洞大開的大資料場景化的想法都是靠人來想出來的,都是對資料有很強的嗅覺、有很強的資料意識這批人給創造出來的。

比如像上面提到的有關民生銀行 ATM 機的案例就是靠一個運營人員拿著資料花了一下午時間給分析出來的,這種業務場景被驗證了,一個分行一年節省了幾百萬人民幣,這種業務價值想想有多大。

美的大資料也是一樣的,企業高層高屋建瓴,下面的大資料技術人員深入業務,企業 IT Inside 意識這些都是企業對人才的高投入,對應也就是高回報。

大資料價值

前面講到的這麼多內容都是有關大資料思維,提到了資料驅動和業務場景,在整個的分享過程中我們已經看到了大資料的價值所在。

我和很多朋友經常在聊到傳統行業大資料項目目案例的時候,就推薦看兩個大資料案例,一個就是民生銀行阿拉丁大資料項目目,另外一個就是美的大資料。為什麼? 因為我們去判斷一個大資料項目目建設是否成功是否落地的一個最核心的標準就是:大資料有沒有實現業務價值!

文章連結:

深入解讀民生銀行阿拉丁大資料生態圈如何養成

大資料如何聚焦業務價值 | 世界500強美的大資料建設的啟發

什麼是業務價值?以業務驅動、資料驅動真正形成業務上的決策指導,讓企業的業務決策、經營決策、生產決策、市場打法能夠真正的落地,並產生實際看得見摸得著的實實在在的價值:比如利潤的提升、市場產品的份額增長、經營成本的降低、發現新的商業模式等等。利潤、份額、成本這些都是企業最為關注的地方,如果大資料實現不了,就不叫落地。

大資料思維與價值

最後我們來總結一下大資料思維的核心是什麼?就是拼資料,拼業務場景,誰的資料多,資料輻射面廣,就具備大資料時代資料探索的價值。誰創造的業務場景多,資料的價值就可以最大化的發揮作用,就可以改變或者推進提升業務的形態。

那麼大資料價值是什麼?就是大資料的實現最終一定要落地於業務場景,為業務創造價值!

fridaybifly,邀請你進入頭條資料愛好者交流群,資料愛好者們都在這兒。

資料就是金錢,時間就是生命。

我相信上面提到的大資料的四個 V、核心特徵還是比較容易理解的。如果我們不是站在技術層面去聊的話,大家對大資料或多或少都會有一些比較接近和類似的看法,並且在理解和認識上基本也不會有太大的偏差。

但是當我們談到大資料,大家真正關心的問題在哪裡呢? 從技術角度大家可能關心的是大資料的架構、大資料處理用到了什麼樣的技術。但是站在一個企業層面,特別是在著手考察或者規劃大資料項目目建設的負責人、企業高層來說,更多關心的應該是下面這幾個問題:

1. 大資料到底能幫我們企業做什麼,或者說能夠帶給我們企業什麼變化。上了大資料對我們有什麼用,會有什麼樣的改變,是經營成本下降、還是幫我們把產品賣的更多?

2. 我們的企業現在能不能上大資料?如果不能上大資料,為什麼,那又需要怎麼做?

3. 我們企業也想跟隨潮流上大資料,問題是要怎麼做。需要準備什麼,關於投入、人才、還缺什麼、需要用到什麼樣的技術?

4. 我們怎麼驗證這個大資料項目目是成功還是失敗,我們判斷的標準是什麼?

我相信這些問題都是大家比較關心的一些點,包括我自己。我們目前還是以 BI 分析為主,但我們也會去爬一些外部的資料,後面也在規劃大資料相關的一些專案和開發。

當然大資料這個話題是非常大的,我們很難從一個或者兩個角度把這些問題回答的非常全面。但是我覺得有一點是我們的企業高層或者決策者可以注意的:在規劃和考慮大資料的時候需要具備一定的大資料思維,或者說是面對大資料時我們所要具備的考慮問題和看問題的角度。

大資料思維方式

大資料思維方式我簡單概括為兩個方面:第一個是以資料為核心、資料驅動的思維方式。第二個是業務核心,業務場景化的思維方式。

以資料為核心、資料驅動的思維方式包含這幾個方面:

1. 盡可能完善自己的資料資源。我們手上握有什麼樣的資料資源,我們資料資源的品質如何?

企業需要關注和梳理我們有什麼樣的資料,以前是關注企業的流程,IT的流程、業務流程再造。現在大多數企業這些 IT 基礎和應用的建設都已經完成了,更加關心的應該是在我們的企業裡到底握有什麼樣的資料資源,在不同的行業我們的資料主題是不一樣的。

比如電商零售行業,我們考慮更多的可能是消費資料、涉及到使用者、產品、消費記錄。因為我們可以圍繞這些資料比如做使用者畫像、精准行銷、定制化的產品、產品的市場定位分析等等。

比如製造生產行業,我們涉及更多的資料可能是產品本身、我們的生產流程、供應商等。因為我們可以圍繞這些資料比如做我們的生產品質檢查、降低生產成本、工藝流程再造等。

只有瞭解我們目前自身的資料資源,才能知道我們還缺少哪些資料資源。而這些缺少的資料資源從哪裡來,如何獲得,就是我們在規劃大資料專案的時候是需要解決的。如果缺乏這種意識,等在規劃和上大資料專案的時候你的大資料資源非常有限的。

2. 增加資料觸點、盡可能多的去收集資料,增加資料收集和採集管道。大資料的建設和大資料分析它是一個反覆運算的過程,很多的分析場景都是在不斷的探索中找出來的,它有一定的不確定性。正是因為這種不確定性所以才需要我們盡可能收集更多的資料。

現在是移動互聯網時代,人人都是資料的生產者和製造者。比如每天的社交資料、互聯網點擊網路的資料、刷卡消費的資料、電信運營、互聯網運營資料。像我們的製造和生產行業,有自動化的感測器、生產流水線、自動設施的資料等。有些資料放在以前可能不值錢,但是現在看呢?這些資料現在或者在將來的某一天就會變得很有價值。

比如像我最開始提到的那家美國醫療保險公司,我看過他們的 COBOL 代碼注釋都有是七幾年、八幾年前的。他們積累了幾十年的資料,突然在 2010 年前後開始意識到資料的價值了,開始通過資料進行一些變現了。之前知道這些資料的價值嗎?不知道,但是嘗試到資料的甜頭,比如做自己的資料分析,諮詢機構購買一些脫敏的資料,或者給諮詢機構提供資料做市場研究用途。

所以大資料的構建不會是一天兩天的,這個過程會持續很長的時間,我們需要為將來做準備。所以如果你的公司連個最簡單的業務系統,IT 應用系統都沒有,資料連存放的地方都沒有,怎麼能夠上大資料呢?不合理。

資料越多,資料種類越豐富,我們觀察資料的角度維度就越豐富,我們利用大資料從中就能夠發掘出以前更多沒有看到的東西。

3. 資料開放和共用思維。這一點在我們國內其實說起來很容易,但是實際上很難。

去年的時候我去看了一個市公安局的大資料項目目(可參看這篇文章 政府大資料面臨的問題和阻力在哪裡?),他們有兩點意識非常好:

1)非常清楚的知道自己擁有哪些資料資源。比如市公安局以及下屬分局、各個支隊各個應用系統的資料:基礎的人口管理、信訪、犯罪資訊、情報。包括資料監控所涉及到的鐵路、網吧、民航購票、ETC 卡口等。

2)為了納入更多的社會化資料資源、實現全行業的資料覆蓋,他們準備接入交通、服務、科技資訊化、教育、社保、民政等各個行業的資料。包括他們給下面的單位下了資料的指標,每個單位或者每個民警都有這種收集資料的指標,比如哪個單位今天上傳了什麼樣的多少資料,每個月哪個單位上傳的最多,這都是很好的資料收集的意識。

但問題在哪裡?問題在於很多機構比如銀行受國家政策限制很多資料是沒有辦法共用的、還有像教育機構,我憑什麼把資料給你,在行政上大家是並級的機構。

所以這個時候就需要考慮資料開放和共用的思維,在滿足資料安全性的基礎之上我們可以不可以考慮資料互換共用的可能。公安局有的資料一定是教育機構沒有的資料,那麼同樣的教育機構有的資料,公安機構也不一定有。如果兩者資料在某種程度上形成共用,在保證資料安全和不衝突的情況下是可以創造出更多的社會價值的。比如公安局可以提供教育機構關於各個地區犯罪率的資訊,包括交通安全事故多發地等,教育機構可以針對這些資訊進行學校安全升級、學校周邊交通事故比較多的地方應該要進行什麼樣的安全教育和防護等。

那麼作為我們的企業而言,我們內部的資料打通自然是沒有問題,但是外部資料就比較缺乏。我們能不能考慮我們企業的上下游比如供應鏈、物流等合作夥伴我們之前的資料本著平等和互利的原則進行打通和共用,這裡面一定會創造出很多有價值的場景。內部共用沒有問題的時候,我們可不可以把思路變得更加開闊一些,讓外部的資料特別是上下游合作的資料流程動起來去創造更多的價值 1+1>2。

資料只有流動才會有變得有價值,大資料思維下,資料流程通和共用這需要我們把思維放得更開放。

4. 通過資料生成問題,發現問題,而不僅僅是回答問題。很多人都認為我只要上了大資料就可以幫我們自動找到企業或者業務中所有存在的問題,事實上我覺得大資料做不到。

大資料不是用來回答問題的,也不是用來去下結論的,大資料是基於海量資料用來洞察、預測和發現問題的,發現問題之後是需要我們的分析人員去進行分析得出結論,之後再去優化我們的產品、流程,然後再分析再預測和再驗證的一個過程。

比如 Google Flu Trends Google 流感趨勢分析 GFT,2008年11月 Google 啟動的 GFT 項目,目前是預測美國疾控中心 CDC 報告的流感發病率。2009 年的時候 GFT 發表的報告對用戶數十億的搜索中,差不多 45 個跟流感相關的關鍵字做分析,GFT 就能比 CDC 提前兩周預報 2007-2008 季流感病的發病率。

背後這是套非常複雜的演算法,是通過資料生成問題,發現問題的一個過程,大資料回答不了具體的真正的發病率,但是它有很高的參考性,這就是它的預測。

就像之前在美的大資料(請參考文章:大資料如何聚焦業務價值 | 世界500強美的大資料建設的啟發)裡面看到的一個案例:關於一款產品在社交網路投訴率的問題,比如丟失配件,但是通過產品檢查沒有這個問題。通過大資料分析可能並不能直接得出到底是哪一個環節出現了問題,它回答不了。但是卻可以讓我們發現這個問題是存在,是需要後面我們人為去介入的。

所以我覺得正確的利用大資料的思維方式是,通過資料去發現更多的問題、資料洞察。

5. 由經驗判斷判斷改為資料判斷。之前我們有一個朋友他們是做醫藥行業的 BI 項目實施,他們有一個客戶是一個醫藥連鎖店,規模也不是非常的大,業務系統也不是非常的多。他們和客戶去聊的時候,客戶說我們不需要這些東西,太虛。為什麼?每天閉著眼睛就知道哪些藥是暢銷藥,自己一個小系統就能算出庫存,季度的暢銷藥,沒有必要去上這些 BI 系統。這說的是一個事實,一年下來資料不到幾百兆內部的小資料用 EXCEL 就可以做做日常分析,這種就是經驗判斷。體量太小、業務單一,上 BI 都沒有必要,何況大資料。

但是如果我們的業務體量上去了,比如大的電商平臺,或者像上面提到的美的這樣生產製造行業,全國又有龐大的終端銷售門店包括各種電商平臺,這個時候光靠經驗能夠判斷出來市場上到底哪些是暢銷產品,產品有什麼問題,使用者回饋嗎?判斷不出來。所以這個時候就需要靠資料驅動,由以往的經驗判斷變為資料驅動、資料判斷。

所以總結起來,資料驅動的思維方式就是:瞭解和掌握我們已有的資料資源、尋找我們沒有的新的資料資源、盡可能多的收集與我們行業、業務、上下游相關的資料資源、資料開放和資料流程通、通過資料發現問題定位問題、由以往的經驗判斷過渡到資料驅動資料判斷。

以業務為核心,業務場景化的思維方式

首先需要大家能夠清晰認識到的是:大資料在不同的行業中不具備可複製性,大資料是一個高度個性化與行業深度結合的技術加業務的綜合體。如果我們在外面碰到有大資料公司說我什麼行業都能做,這基本上就是忽悠。目前大資料做的比較深的行業主要還是集中在互聯網、電商、金融、銀行這些領域。包括我在美的大資料那篇文章中提到的美雲智數主要還是聚焦在生產製造、泛電商行業,這種大資料才是靠譜的。

有很多朋友說,我們企業資料有很多、業務我們也非常熟悉,要上大資料怎麼做?我實話實說,就這麼問我也不知道。原因非常簡單,我不熟悉這個行業、我不熟悉你們的業務也不熟悉你們的資料。

在以前有一個朋友公司要上大資料,找了一個大資料項目目實施公司,但是過去一聊,聊的全是大資料架構應該怎麼搭建、技術怎麼選型怎麼開發,採購什麼樣的產品。但是很顯然,這家大資料實施公司弄錯了方向。這家企業目前要的不是大資料技術選型,也不是大資料技術架構應該怎麼去搭,它要的是大資料的一個頂層設計,需要的是一個個具體的業務場景,我們的大資料在這些業務場景裡面能夠解決哪些具體的問題。只有這些問題弄清楚了之後,再才是資料調研和技術架構選型到最終的實施。

業務場景化

那麼什麼叫業務場景化? 舉一個例子,比如我們天善智慧在北京專門租了一個場地定名叫 xTechDay,4月份就會啟動。

這個 xTechDay 專門用來主辦大資料、人工智慧、雲計算相關的活動,主要是週末。週一到週五怎麼辦? 就要租出去解決一個空置率的問題,那麼就要考慮到如何定價的問題,這個實際上就是一個業務場景。

我們到各種場地出租的網站,包括各種發佈這種線下活動的網站去爬資料,看看在北京每天有哪些是和我們相關的活動,活動地點分佈在哪個城區,各種場地大小、現場可以容納的人數、活動密度,基本上就可以看出來每個月每週這種活動的密度和各個場地的租金。我們再去比較我們的場地和這些場地的優點缺點,比如最後得出的結論就是我們的活動場地在 80-150 人之間,在北京的東邊地段,我們的場地日租金定在 4000元左右有很大的優勢。

當然我們也沒有打算靠場地能賺什麼錢,只是希望擁有一個自己的高品質的活動場地,想做活動的時候就可以隨時做。

會有人問,這個業務場景跟大資料沒有關係啊,一般的分析就可以做。沒錯,因為這個不需要大資料,就是一個小資料分析的業務場景。

那麼我們把它拉大一些,比如在電商平臺新推出了一個暢銷品,我們需要 24 小時監控這個產品上線之後大家的回饋。這個時候小資料做的了嗎?很顯然做不了,這個業務場景需要對各種海量資料進行即時的快速處理與分析,這個就是大資料下的業務場景—— 海量、即時、快速、價值。

前面做了一些鋪墊,讓大家理解了什麼是業務場景化,接著我們再來看大資料業務場景化的思維方式包括哪些?

1. 懂行業、深挖業務,業務邊界要先聚焦再擴散。每一個行業都各不相同,即使是同一個行業不同的企業對於自身業務、IT 應用流程構建的深度和廣度也都不同。但是有一點是需要我們特別注意的是,不管是大資料還是小資料,做好資料平臺的前提就是懂自身的行業、懂自身的業務。離開業務談資料平臺的建設,特別是大資料平臺的建設基本上就是一個空中樓閣。

我有朋友公司說 Simon 你過來幫我們規劃一下我們的大資料要怎麼搞,我說我做不了,因為我不懂這個行業。我可以幫你們梳理和看看整體的方向,我有我自己的一套方法,但前提是我需要花時間去深入瞭解你們的業務,做到業務真正弄清楚了才會有下一步的規劃。所以,沒有業務的指引,大資料的建設就失去了方向。

另外,大資料的建設要階段性的出成果,不是一上來所有的業務就需要全面打通。首先聚焦的應該是核心業務,企業業務核心重點在哪裡?比如生產製造行業業務流程重點在生產、電商平臺的核心業務重點在交易。

先把最有價值的業務場景梳理清楚,在逐步擴散到其它的重點業務流程。

2. 通過業務找資料、通過問題找資料。有很多企業在規劃大資料業務場景的時候會有這樣的困惑,企業已經有了很多需要分析的業務場景了,但是缺少資料資源。比如像銀行信用理財機構想做用戶畫像、做精准行銷,這是一個很好的業務場景,但是每個銀行只具備自己的用戶開戶資源,而這些用戶在自己銀行的標籤屬性價值很低。這個時候就需要借助協力廠商的資料資源來完成這個業務場景,這就是通過業務找資料、通過問題找資料。

比如,像電信運營商掌握著大家移動上網的資訊,你近期有沒有看過金融、理財相關的文章。比如,像大家上網的手機 APP,你看過哪些新聞和金融、理財相關的內容。這些相關的資料都會通過一些管道拿到,銀行理財的精准推薦就會通過各種方式推到你面前,國內有一些大資料公司就在做這些事情。

比如,像這篇文章中提到的民生銀行阿拉丁大資料項目目(【萬字大資料 BI 案例|視頻】民生銀行十五年的資料體系建設,深入解讀阿拉丁大資料生態圈、人人BI 是如何養成的?)民生銀行如何去判斷高價值的用戶 – 開豪車、住豪宅、用好手機號碼、出入高檔消費場所。最終從幾十萬的潛在客戶群體中挖掘出了幾千位高價值用戶,然後再去做精准行銷。最後的效果是節約了 90% 的行銷費用,同時這項行銷給一個分行帶來了高達 X 個多億的金融資產提升。那麼這裡面就涉及到了 4S店的消費資料、全國社區和物業收費資訊、聯通移動電信運營商的資料、刷卡消費記錄等等。

像美的大資料也會借助各種電商平臺和社交資源,抓取使用者對產品的評價回饋等做了很多的事情。

所以業務場景化,需要具備通過業務發現缺失的資料資源,同時也需要掌握這種找資料的能力。有自己通過技術手段解決的,也有通過與協力廠商公司合作完成的。

3. 通過資料找問題、通過資料找業務。比如還是民生銀行的阿拉丁專案,一個分行的運營人員就是通過大資料平臺上的資料花了半天時間發現了一個 ATM 機選址和優化的問題。通過對 ATM 機的交易活躍度、交易類型分析,比如查詢交易、轉帳交易、取款交易分析,最後發現 ATM 機的佈局不合理,有很多能存能取的 ATM 機利用率並不高。最後通過 ATM 選址優化、ATM 最優資源優化,一年為一個分行節省了幾百萬人民幣。

這個分析是一個非常偶然的發現,通過資料偶然找到了以可以對運營業務優化的方式,這個發現後面就可以推廣到更多的分行,一年可以節約的成本可想而知。

4. 豐富和創造各種業務場景。比如像我上面提到的民生銀行阿拉丁項目還有像美的大資料項目目,各種業務分析場景和案例至少是幾百個。業務場景的豐富程度決定大資料利用價值的深度和廣度,但凡是成功的大資料項目目它的業務場景都是非常豐富的。我們也對照一下我們自身的大資料項目目建設,這種已有的和被創造出來的業務場景有多少個,如果一雙手就能夠數出來,很明顯是不夠的,大資料的價值沒有被充分的發揮出來。

所以在大資料專案的規劃和落地的過程中,我們首先要去想想我們的業務場景有哪些?有哪些業務場景可以被創造出來,有哪些業務場景是我們之前一直想做但由於條件限制沒有辦法做的。如果是因為資料資源的問題,我認為是可以解決的,需要分清楚哪些資料資源是我們內部可以解決的,哪些資料資源是需要通過外部合作創造的,有哪些資料資源是我們現在沒有但是通過增加自身資料獲取的管道來豐富的。

比如像生產行業,我們想在流程監控、品質監控上去創造一些業務場景,那麼就要去想一想我們的資料夠不夠,我們各個環節的資料存儲是否到位。所以,業務場景的豐富程度取決於資料的積累程度,資料的積累程度不夠,就需要首先解決資料的問題。

站的高才能看得遠,業務場景多了,就會有場景交叉,資料的關聯性也上去了,資料的價值才會充分的被利用。

5. 關注新技術、新資源、新管道。我們以前是 PC 互聯網時代,現在已經進入到移動互聯網時代,但是不久的將來我們將進入到物聯網時代。我們的企業高層還有大資料建設團隊需要去關注新的技術、新的資源和管道,特別是對我們的行業有變革性影響的技術和資源。

新的技術和資源管道會影響甚至變革我們自身的業務,也可能帶來新的業務模式,我們需要不斷的關注這些新的業務模式帶來的新的業務場景。新的業務場景也可能需要新的資料資源、資料管道,保持對行業對新技術的好奇心,豐富我們考慮問題的思維場景這一點也是非常有必要的。

6. 專業的業務分析人員培養,專業諮詢和規劃人才可遇而不可求。雖然我們在這裡講的是大資料思維方式,那麼思維方式表示的是一種看問題和解決問題的角度。大資料思維方式不僅僅限定在資料和業務場景化本身,也需要考慮人的因素。

我碰到過一些公司在搭建不管是BI還是大資料分析平臺的時候,經常聽到 IT 部門說 “我們的業務人員不懂怎麼提出需求”,“我們的業務人員有資料不知道怎麼用”。同樣的業務部門的回饋是:“我們的技術人員不懂業務,講一遍講兩遍也聽不懂”。這說明一個問題:我們企業內部的人才培養是有缺陷的,IT 人員只懂技術只懂架構不懂業務,我們的業務人員對資料缺乏好奇心、缺乏基本的資料意識。

所以站在一定的高度上來看,不管是資料的創造、業務場景化的創造,本質都是需要人來驅動的。如果我們在規劃和建設大資料平臺的時候,忽略了懂業務懂分析專業人才的培養,這樣的大資料平臺是不會創造持久的價值的。

專業的分析、技術、諮詢和規劃人才可遇而不可求,很多異想天開、腦洞大開的大資料場景化的想法都是靠人來想出來的,都是對資料有很強的嗅覺、有很強的資料意識這批人給創造出來的。

比如像上面提到的有關民生銀行 ATM 機的案例就是靠一個運營人員拿著資料花了一下午時間給分析出來的,這種業務場景被驗證了,一個分行一年節省了幾百萬人民幣,這種業務價值想想有多大。

美的大資料也是一樣的,企業高層高屋建瓴,下面的大資料技術人員深入業務,企業 IT Inside 意識這些都是企業對人才的高投入,對應也就是高回報。

大資料價值

前面講到的這麼多內容都是有關大資料思維,提到了資料驅動和業務場景,在整個的分享過程中我們已經看到了大資料的價值所在。

我和很多朋友經常在聊到傳統行業大資料項目目案例的時候,就推薦看兩個大資料案例,一個就是民生銀行阿拉丁大資料項目目,另外一個就是美的大資料。為什麼? 因為我們去判斷一個大資料項目目建設是否成功是否落地的一個最核心的標準就是:大資料有沒有實現業務價值!

文章連結:

深入解讀民生銀行阿拉丁大資料生態圈如何養成

大資料如何聚焦業務價值 | 世界500強美的大資料建設的啟發

什麼是業務價值?以業務驅動、資料驅動真正形成業務上的決策指導,讓企業的業務決策、經營決策、生產決策、市場打法能夠真正的落地,並產生實際看得見摸得著的實實在在的價值:比如利潤的提升、市場產品的份額增長、經營成本的降低、發現新的商業模式等等。利潤、份額、成本這些都是企業最為關注的地方,如果大資料實現不了,就不叫落地。

大資料思維與價值

最後我們來總結一下大資料思維的核心是什麼?就是拼資料,拼業務場景,誰的資料多,資料輻射面廣,就具備大資料時代資料探索的價值。誰創造的業務場景多,資料的價值就可以最大化的發揮作用,就可以改變或者推進提升業務的形態。

那麼大資料價值是什麼?就是大資料的實現最終一定要落地於業務場景,為業務創造價值!

fridaybifly,邀請你進入頭條資料愛好者交流群,資料愛好者們都在這兒。

Next Article
喜欢就按个赞吧!!!
点击关闭提示