一、大數據寒冬已至
凜冽的寒風吹散了北京的跨年霧霾， 帶來了數九寒天的冰凍感受。 中關村大資料日活動剛剛結束一個月，
早在半年前， 百分點主動進行了業務優化， 將超過600人的團隊調整至500人。 2017新年剛過， 亞信資料同樣步入調整步伐， 負責新領域探索的部門全都在調整範圍內， 這正是機制靈活公司的快速市場反應。 新年前後與多家業界有名的大資料公司溝通， 有一個普遍的問題就是共同虧損， 不管是做資料生意的， 還是做平臺項目的， 無一例外， 而且公司普遍對團隊在2017年的盈利提出要求。 讓我們再想像一下， 如果這些團隊未能在2017年實現盈利結果會如何?
對運營商而言， 即便聯通、電信宣稱通過資料變現實現了數億的銷售收入，
那麼是什麼原因導致大資料行業集體進入寒冬?是實體經濟下行影響嗎?還是大資料停留在概念炒作階段， 未進入到實際應用?
大環境確實對大資料行業產生負面影響， 不只是大資料， 2016年實質上還是資本的寒冬， 移動互聯網的寒冬。 但從根本上看， 過度競爭才是大資料寒冬的主要因素， 也是一切寒冬的罪魁禍首。
二、更多的玩家更低的門檻必然導致自我淘汰
必須承認， 從整個市場來看， 2016年大資料行業整體取得了巨大進步。
首先， 來自資料的價值被充分挖掘。 大資料的熱度讓“資料是資產”“資料產生價值”深入人心， 且在實際生產中催生了豐富的資料應用。 客群分析、精准定向推送、金融信貸中的身份核驗、基於資料的信用評級等， 其核心並非“大資料”技術的應用， 更多的應該是“資料”的價值發掘。 如果可以統計的話， 2016年各公司之間的資料交易與2015年相比一定是一個指數級的增長。
資料分析應用經歷四個階段， 分別是簡單資料的簡單分析(傳統的資料庫統計)、簡單資料的複雜分析(傳統資料量的資料採擷)、複雜資料的簡單分析、複雜資料的複雜分析。
其次， 大資料應用的典型案例層出不窮， 目前集中於複雜資料的簡單分析。
比如上海踩踏事件後， 對於特殊時段/事件的即時人群流量監測成為大中城市的共同需求。 通常通過運營商大規模信令資料的准即時處理， 來實現區域人群准即時洞察分析。 2016年已經在各大旅遊區、航展、火車站等進行了廣泛的應用。
比如某市政府因人口疏解壓力， 要求分析各區縣(各鄉鎮)之間的常住人口、工作人口數量， 以及各類人口變動來源與去向。 通常通過運營商信令資料的離線分析，
比如公安部門、信用評級部門需要分析個人或企業的關係鏈。 對個人來說， 有那些人跟你是家庭關係、親戚關係、同學關係、同事關係包括曾經同學、同事等， 以及關係的關係。 通過大資料圖計算方式， 能快遍歷每個節點與周邊多個節點之間的直接或間接關聯關係， 形成個人關係圖譜。 對企業來說， 股權投資、高管兼任、資金擔保等均可通過圖計算方式， 分析出企業關係圖譜或各類複雜的資金鏈/擔保鏈關係圖譜等。
但是， 上述整體市場的進步並不意味著參與的企業個體能夠持續的活下去。 十家公司出現十個典型案例，大家都可能玩完，而一個公司一個典型案例覆蓋十個客戶，才有可能活得下去。
就如“谷賤傷農”的道理一樣，過度投入帶來的過度競爭才是大資料寒冬的真正原因。不是大資料技術不好，也不是應用缺乏，而是當前的應用市場無法容納過度參與玩家的生產能力。
首先，過度投入來自對新技術新領域的追捧。從Gartner公司每年一度的新興技術成熟度曲線(Hype Cycle for Emerging Technologies)可看出，大資料在2013年正處在成熟度曲線的頂峰，2014年已經開始走下坡路，2015年已經脫離曲線，從概念炒作走向實際應用。現在已經有不少公司開展調整，在可見的將來還會有更多的公司步入後塵。那麼2016年熱度頂峰的新技術是什麼，是區塊鏈。我有認識的朋友，一年半前從大資料平臺專案離職搞區塊鏈，那時候我還根本理解不了什麼是區塊鏈。大概半年前又回到大資料公司，重新搞起了大資料平臺。
其次，軟體行業的整體迷茫，紛紛把大資料當成救命稻草。現在還有軟體公司(包含廣告公司)不稱呼自己是大資料公司的嗎?還有軟體公司不搞些大資料平臺或應用產品嗎?不用提傳統電信運營支撐公司東方國信、亞信資料，就說飛信支撐方神州太嶽，在2015年也高調轉型大資料應用領域。
雲計算與SaaS化應用的興起導致的軟體革命，讓行業競爭加劇，很多軟體廠商無所適從。就如一季度曾曝出的用友軟體的大幅度虧損一樣，不管做ERP還是小應用，傳統的軟體公司的日子越來越難過了。這些軟體公司把進軍大資料當成解決軟體行業性問題的良方，結果是從一個火坑跳入另一個火坑。
再次，大資料開源技術的低門檻，玩家進出無障礙。以最經典的Apache Hadoop社區為例，Hadoop的專案結構不斷豐富發展，已經形成一個豐富的Hadoop生態系統，囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30個模組。雖然能夠對社區提供持續原創性貢獻的企業不多，但並不妨礙眾多公司，一兩個熟手+若干個生手就可以承諾搭建並運營一個即時交易風控平臺(以即時流計算為主要模式的平臺)。問題的關鍵在於，同樣面對新技術，新加入的玩家與傳統的BI廠商基本處於同一起跑線上。
最後，建設容易運營難，大資料價值還未真正體現。資料價值已經體現，但大資料價值還未真正體現。很明顯，之前大資料的虛火來自于建設的熱潮。當建設的熱潮退去，需要通過真實的應用價值來回報的時候，發現雖然有不少案例，但是總體的價值根本無法hold住之前的投入。因此反向的減少建設投入，導致市場空間相對於之前的高速擴張有較大的萎縮。
一切正如2000年的互聯網寒冬一樣，當前的大資料寒冬正是市場機制自動產生的“優勝劣汰”過程，這是歷史規律。
對於任何一個企業或組織來說，最終結局都逃不過失敗，但對於優秀的企業來說，可以失敗得晚一點，生存得更久一些。就如華為任正非在《華為的冬天》裡說到的一樣，“十年來我天天思考的都是失敗，對成功視而不見，也沒有什麼榮譽感、自豪感，而是危機感。也許是這樣才存活了十年。我們大家要一起來想，怎樣才能活下去，也許才能存活得久一些。失敗這一天是一定會到來，大家要準備迎接，這是我從不動搖的看法，這是歷史規律。”
三、產品聚焦是前提
在大資料的寒冬裡，要比別人活得久一點，首先得明確自身的產品是什麼，市場在什麼地方，與競爭對手相比，產品是否有差異。
大資料的產品很多，大的方面可以分為6類。
第一，大資料基礎平臺。解決分散式資料存儲、離線計算與資源管理問題，包含目前比較流行的Paas平臺。
第二，即時計算引擎。通過Storm\Spark streaming等架構解決大批量即時計算問題。
第三，資料庫。各類DB，Sql，Mysql，Hbase等。
第四，大資料資產管理。資料從採集到應用開放全過程的資料結構管理。比如中繼資料管理，過程管理，隱私安全管理，開放管理與審計等。
第五，通用大資料應用。適用與所有行業的工具與模型。比如視覺化工具，統一分析門戶，互聯網內容分析，智慧行銷管理，資料採擷工具/模型， SaaS化DMP等。
第六，垂直領域大資料應用。與特定行業的緊密結合的產品，如金融征信，位置運營，精准扶貧，智慧醫療等。
如果你的產品線包含從第一到第六，那麼你離倒下已經不遠了。如果你能夠在某一個領域做得足夠的精深，精深到讓其它所有的玩家都很難生存，那麼恭喜你，你就是在戰場上確立了自己地位的人，一定活得更久。
從中國大資料技術大會連續幾年的趨勢預測，也可以幫助我們判斷出市場的需求前景所在。
2013首提的資料資源化(價值化)在後續兩年基本實現，在2016年越來越成熟。如果你擁有較好的資料資源，毫無疑問，活下去的概率會大增。
在2016年以前，大資料分析與視覺化被持續提及。在實際中，市面上視覺化工具數不勝數，其中國外有一款叫Tableau，已經部分實現了2016年所預測的“視覺化推動平民化”。如果還想依靠類似視覺化工具來提供原來的BI服務，基本上沒有市場空間了。
大資料的安全與隱私問題是持續令人擔心的熱點，這裡其實隱藏另一個問題，如何將複雜資料結果算准的問題。這意味著要詳細瞭解資料資源的構成(中繼資料)，世系關係(從哪兒來用在哪個應用上)，這導致大資料治理或者大資料資產管理產品是一個適用於所有行業的剛性需求。
資料科學的興起是自2013年來持續提及的預測。實質上目前的很多大資料應用並未涉及到模型，這也是導致門檻低、競爭激烈的重要原因。因為真正大資料的應用應該是“複雜資料的複雜分析”，該領域缺少對應的產品。
與需求相結合的資料科學能力(能解決最終應用問題的模型能力)是大資料公司的核心能力，舉一個例子，目前國內的圖像識別、人臉識別等，其核心演算法(通常以卷積神經網路為代表)絕大部分來自國外。再舉一個現實中的例子，市政公安部門很需要對各地區進行犯罪趨勢預測，以便對警務/行政資源進行合理分配，現實中基本缺少對應的解決方案。
受個人的局限，無法就每一個大資料產品前景做出判斷，但從各大資料公司的交流進行總結，往往產品聚焦的公司，差異化會更明顯，在特定領域更能做到對手所無法達到的高度，具有更強的生命力。
四、成本控制是唯一出路
2000年4月3日開始，美國Nasdaq股票狂跌，到了年底，中國的網站開始紛紛倒閉。至此，持續三年的互聯網第一波浪潮突然從峰頂跌入峰穀，互聯網的冬天來臨了。
2001年1月，阿裡的帳面上只剩能維持半年多的700萬美元，更可怕的是，當時的阿裡並沒有找到賺錢的辦法。陷入自創業以來最困難最危機的境地。
正如後來大家所知道的，阿裡裁掉了美國、歐洲、香港、韓國的網站團隊，將所有的業務回到杭州這個中心，這是阿裡巴巴第一次裁員，也是唯一一次大裁員。效果立竿見影，每月的成本立刻從100萬降到了50萬美元，阿裡巴巴贏得了寶貴的一年喘息時間!
去掉所有的浮誇，控制成本，做最謹慎的預測，確保能夠活下去作為第一要義，是度過寒冬的唯一出路。
華為軟體人數不少，從營業收入上看過百億，應該是中國最大的軟體公司，但是大並不意味著能夠盈利。
我有個朋友獨自負責一個50人的小公司，主要提供大軟體公司所照顧不到的部分省市運營商的分析行銷服務，年營業收入數千萬元，卻能做到業界較好的利潤率。究其原因，她一個人既是CEO，又是唯一一個行銷經理兼客戶經理，給自己開比較低的工資，核心人員用股份來挽留，每年都在為下一個年度的生存項目提前較勁。
這是一個最典型的為了活下去而努力的公司，沒有絢麗的遠景規劃，沒有層級複雜的管理，全都投入生產，成本控制到極致。所以，她能活下去，或許還能不斷壯大。
對於這些善於成本控制、產品及市場目標明確的公司而言，寒冬或許是一個新的機遇。就如一個優秀的獵手，在凜冽寒風中耐心的等待，等待著對手倒下，然後從容收割獨屬於自己的獵物。
十家公司出現十個典型案例，大家都可能玩完，而一個公司一個典型案例覆蓋十個客戶，才有可能活得下去。就如“谷賤傷農”的道理一樣，過度投入帶來的過度競爭才是大資料寒冬的真正原因。不是大資料技術不好，也不是應用缺乏，而是當前的應用市場無法容納過度參與玩家的生產能力。
首先，過度投入來自對新技術新領域的追捧。從Gartner公司每年一度的新興技術成熟度曲線(Hype Cycle for Emerging Technologies)可看出，大資料在2013年正處在成熟度曲線的頂峰，2014年已經開始走下坡路，2015年已經脫離曲線，從概念炒作走向實際應用。現在已經有不少公司開展調整，在可見的將來還會有更多的公司步入後塵。那麼2016年熱度頂峰的新技術是什麼，是區塊鏈。我有認識的朋友，一年半前從大資料平臺專案離職搞區塊鏈，那時候我還根本理解不了什麼是區塊鏈。大概半年前又回到大資料公司，重新搞起了大資料平臺。
其次，軟體行業的整體迷茫，紛紛把大資料當成救命稻草。現在還有軟體公司(包含廣告公司)不稱呼自己是大資料公司的嗎?還有軟體公司不搞些大資料平臺或應用產品嗎?不用提傳統電信運營支撐公司東方國信、亞信資料，就說飛信支撐方神州太嶽，在2015年也高調轉型大資料應用領域。
雲計算與SaaS化應用的興起導致的軟體革命，讓行業競爭加劇，很多軟體廠商無所適從。就如一季度曾曝出的用友軟體的大幅度虧損一樣，不管做ERP還是小應用，傳統的軟體公司的日子越來越難過了。這些軟體公司把進軍大資料當成解決軟體行業性問題的良方，結果是從一個火坑跳入另一個火坑。
再次，大資料開源技術的低門檻，玩家進出無障礙。以最經典的Apache Hadoop社區為例，Hadoop的專案結構不斷豐富發展，已經形成一個豐富的Hadoop生態系統，囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30個模組。雖然能夠對社區提供持續原創性貢獻的企業不多，但並不妨礙眾多公司，一兩個熟手+若干個生手就可以承諾搭建並運營一個即時交易風控平臺(以即時流計算為主要模式的平臺)。問題的關鍵在於，同樣面對新技術，新加入的玩家與傳統的BI廠商基本處於同一起跑線上。
最後，建設容易運營難，大資料價值還未真正體現。資料價值已經體現，但大資料價值還未真正體現。很明顯，之前大資料的虛火來自于建設的熱潮。當建設的熱潮退去，需要通過真實的應用價值來回報的時候，發現雖然有不少案例，但是總體的價值根本無法hold住之前的投入。因此反向的減少建設投入，導致市場空間相對於之前的高速擴張有較大的萎縮。
一切正如2000年的互聯網寒冬一樣，當前的大資料寒冬正是市場機制自動產生的“優勝劣汰”過程，這是歷史規律。
對於任何一個企業或組織來說，最終結局都逃不過失敗，但對於優秀的企業來說，可以失敗得晚一點，生存得更久一些。就如華為任正非在《華為的冬天》裡說到的一樣，“十年來我天天思考的都是失敗，對成功視而不見，也沒有什麼榮譽感、自豪感，而是危機感。也許是這樣才存活了十年。我們大家要一起來想，怎樣才能活下去，也許才能存活得久一些。失敗這一天是一定會到來，大家要準備迎接，這是我從不動搖的看法，這是歷史規律。”
三、產品聚焦是前提
在大資料的寒冬裡，要比別人活得久一點，首先得明確自身的產品是什麼，市場在什麼地方，與競爭對手相比，產品是否有差異。
大資料的產品很多，大的方面可以分為6類。
第一，大資料基礎平臺。解決分散式資料存儲、離線計算與資源管理問題，包含目前比較流行的Paas平臺。
第二，即時計算引擎。通過Storm\Spark streaming等架構解決大批量即時計算問題。
第三，資料庫。各類DB，Sql，Mysql，Hbase等。
第四，大資料資產管理。資料從採集到應用開放全過程的資料結構管理。比如中繼資料管理，過程管理，隱私安全管理，開放管理與審計等。
第五，通用大資料應用。適用與所有行業的工具與模型。比如視覺化工具，統一分析門戶，互聯網內容分析，智慧行銷管理，資料採擷工具/模型， SaaS化DMP等。
第六，垂直領域大資料應用。與特定行業的緊密結合的產品，如金融征信，位置運營，精准扶貧，智慧醫療等。
如果你的產品線包含從第一到第六，那麼你離倒下已經不遠了。如果你能夠在某一個領域做得足夠的精深，精深到讓其它所有的玩家都很難生存，那麼恭喜你，你就是在戰場上確立了自己地位的人，一定活得更久。
從中國大資料技術大會連續幾年的趨勢預測，也可以幫助我們判斷出市場的需求前景所在。
2013首提的資料資源化(價值化)在後續兩年基本實現，在2016年越來越成熟。如果你擁有較好的資料資源，毫無疑問，活下去的概率會大增。
在2016年以前，大資料分析與視覺化被持續提及。在實際中，市面上視覺化工具數不勝數，其中國外有一款叫Tableau，已經部分實現了2016年所預測的“視覺化推動平民化”。如果還想依靠類似視覺化工具來提供原來的BI服務，基本上沒有市場空間了。
大資料的安全與隱私問題是持續令人擔心的熱點，這裡其實隱藏另一個問題，如何將複雜資料結果算准的問題。這意味著要詳細瞭解資料資源的構成(中繼資料)，世系關係(從哪兒來用在哪個應用上)，這導致大資料治理或者大資料資產管理產品是一個適用於所有行業的剛性需求。
資料科學的興起是自2013年來持續提及的預測。實質上目前的很多大資料應用並未涉及到模型，這也是導致門檻低、競爭激烈的重要原因。因為真正大資料的應用應該是“複雜資料的複雜分析”，該領域缺少對應的產品。
與需求相結合的資料科學能力(能解決最終應用問題的模型能力)是大資料公司的核心能力，舉一個例子，目前國內的圖像識別、人臉識別等，其核心演算法(通常以卷積神經網路為代表)絕大部分來自國外。再舉一個現實中的例子，市政公安部門很需要對各地區進行犯罪趨勢預測，以便對警務/行政資源進行合理分配，現實中基本缺少對應的解決方案。
受個人的局限，無法就每一個大資料產品前景做出判斷，但從各大資料公司的交流進行總結，往往產品聚焦的公司，差異化會更明顯，在特定領域更能做到對手所無法達到的高度，具有更強的生命力。
四、成本控制是唯一出路
2000年4月3日開始，美國Nasdaq股票狂跌，到了年底，中國的網站開始紛紛倒閉。至此，持續三年的互聯網第一波浪潮突然從峰頂跌入峰穀，互聯網的冬天來臨了。
2001年1月，阿裡的帳面上只剩能維持半年多的700萬美元，更可怕的是，當時的阿裡並沒有找到賺錢的辦法。陷入自創業以來最困難最危機的境地。
正如後來大家所知道的，阿裡裁掉了美國、歐洲、香港、韓國的網站團隊，將所有的業務回到杭州這個中心，這是阿裡巴巴第一次裁員，也是唯一一次大裁員。效果立竿見影，每月的成本立刻從100萬降到了50萬美元，阿裡巴巴贏得了寶貴的一年喘息時間!
去掉所有的浮誇，控制成本，做最謹慎的預測，確保能夠活下去作為第一要義，是度過寒冬的唯一出路。
華為軟體人數不少，從營業收入上看過百億，應該是中國最大的軟體公司，但是大並不意味著能夠盈利。
我有個朋友獨自負責一個50人的小公司，主要提供大軟體公司所照顧不到的部分省市運營商的分析行銷服務，年營業收入數千萬元，卻能做到業界較好的利潤率。究其原因，她一個人既是CEO，又是唯一一個行銷經理兼客戶經理，給自己開比較低的工資，核心人員用股份來挽留，每年都在為下一個年度的生存項目提前較勁。
這是一個最典型的為了活下去而努力的公司，沒有絢麗的遠景規劃，沒有層級複雜的管理，全都投入生產，成本控制到極致。所以，她能活下去，或許還能不斷壯大。
對於這些善於成本控制、產品及市場目標明確的公司而言，寒冬或許是一個新的機遇。就如一個優秀的獵手，在凜冽寒風中耐心的等待，等待著對手倒下，然後從容收割獨屬於自己的獵物。