何為大數據
“忽如一夜春風來， 千樹萬樹梨花開”， 大數據之花已然開遍了全世界， 開遍了神州大地， 成為一股不可阻擋的洪荒之力。
大資料是當今公眾津津樂道的一個熱詞， 人們紛紛在探討大資料所帶來的科技進步及所蘊含的巨大價值， 甚至有人把大資料形容為未來世界的石油， 未來的黃金。 更有人宣稱掌握了大資料的人， 就可以像上帝一樣來俯瞰整個世界。 那麼， 到底什麼是大數據？它將帶給相關產業以及普通公眾什麼樣的影響？
因為工作的關係， 我經常參加一些關於大資料的論壇與活動， 有一次在成都演講後， 有一位創業者跑來問我什麼是大資料， 儘管我閱讀了幾乎國內有關大資料的書籍， 以及互聯網、自媒體上有關大資料的論著和文章， 但我差點被問住了， 現場頗有些尷尬， 我也只能用“巨量資料集合”+5V來草草作答， 我能感受到這位創業者一臉不知所云的狀態，
不要說是普通的門外漢， 即使從事大資料這個行當的人來說， 要用一句話很精煉又恰到好處地來說明大資料是什麼， 也是勉為其難的。 也許有人說， 大資料本就是一門高深的學問， 一門尖端的科技， 註定只有少數人能懂， 不需要所有人都要明白， 這也許就目前來說有一定的道理。 但是新鮮事物終會變成平常之物， 正所謂太陽底下沒有新鮮事， 也許再過幾年， 大資料就如同現在的互聯網移動互聯網一樣， 變得太平常不過。
就目前對大資料的定義而言， 更多的是從資料本身以及技術層面的解讀。 行業術語叫巨量資料集合。 麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合， 具有海量的資料規模、快速的資料流程轉、多樣的資料類型和價值密度低四大特徵。 這裡面包含了我們通常聽到的5V特徵。
不管是行業術語還是麥肯錫給出的定義， 都是從大資料本身出發， 從資料的特徵與處理解讀， 對於一般人來說是比較難以理解的， 也不便於流傳和記憶的。
大資料之所以大， 是因為要處理的資料量從樣本資料變成了全量資料， 從存量資料變成了流式資料， 人們不得不接受資料的混雜性， 而放棄對精准性的追求。 從資料價值來說， 不管是現在還是未來， 資料已經是一種戰略性資產，
我們在內部通過反復的推敲， 到底怎麼講大資料才能被非大資料行業的人有感知性的認可， 這令我們頭疼了好長時間。 我們通過不同的表達方式給行業內的人和行業外的人宣講， 試探他們的回應。 什麼才是大資料， 怎樣講大資料才能讓別人聽得懂， 換過不同的版本， 到目前為止， 這是我們最滿意的表達， 於是我們正式給出大資料全新的定義”：
大資料是以海量多維資料為資產， 價值挖掘為導向， 集合資料思維、資料能力、資料應用的資料工程體系。
大資料改變了我們的思維方式， 這種改變由被動改變和主動改變相互交織，外在與內在共存共生，某種程度上，大資料促進了商業生態系統的重構。
我們給出的大資料的這個定義，這裡面包含了以下幾層大資料屬性：
1.大資料是海量多維的，而不是小資料或單一資料；
2.大資料是戰略性資產，而不是記錄的符號，我們將資料視為資產，而不只是被儲存的資料本身；
3.大資料不是資料的簡單粗暴整合，而是充分挖掘資料的價值並加以運用；
4. 大資料是一項技術工程體系，更是一種思維模式，就像互聯網之於“互聯網思維”，大資料的衍生意義在於“大資料思維”，代表人類通過資料而非現象去透析本質的思維模式；
5. 大資料必須具備採集、存儲、管理、分析、計算的能力，才能釋放其所擁有的價值；
6.大資料重在應用，真正優化、改善、提升人類服務，而非人類的負累，也不是資訊技術行業為了標新立異提出的一種概念、口號。
7.大資料是一個綜合的工程體系，而不是一個單一的資訊技術、資料科學。
大資料定義，要準確把握大資料的概念內涵外延。雖然大資料具有大量、海量的特徵，但這只是一種相對的計量方式，大資料不等於簡單的大規模資料，大資料強調的是對某一領域相關資料獲取結果的覆蓋面，強調資料的完整性和全貌性。另外一點是不能將大資料與數值化、數位化資料混為一談。資料是資訊的表達，資訊是資料的內涵，而資料就是資訊的最主要表現形式和載體。它可以是符號、文字、數位、語音、圖像、視頻等。數值化資料，僅僅是資料封裝形態的一種，是較為初級的資料形態，其呈現方式多為數位、符號、圖表。
當然了，我們總結的大資料定義都是建立在大資料特徵之上的，即資料的5V特徵：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。也就是在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的資訊資產。
大資料的戰略意義不在於掌握龐大的資料資訊，而在於對這些含有意義的資料進行專業化處理。大資料的意義不在於資料本身，而在於對資料的分析與應用，從而釋放出資料所蘊含的巨大價值。換而言之，如果把大資料比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對資料的“加工能力”，通過“加工”實現資料的“增值”。大資料最重要是為國所用，為商所用，為民所用，這是根本，也是資料價值的本質。
一方面，大資料在解決我們現有的需求，釋放資料的價值，另一方面，大資料又會創造新的需求，創造更大的價值，因此合理運用大資料，以低成本創造高價值，正是大資料的價值所在。
只有弄清楚了是什麼，我們才知道去做什麼。每一個行業都需要有人不斷地去探索，不斷地去試錯，不斷地總結經驗和教訓，供後來者參考和借鑒，甚至超越。每一個新興的行業都是從模糊開始，逐漸變得清晰，逐漸變得高度垂直，大資料行業也不例外。就目前而已，大資料商業應用才剛剛開始，整個大資料市場還處於教育和普及階段，完全沒有達到成熟的階段。所以，向市場、向民眾普及大資料的知識是有必要的，也是必然要經歷的一個階段，只有當別人理解你，認同你，才會買你的單，才會和你產生價值連接，創造更大的價值，也會推動大資料這個新興的行業不停向前，不斷進步。
“雄關漫道真如鐵”，大資料就如一場革命，但是這場革命才剛剛開始，需要我們每一個人為之探索，為之癡狂，才能挖到隱藏在浩瀚資料裡的珍寶。
不論你接受還是不接受它，大資料就在那裡，不近不遠。大資料已經在我們的生活當中，給我們的生活帶來了巨大影響。一方面，我們要加強個人隱私的保護，另一方面，也要充分適應大資料給我們帶來的變革，享受它給每個人的生活帶來的便利。
對於整個資料鏈來講，大資料有其自己的資料生態，處於最底層的是資料資產，整合資料，解決資料來源；處於中間層的是大資料能力，解決資料怎麼做；處於最頂層的是大資料應用，即資料做什麼。這三層構成大資料的整個生態體系，而我們要做的大資料應用，也是本書重點探討的方向。
我們為什麼要做大資料應用？因為在大資料行業，只有應用才能產生更大的價值，只有應用才能創造更大的價值。不管是有多少資料，有多牛的技術能力，但是不做應用，不為國家、為企業、為民所創造價值，改變人們的生活，都等於0。所以我們選定了大資料應用這條路，並且是矢志不渝地堅持下去，致力於通過應用，為這個世界，為社會，為民眾改變一些力所能及的事情，這是我們的初衷，也是我們的夢想和目標。我們相信會有更多的人參與到這項偉大而又神奇的事業中來，為之奮鬥。
這種改變由被動改變和主動改變相互交織，外在與內在共存共生，某種程度上，大資料促進了商業生態系統的重構。我們給出的大資料的這個定義，這裡面包含了以下幾層大資料屬性：
1.大資料是海量多維的，而不是小資料或單一資料；
2.大資料是戰略性資產，而不是記錄的符號，我們將資料視為資產，而不只是被儲存的資料本身；
3.大資料不是資料的簡單粗暴整合，而是充分挖掘資料的價值並加以運用；
4. 大資料是一項技術工程體系，更是一種思維模式，就像互聯網之於“互聯網思維”，大資料的衍生意義在於“大資料思維”，代表人類通過資料而非現象去透析本質的思維模式；
5. 大資料必須具備採集、存儲、管理、分析、計算的能力，才能釋放其所擁有的價值；
6.大資料重在應用，真正優化、改善、提升人類服務，而非人類的負累，也不是資訊技術行業為了標新立異提出的一種概念、口號。
7.大資料是一個綜合的工程體系，而不是一個單一的資訊技術、資料科學。
大資料定義，要準確把握大資料的概念內涵外延。雖然大資料具有大量、海量的特徵，但這只是一種相對的計量方式，大資料不等於簡單的大規模資料，大資料強調的是對某一領域相關資料獲取結果的覆蓋面，強調資料的完整性和全貌性。另外一點是不能將大資料與數值化、數位化資料混為一談。資料是資訊的表達，資訊是資料的內涵，而資料就是資訊的最主要表現形式和載體。它可以是符號、文字、數位、語音、圖像、視頻等。數值化資料，僅僅是資料封裝形態的一種，是較為初級的資料形態，其呈現方式多為數位、符號、圖表。
當然了，我們總結的大資料定義都是建立在大資料特徵之上的，即資料的5V特徵：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。也就是在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的資訊資產。
大資料的戰略意義不在於掌握龐大的資料資訊，而在於對這些含有意義的資料進行專業化處理。大資料的意義不在於資料本身，而在於對資料的分析與應用，從而釋放出資料所蘊含的巨大價值。換而言之，如果把大資料比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對資料的“加工能力”，通過“加工”實現資料的“增值”。大資料最重要是為國所用，為商所用，為民所用，這是根本，也是資料價值的本質。
一方面，大資料在解決我們現有的需求，釋放資料的價值，另一方面，大資料又會創造新的需求，創造更大的價值，因此合理運用大資料，以低成本創造高價值，正是大資料的價值所在。
只有弄清楚了是什麼，我們才知道去做什麼。每一個行業都需要有人不斷地去探索，不斷地去試錯，不斷地總結經驗和教訓，供後來者參考和借鑒，甚至超越。每一個新興的行業都是從模糊開始，逐漸變得清晰，逐漸變得高度垂直，大資料行業也不例外。就目前而已，大資料商業應用才剛剛開始，整個大資料市場還處於教育和普及階段，完全沒有達到成熟的階段。所以，向市場、向民眾普及大資料的知識是有必要的，也是必然要經歷的一個階段，只有當別人理解你，認同你，才會買你的單，才會和你產生價值連接，創造更大的價值，也會推動大資料這個新興的行業不停向前，不斷進步。
“雄關漫道真如鐵”，大資料就如一場革命，但是這場革命才剛剛開始，需要我們每一個人為之探索，為之癡狂，才能挖到隱藏在浩瀚資料裡的珍寶。
不論你接受還是不接受它，大資料就在那裡，不近不遠。大資料已經在我們的生活當中，給我們的生活帶來了巨大影響。一方面，我們要加強個人隱私的保護，另一方面，也要充分適應大資料給我們帶來的變革，享受它給每個人的生活帶來的便利。
對於整個資料鏈來講，大資料有其自己的資料生態，處於最底層的是資料資產，整合資料，解決資料來源；處於中間層的是大資料能力，解決資料怎麼做；處於最頂層的是大資料應用，即資料做什麼。這三層構成大資料的整個生態體系，而我們要做的大資料應用，也是本書重點探討的方向。
我們為什麼要做大資料應用？因為在大資料行業，只有應用才能產生更大的價值，只有應用才能創造更大的價值。不管是有多少資料，有多牛的技術能力，但是不做應用，不為國家、為企業、為民所創造價值，改變人們的生活，都等於0。所以我們選定了大資料應用這條路，並且是矢志不渝地堅持下去，致力於通過應用，為這個世界，為社會，為民眾改變一些力所能及的事情，這是我們的初衷，也是我們的夢想和目標。我們相信會有更多的人參與到這項偉大而又神奇的事業中來，為之奮鬥。