創新大資料技術：淺談大資料帶來思維和管理模式變革

大資料概念

依據全球著名管理諮詢公司麥肯錫給出的定義，所謂大資料是指無法在一定時間內用傳統軟體工具對其內容進行採集、存儲、管理和分析的資料集合。而大資料技術是從海量複雜資料中獲得資訊所需要的軟體、硬體及其讀物技術。

大資料特點

界和業界關於大資料特點，歸納總結為“4V”，即Volume（大體量）、Variety(多樣性)、Velocity(快變化)和Valve(含價值)。

（1）、Volume:PB級數據成為常態；當然，“大”具有相對性，並非必須是PB級數據量，其與領域相關，不同領域資料規模會有較大差異。

（2）Variety:大資料的類型具有多樣性，例如，文本、表格、圖像、視頻等資料形式均可能同時存在。

（3）Velocity:資料快速動態變化，

例如交通資料、裝備運行狀態資料等時刻處在變化之中，對此需要高效快速處理方法。

（4）Valve:價值隱藏在海量資料之中，往往價值密度很低，如平安城市PB級視頻記錄資料，面對特定事件，需經歷大量分析處理才能體現出其價值。

創新大資料技術

大資料處理的理念、“4V”特點以及處理方式均確定了傳統的資料處理方式及其軟體硬體實現，

也要創新大資料應用模式。從技術研究角度來講，在不損失價值前提下，以提高資料品質、減少資料規模為目標的大資料整理技術，以提煉價值為目標的大資料關聯分析與深度挖掘技術以及以快速高效為目標的大資料新型計算方式，如大規模資料流程即時分析、可擴展統計分級、資料並行處理與增量處理以及異質數資料混合計算等。

大資料帶來思維和管理模式變革

大資料發展，不斷產生思維方式的變革和創新。大資料直接分析PB級數據，不再依賴於隨機採樣；大資料處理不再過分追求個體資料的精確性，預測成為重點；大資料處理不再過分關注因果，更加重視資料集合的相關性。

同時，多個領域的初步應用案例說明，大資料時代在技術進步的同時，

也會引起商業變革和管理創新。在社會服務領域，大資料正在快速推動政府社會管理模式的創新，提升公眾服務能力；在生產、製造、服務等領域，大資料推動運行效率的提升，實現經濟內涵式增長；在科學研究領域，大資料促進多學科進步以及新型資料科學發展，產生以資料集計算為核心的新興科學研究模式創新。