當前， 整個互聯網正在從IT時代向DT時代演進， 大資料技術也正在助力企業和公眾敲開DT世界大門。 雖然大資料潮流在默默的推進各種變革， 但您真的瞭解大資料麼？
大資料定義
一般而言， 大資料是指數量龐大而複雜， 傳統的資料處理產品無法在合理的時間內捕獲、管理和處理的資料集合。
這些大資料集可以包括結構化、非結構化和半結構化資料， 需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。
究竟有多少資料才能實構成“大”資料呢？這也是有爭議的， 大資料的大小經常改變， 截至2012年， 單一資料集的大小從數太位元組（TB）至數十兆億位元組（PB）不等。
大資料通常以三個V來表徵：
＊ 資料量的大小（volume）
＊ 資料類型的多樣性（Variety）
＊ 資料處理和分析的速度（Velocity）
構成大資料存儲的資料可以來自包括網站、社交媒體、桌面和移動應用、科學實驗以及物聯網（IoT）中越來越多的感測器和其他設備。
大資料概念包含了一組相關的元件， 使企業能夠將資料實際使用並解決一些業務問題。 其中包括支援大資料所需的IT基礎架構、分析應用於資料、大資料項目目所需的技術、相關技能組合、以及對大資料有意義的實際使用案例。
大資料和分析
應用於資料的分析才是真正能夠從大資料集合中獲得價值的所在。 沒有分析， 大資料集合也只是一堆有限的商業資料。
通過對大資料進行分析， 企業可以從分析結果中得出諸如增加銷售額、改善客戶服務、提高效率等結論， 全面提升企業競爭力。 資料分析包括檢查資料集， 以獲得對其所包含內容得出的結論，
分析可以參考基本的商業智慧應用程式或更高級的預測性分析， 例如科學組織使用的分析。 在最先進的資料分析類型中， 資料採擷是分析師評估大型資料集以識別關係的一種方式。
資料分析可以包括探索性資料分析（識別資料中的模式和關係）和驗證性資料分析（應用統計技術來確定關於特定資料集的假設是否屬實）。 另一個區分是定量資料分析（或數位資料分析， 其中有可量化的變數， 可以進行統計比較）與定性資料分析（側重於非數位資料、如視頻、圖像和文本）。
IT基礎架構來支援大資料
為了能讓大資料概念發揮作用， 企業需要有適當的基礎設施來收集和存儲資料， 提供對資料的訪問， 並在存儲和傳輸過程中保護資訊。 在高層次上， 這其中包括為大資料、資料管理和整合式軟體、商業智慧和資料分析軟體以及大資料應用設計的存儲系統和伺服器。
由於公司希望繼續利用資料中心投資， 因此大部分基礎架構可能都是內部部署的。 但越來越多的企業依靠雲計算服務來處理大部分大資料需求。
資料收集這一過程需要資料來源。 網路應用程式、社交媒體管道、移動應用程式和電子郵件檔案已經到位， 但隨著物聯網逐漸成熟， 企業可能需要在各種設備、車輛和產品上部署感測器來收集資料，
為了存儲所有傳入的資料， 企業需要有適當的資料存儲。 存儲選項包括傳統的資料倉庫、資料湖和基於雲的存儲。
安全基礎設施工具可能包括資料加密、用戶身份驗證和其他存取控制、監控系統、防火牆、企業移動管理以及其他保護系統和資料的產品。
大資料的特定技術
一般來說， 除了上述用於資料的IT基礎設施之外。 您的IT基礎架構應該支援特定於大資料的幾種技術。
1. Hadoop生態系統
Hadoop是與大資料密切相關的技術之一。 Apache Hadoop專案為可擴展的分散式運算開發開源軟體。 Hadoop軟體庫是一個框架， 可以使用簡單的程式設計模型在整個電腦集群上分散式處理大型資料集。 它旨在從單個伺服器擴展到數千個伺服器， 每一個都提供本地計算和存儲。該專案包括幾個模組：
＊ Hadoop Common，支援其他Hadoop模組的常用工具；
＊ Hadoop分散式檔案系統，提供對應用程式資料的高輸送量訪問；
＊ Hadoop YARN，作業調度和集群資源管理的框架；
＊ Hadoop MapReduce，一個基於YARN的並行處理大型資料集的系統。
2. Apache Spark
作為Hadoop生態系統的一部分，Apache Spark是一個開源的集群計算框架，可用作在Hadoop中處理大資料的引擎。 Spark已經成為關鍵的大資料分散式處理框架之一，並且可以以各種方式進行部署。它為Java、Scala、Python和R程式設計語言提供本地綁定，並支援SQL、流資料、機器學習和圖形處理。
3. 資料湖
資料湖泊是存儲庫，它以本機格式存儲極大量的原始資料。數位化轉型舉措和物聯網的發展促進了資料湖的發展。資料湖的設計是為了方便使用者在需要時訪問大量的資料。
4. NoSQL資料庫
傳統的SQL資料庫是為可靠的事務和即席查詢而設計的，但是它們有嚴格的架構等限制，這使得它們不太適合某些類型的應用程式。NoSQL資料庫解決了這些限制，並以高速運行和高度靈活性的方式存儲和管理資料。與SQL資料庫不同，許多NoSQL資料庫可以在數百或數千台伺服器上橫向擴展。
5. 記憶體中資料庫
記憶體中資料庫（IMDB）是一種資料庫管理系統，主要依靠主記憶體來存儲資料。記憶體中資料庫比磁片優化資料庫要快。
大資料技能
大資料和大資料分析工作都需要特定的技能。這些技能中的很多都與關鍵的大資料技術元件（如Hadoop、Spark、NoSQL資料庫、記憶體中資料庫和分析軟體）相關。
其他則專門針對資料科學、資料採擷、統計和定量分析、資料視覺化、通用程式設計以及資料結構和演算法等學科，還需要有整體管理技能。鑒於大資料分析專案已經非常普及，卻缺乏擁有這些技能的人才，尋找有經驗的專業人員可能是企業面臨的最大挑戰之一。
大資料用例
大資料和分析可以應用於許多業務問題和用例。這裡有一些例子：
＊ 客戶分析。公司可以檢查客戶資料以改善客戶體驗，提高轉換率並增加留存率。
＊ 運營分析。提高運營績效，更好地利用企業資產是許多公司的目標。大資料分析可以説明企業找到更高效運營和提高績效的方法。
＊ 預防詐騙。資料分析可説明組織識別可能指示欺詐行為並有助於降低風險的可疑活動和模式。
＊ 價格優化。公司可以使用大資料分析來優化產品和服務收取的價格，從而幫助提高收入。
每一個都提供本地計算和存儲。該專案包括幾個模組：＊ Hadoop Common，支援其他Hadoop模組的常用工具；
＊ Hadoop分散式檔案系統，提供對應用程式資料的高輸送量訪問；
＊ Hadoop YARN，作業調度和集群資源管理的框架；
＊ Hadoop MapReduce，一個基於YARN的並行處理大型資料集的系統。
2. Apache Spark
作為Hadoop生態系統的一部分，Apache Spark是一個開源的集群計算框架，可用作在Hadoop中處理大資料的引擎。 Spark已經成為關鍵的大資料分散式處理框架之一，並且可以以各種方式進行部署。它為Java、Scala、Python和R程式設計語言提供本地綁定，並支援SQL、流資料、機器學習和圖形處理。
3. 資料湖
資料湖泊是存儲庫，它以本機格式存儲極大量的原始資料。數位化轉型舉措和物聯網的發展促進了資料湖的發展。資料湖的設計是為了方便使用者在需要時訪問大量的資料。
4. NoSQL資料庫
傳統的SQL資料庫是為可靠的事務和即席查詢而設計的，但是它們有嚴格的架構等限制，這使得它們不太適合某些類型的應用程式。NoSQL資料庫解決了這些限制，並以高速運行和高度靈活性的方式存儲和管理資料。與SQL資料庫不同，許多NoSQL資料庫可以在數百或數千台伺服器上橫向擴展。
5. 記憶體中資料庫
記憶體中資料庫（IMDB）是一種資料庫管理系統，主要依靠主記憶體來存儲資料。記憶體中資料庫比磁片優化資料庫要快。
大資料技能
大資料和大資料分析工作都需要特定的技能。這些技能中的很多都與關鍵的大資料技術元件（如Hadoop、Spark、NoSQL資料庫、記憶體中資料庫和分析軟體）相關。
其他則專門針對資料科學、資料採擷、統計和定量分析、資料視覺化、通用程式設計以及資料結構和演算法等學科，還需要有整體管理技能。鑒於大資料分析專案已經非常普及，卻缺乏擁有這些技能的人才，尋找有經驗的專業人員可能是企業面臨的最大挑戰之一。
大資料用例
大資料和分析可以應用於許多業務問題和用例。這裡有一些例子：
＊ 客戶分析。公司可以檢查客戶資料以改善客戶體驗，提高轉換率並增加留存率。
＊ 運營分析。提高運營績效，更好地利用企業資產是許多公司的目標。大資料分析可以説明企業找到更高效運營和提高績效的方法。
＊ 預防詐騙。資料分析可説明組織識別可能指示欺詐行為並有助於降低風險的可疑活動和模式。
＊ 價格優化。公司可以使用大資料分析來優化產品和服務收取的價格，從而幫助提高收入。