您的位置:首頁>正文

數據湖與資料倉庫:主要差異

這是一個由5部分組成的系列文章的第二篇文章, “大資料備忘單:行銷人員想要瞭解的內容”。 這個針對行銷人員的分拆系列受到了我為高級管理人員和高級管理人員SAS全球論壇執行會議今年早些時候。

“我們的企業資料每年以27%的速度增長, 我們預計這個數字會增長, 擴展和維護我們的資料倉庫的成本太高了。 ”

“不要跟我們談論我們的'大'資料。 我們有足夠的麻煩來及時處理和分析我們的“小”資料。 首先是事情。 “

“為了合規的原因, 我們必須保留我們的資料7年, 但我們很樂意存儲和分析數十年的資料,

而不會破壞機器和銀行。 ”

這些場景中的任何一個都響了嗎?如果是這樣, Hadoop可能會有所幫助。 在這個由五部分組成的博客系列中, 我們從行銷人員的角度來看五大資料問題。 本文回答了系列文章中的第二個問題, 並解釋了即使您沒有“大資料”, Hadoop如何提供説明。

問題2:為什麼我們不需要大資料就需要Hadoop?

與流行的看法相反, Hadoop不僅適用於大資料。 (為了討論的目的, 大資料只是簡單地將資料放在現有的關係系統中, 或者根本不適合)。 當然, Hadoop最初是為滿足網路/媒體公司的大資料需求而開發的, 但是今天, 全世界都在使用它, 幾乎每個行業都可以解決更廣泛的大小資料需求。

在我的白皮書“非奇怪的大資料手冊:Hadoop和企業資料倉庫”中,

我提出了六個常見的Hadoop用例 - 其中三個完全不需要“大”資料來充分利用Hadoop:

1.階段結構化的資料。 使用Hadoop作為資料倉庫的資料分段平臺。

如果在將Hadoop載入到資料倉庫之前使用Hadoop處理和轉換運營資料, 該怎麼辦?獎金是因為Hadoop存儲成本低, 您可以將這兩個版本的資料存儲在Hadoop中:原始資料和原始資料。 您的資料現在都集中在一個地方, 以便於以後管理, 重新處理和分析。

2.處理結構化資料。 使用Hadoop更新資料倉庫和/或作業系統中的資料。

為什麼不把資料倉庫資源用於更新倉庫中的資料?為什麼不把必要的資料發送到Hadoop, 讓Hadoop做它的事情, 然後把更新後的資料發送回倉庫?這個用例不僅適用於處理倉庫資料, 還適用於任何操作或分析系統中的資料。

充分利用Hadoop的低成本處理能力, 讓您的關係系統得以自由發揮, 做到最好。

3.歸檔所有資料。 使用Hadoop將本地或雲中的所有資料歸檔。

由於Hadoop運行在可輕鬆快速擴展的商品硬體上, 因此企業可以以更低的成本存儲和歸檔更多的資料。 例如, 如果您在監管生活之後不需要銷毀資料以節省存儲成本?如果您可以輕鬆而經濟高效地保存所有資料, 該怎麼辦?或者, 這可能不僅僅是保存資料, 而是能夠分析更多的資料。 為什麼要將分析限制在過去三, 五, 七年時間, 以便輕鬆存儲和分析數十年的資料?這不是資料極客的天堂嗎?

4.處理任何資料。 使用Hadoop來利用企業資料倉庫生態系統當前不可用的資料。

本用例關注兩類資料:(1)尚未集成到資料倉庫中的結構化資料來源;(2)非結構化和半非結構化資料來源。

更一般地說, 任何目前不屬於您的倉庫生態系統的資料都可能為您的客戶, 產品和服務提供更多的資訊。 由於Hadoop可以存儲和處理任何資料, 因此它可以為您的資料倉庫無法處理或處理不好的資料提供冗餘。

5.訪問任何資料(通過資料倉庫)。 使用Hadoop擴展資料倉庫, 並將其保留在組織資料Universe的中心。

這個用例面向那些希望將企業資料倉庫作為事實上的記錄系統的公司 - 至少現在是這樣。 作為補充元件, Hadoop可用于處理和集成任何類型的資料結構化, 半結構化和非結構化資料, 並將所需的資料載入到資料倉庫中。 這使得公司可以繼續將其當前的BI /分析工具與其企業資料倉庫生態系統結合使用。

6.訪問任何資料(通過Hadoop)。 使用Hadoop作為所有資料的登陸平臺, 充分利用資料倉庫和Hadoop的優勢。

如前所述, 在Hadoop中捕獲資料的一個優勢是它可以以原始狀態存儲。 與傳統的結構化資料不同, 它不需要進行格式化。 它可以在資料請求的時候格式化。 這個用例最貼切地支援將Hadoop作為“資料湖”的概念 - 這是我最近在另一個論壇上與同事進行的討論/辯論。

行銷人員的關鍵要點

不要認為Hadoop是大資料的同義詞, 因為事實並非如此。 然而, 即使你沒有大資料, 你也可以使用其中一種比較流行的大資料技術, 正如前面的三個用例所指出的那樣。 但這不僅僅是關於技術 - 這是關於使你能夠充分理解技術, 以理解它如何關注你對客戶體驗的關注。

Hadoop就在這裡,隨時準備和企業資料倉庫“玩”。下載我的非怪胎的大資料手冊,以説明您找出哪些用例對您的組織有意義。這本劇本是為精通技術的商業專業人士而寫的,他喜歡用圖片來表達文字,簡單到複雜,並且對較長的文本進行簡短的解釋。如果這個描述你,那麼你還在等什麼?

以理解它如何關注你對客戶體驗的關注。

Hadoop就在這裡,隨時準備和企業資料倉庫“玩”。下載我的非怪胎的大資料手冊,以説明您找出哪些用例對您的組織有意義。這本劇本是為精通技術的商業專業人士而寫的,他喜歡用圖片來表達文字,簡單到複雜,並且對較長的文本進行簡短的解釋。如果這個描述你,那麼你還在等什麼?

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示