您的位置:首頁>科技>正文

詳解:大資料分析的學習之路

一、大資料分析的五個基本方面

1, 視覺化分析

大資料分析的使用者有大資料分析專家, 同時還有普通用戶, 但是他們二者對於大資料分析最基本的要求就是視覺化分析, 因為視覺化分析能夠直觀的呈現大資料特點, 同時能夠非常容易被讀者所接受, 就如同看圖說話一樣簡單明瞭。

2, 資料採擷演算法

大資料分析的理論核心就是資料採擷演算法, 各種資料採擷的演算法基於不同的資料類型和格式才能更加科學的呈現出資料本身具備的特點, 也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入資料內部, 挖掘出公認的價值。 另外一個方面也是因為有這些資料採擷的演算法才能更快速的處理大資料, 如果一個演算法得花上好幾年才能得出結論, 那大資料的價值也就無從說起了。

3, 預測性分析能力

大資料分析最終要的應用領域之一就是預測性分析, 從大資料中挖掘出特點, 通過科學的建立模型, 之後便可以通過模型帶入新的資料, 從而預測未來的資料。

4, 語義引擎

大資料分析廣泛應用於網路資料採擷, 可從使用者的搜索關鍵字、標籤關鍵字、或其他輸入語義, 分析, 判斷用戶需求, 從而實現更好的用戶體驗和廣告匹配。

5, 資料品質和資料管理

大資料分析離不開資料品質和資料管理, 高品質的資料和有效的資料管理, 無論是在學術研究還是在商業應用領域, 都能夠保證分析結果的真實和有價值。 大資料分析的基礎就是以上五個方面, 當然更加深入大資料分析的話, 還有很多很多更加有特點的、更加深入的、更加專業的大資料分析方法。

二、如何選擇適合的資料分析工具

要明白分析什麼資料, 大資料要分析的資料類型主要有四大類:

1.交易資料(TRANSACTION DATA)

大資料平臺能夠獲取時間跨度更大、更海量的結構化交易資料, 這樣就可以對更廣泛的交易資料類型進行分析, 不僅僅包括POS或電子商務購物資料, 還包括行為交易資料, 例如Web伺服器記錄的互聯網點選流向資料日誌。

2.人為資料(HUMAN-GENERATED DATA)

非結構資料廣泛存在於電子郵件、文檔、圖片、音訊、視頻, 以及通過博客、維琪, 尤其是社交媒體產生的資料流程。 這些資料為使用文本分析功能進行分析提供了豐富的資料來源泉。

3.移動資料(MOBILE DATA)

能夠上網的智慧手機和平板越來越普遍。 這些移動設備上的App都能夠追蹤和溝通無數事件,

從App內的交易資料(如搜索產品的記錄事件)到個人資訊資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。

4.機器和感測器資料(MACHINE AND SENSOR DATA)

這包括功能設備創建或生成的資料, 例如智慧電錶、智慧溫度控制器、工廠機器和連接互聯網的家用電器。 這些設備可以配置為與互聯網路中的其他節點通信, 還可以自動向中央伺服器傳輸資料, 這樣就可以對資料進行分析。 機器和感測器資料是來自新興的物聯網(IoT)所產生的主要例子。 來自物聯網的資料可以用於構建分析模型, 連續監測預測性行為(如當感測器值表示有問題時進行識別), 提供規定的指令(如警示技術人員在真正出問題之前檢查設備)。

三、如何區分三個大資料熱門職業——資料科學家、資料工程師、資料分析師

隨著大資料的愈演愈熱, 相關大資料的職業也成為熱門, 給人才發展帶來帶來了很多機會。 資料科學家、資料工程師、資料分析師已經成為大資料行業最熱門的職位。 它們是如何定義的?具體是做什麼工作的?需要哪些技能?讓我們一起來看看吧。

這3個職業具體有什麼職責

資料科學家的工作職責:資料科學家傾向于用探索資料的方式來看待周圍的世界。 把大量散亂的資料變成結構化的可供分析的資料, 還要找出豐富的資料來源, 整合其他可能不完整的資料來源, 並清理成結果資料集。 新的競爭環境中, 挑戰不斷地變化, 新資料不斷地流入, 資料科學家需要幫助決策者穿梭于各種分析,從臨時資料分析到持續的資料交互分析。當他們有所發現,便交流他們的發現,建議新的業務方向。他們很有創造力的展示視覺化的資訊,也讓找到的模式清晰而有說服力。把蘊含在資料中的規律建議給Boss,從而影響產品,流程和決策。

資料工程師的工作職責:分析歷史、預測未來、優化選擇,這是大資料工程師在“玩資料”時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。

大資料工程師一個很重要的工作,就是通過分析資料來找出過去事件的特徵。通過引入關鍵因素,大資料工程師可以預測未來的消費趨勢。在阿裡媽媽的行銷平臺上,工程師正試圖通過引入氣象資料來説明淘寶賣家做生意。比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象資料和銷售資料之間的關係,找到與之相關的品類,提前警示賣家周轉庫存。

根據不同企業的業務性質,大資料工程師可以通過資料分析來達到不同的目的。

與傳統的資料分析師相比,互聯網時代的資料分析師面臨的不是資料匱乏,而是資料過剩。因此,互聯網時代的資料分析師必須學會借助技術手段進行高效的資料處理。更為重要的是,互聯網時代的資料分析師要不斷在資料研究的方法論方面進行創新和突破。

就行業而言,資料分析師的價值與此類似。就新聞出版行業而言,無論在任何時代,媒體運營者能否準確、詳細和及時地瞭解受眾狀況和變化趨勢,都是媒體成敗的關鍵。

此外,對於新聞出版等內容產業來說,更為關鍵的是,資料分析師可以發揮內容消費者資料分析的職能,這是支撐新聞出版機構改善客戶服務的關鍵職能。

大資料分析師需要掌握的技能

1、懂業務。從事資料分析工作的前提就會需要懂業務,即熟悉行業知識、公司業務及流程,最好有自己獨到的見解,若脫離行業認知和公司業務背景,分析的結果只會是脫了線的風箏,沒有太大的使用價值。

2、懂管理。一方面是搭建資料分析框架的要求,比如確定分析思路就需要用到行銷、管理等理論知識來指導,如果不熟悉管理理論,就很難搭建資料分析的框架,後續的資料分析也很難進行。另一方面的作用是針對資料分析結論提出有指導意義的分析建議。

3、懂分析。指掌握資料分析基本原理與一些有效的資料分析方法,並能靈活運用到實踐工作中,以便有效的開展資料分析。基本的分析方法有:對比分析法、分組分析法、交叉分析法、結構分析法、漏斗圖分析法、綜合評價分析法、因素分析法、矩陣關聯分析法等。高級的分析方法有:相關分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因數分析法、對應分析法、時間序列等。

4、懂工具。指掌握資料分析相關的常用工具。資料分析方法是理論,而資料分析工具就是實現資料分析方法理論的工具,面對越來越龐大的資料,我們不能依靠計算器進行分析,必須依靠強大的資料分析工具幫我們完成資料分析工作。

5、懂設計。懂設計是指運用圖表有效表達資料分析師的分析觀點,使分析結果一目了然。圖表的設計是門大學問,如圖形的選擇、版式的設計、顏色的搭配等等,都需要掌握一定的設計原則。

四、從菜鳥成為資料科學家的 9步養成方案

首先,各個公司對資料科學家的定義各不相同,當前還沒有統一的定義。但在一般情況下,一個資料科學家結合了軟體工程師與統計學家的技能,並且在他或者她希望工作的領域投入了大量行業知識。

大約90%的資料科學家至少有大學教育經歷,甚至到博士以及獲得博士學位,當然,他們獲得的學位的領域非常廣泛。一些招聘者甚至發現人文專業的人們有所需的創造力,他們能教別人一些關鍵技能。

因此,排除一個資料科學的學位計畫(世界各地的著名大學雨後春筍般的出現著),你需要採取什麼措施,成為一個資料科學家?

複習你的數學和統計技能。一個好的資料科學家必須能夠理解資料告訴你的內容,做到這一點,你必須有扎實的基本線性代數,對演算法和統計技能的理解。在某些特定場合可能需要高等數學,但這是一個好的開始場合。

瞭解機器學習的概念。機器學習是下一個新興詞,卻和大資料有著千絲萬縷的聯繫。機器學習使用人工智慧演算法將資料轉化為價值,並且無需顯式程式設計。

學習代碼。資料科學家必須知道如何調整代碼,以便告訴電腦如何分析資料。從一個開放源碼的語言如python那裡開始吧。

瞭解資料庫、資料池及分散式存儲。資料存儲在資料庫、資料池或整個分散式網路中。以及如何建設這些資料的存儲庫取決於你如何訪問、使用、並分析這些資料。如果當你建設你的資料存儲時沒有整體架構或者超前規劃,那後續對你的影響將十分深遠。

學習資料修改和資料清洗技術。資料修改是將原始資料到另一種更容易訪問和分析的格式。資料清理有助於消除重複和“壞”資料。兩者都是資料科學家工具箱中的必備工具。

瞭解良好的資料視覺化和報告的基本知識。你不必成為一個平面設計師,但你確實需要深諳如何創建資料包告,便於外行的人比如你的經理或CEO可以理解。

添加更多的工具到您的工具箱。一旦你掌握了以上技巧,是時候擴大你的資料科學工具箱了,包括Hadoop、R語言和Spark。這些工具的使用經驗和知識將讓你處於大量資料科學求職者之上。

練習。在你在新的領域有一個工作之前,你如何練習成為資料科學家?使用開原始程式碼開發一個你喜歡的專案、參加比賽、成為網路工作資料科學家、參加訓練營、志願者或實習生。最好的資料科學家在資料領域將擁有經驗和直覺,能夠展示自己的作品,以成為應聘者。

成為社區的一員。跟著同行業中的思想領袖,閱讀行業博客和網站,參與,提出問題,並隨時瞭解時事新聞和理論。

資料科學家需要幫助決策者穿梭于各種分析,從臨時資料分析到持續的資料交互分析。當他們有所發現,便交流他們的發現,建議新的業務方向。他們很有創造力的展示視覺化的資訊,也讓找到的模式清晰而有說服力。把蘊含在資料中的規律建議給Boss,從而影響產品,流程和決策。

資料工程師的工作職責:分析歷史、預測未來、優化選擇,這是大資料工程師在“玩資料”時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。

大資料工程師一個很重要的工作,就是通過分析資料來找出過去事件的特徵。通過引入關鍵因素,大資料工程師可以預測未來的消費趨勢。在阿裡媽媽的行銷平臺上,工程師正試圖通過引入氣象資料來説明淘寶賣家做生意。比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象資料和銷售資料之間的關係,找到與之相關的品類,提前警示賣家周轉庫存。

根據不同企業的業務性質,大資料工程師可以通過資料分析來達到不同的目的。

與傳統的資料分析師相比,互聯網時代的資料分析師面臨的不是資料匱乏,而是資料過剩。因此,互聯網時代的資料分析師必須學會借助技術手段進行高效的資料處理。更為重要的是,互聯網時代的資料分析師要不斷在資料研究的方法論方面進行創新和突破。

就行業而言,資料分析師的價值與此類似。就新聞出版行業而言,無論在任何時代,媒體運營者能否準確、詳細和及時地瞭解受眾狀況和變化趨勢,都是媒體成敗的關鍵。

此外,對於新聞出版等內容產業來說,更為關鍵的是,資料分析師可以發揮內容消費者資料分析的職能,這是支撐新聞出版機構改善客戶服務的關鍵職能。

大資料分析師需要掌握的技能

1、懂業務。從事資料分析工作的前提就會需要懂業務,即熟悉行業知識、公司業務及流程,最好有自己獨到的見解,若脫離行業認知和公司業務背景,分析的結果只會是脫了線的風箏,沒有太大的使用價值。

2、懂管理。一方面是搭建資料分析框架的要求,比如確定分析思路就需要用到行銷、管理等理論知識來指導,如果不熟悉管理理論,就很難搭建資料分析的框架,後續的資料分析也很難進行。另一方面的作用是針對資料分析結論提出有指導意義的分析建議。

3、懂分析。指掌握資料分析基本原理與一些有效的資料分析方法,並能靈活運用到實踐工作中,以便有效的開展資料分析。基本的分析方法有:對比分析法、分組分析法、交叉分析法、結構分析法、漏斗圖分析法、綜合評價分析法、因素分析法、矩陣關聯分析法等。高級的分析方法有:相關分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因數分析法、對應分析法、時間序列等。

4、懂工具。指掌握資料分析相關的常用工具。資料分析方法是理論,而資料分析工具就是實現資料分析方法理論的工具,面對越來越龐大的資料,我們不能依靠計算器進行分析,必須依靠強大的資料分析工具幫我們完成資料分析工作。

5、懂設計。懂設計是指運用圖表有效表達資料分析師的分析觀點,使分析結果一目了然。圖表的設計是門大學問,如圖形的選擇、版式的設計、顏色的搭配等等,都需要掌握一定的設計原則。

四、從菜鳥成為資料科學家的 9步養成方案

首先,各個公司對資料科學家的定義各不相同,當前還沒有統一的定義。但在一般情況下,一個資料科學家結合了軟體工程師與統計學家的技能,並且在他或者她希望工作的領域投入了大量行業知識。

大約90%的資料科學家至少有大學教育經歷,甚至到博士以及獲得博士學位,當然,他們獲得的學位的領域非常廣泛。一些招聘者甚至發現人文專業的人們有所需的創造力,他們能教別人一些關鍵技能。

因此,排除一個資料科學的學位計畫(世界各地的著名大學雨後春筍般的出現著),你需要採取什麼措施,成為一個資料科學家?

複習你的數學和統計技能。一個好的資料科學家必須能夠理解資料告訴你的內容,做到這一點,你必須有扎實的基本線性代數,對演算法和統計技能的理解。在某些特定場合可能需要高等數學,但這是一個好的開始場合。

瞭解機器學習的概念。機器學習是下一個新興詞,卻和大資料有著千絲萬縷的聯繫。機器學習使用人工智慧演算法將資料轉化為價值,並且無需顯式程式設計。

學習代碼。資料科學家必須知道如何調整代碼,以便告訴電腦如何分析資料。從一個開放源碼的語言如python那裡開始吧。

瞭解資料庫、資料池及分散式存儲。資料存儲在資料庫、資料池或整個分散式網路中。以及如何建設這些資料的存儲庫取決於你如何訪問、使用、並分析這些資料。如果當你建設你的資料存儲時沒有整體架構或者超前規劃,那後續對你的影響將十分深遠。

學習資料修改和資料清洗技術。資料修改是將原始資料到另一種更容易訪問和分析的格式。資料清理有助於消除重複和“壞”資料。兩者都是資料科學家工具箱中的必備工具。

瞭解良好的資料視覺化和報告的基本知識。你不必成為一個平面設計師,但你確實需要深諳如何創建資料包告,便於外行的人比如你的經理或CEO可以理解。

添加更多的工具到您的工具箱。一旦你掌握了以上技巧,是時候擴大你的資料科學工具箱了,包括Hadoop、R語言和Spark。這些工具的使用經驗和知識將讓你處於大量資料科學求職者之上。

練習。在你在新的領域有一個工作之前,你如何練習成為資料科學家?使用開原始程式碼開發一個你喜歡的專案、參加比賽、成為網路工作資料科學家、參加訓練營、志願者或實習生。最好的資料科學家在資料領域將擁有經驗和直覺,能夠展示自己的作品,以成為應聘者。

成為社區的一員。跟著同行業中的思想領袖,閱讀行業博客和網站,參與,提出問題,並隨時瞭解時事新聞和理論。

Next Article
喜欢就按个赞吧!!!
点击关闭提示