大講臺老師通過《互聯網從業者生活品質報告》瞭解到:現在, 50%的程式師年薪超過20萬, 這裡年薪超過50萬的也有五分之一。 在普通人眼中, 程式師已經算是高收入人群了, 而大資料工程師就是其中的佼佼者。 隨著近幾年大資料的急速發展, 中國IT業將面臨新一輪洗牌, 不光是企業, 從業人員也都要適應這些變化。
對於程式師來說, 技術一直在發展, 與時俱進是必須的。 大資料人才缺口巨大, 轉型的機會出現了, 如果能抓住這難得的機會, 轉型為大資料工程師, 讓你更進一步(競爭力、金錢等方面), 何樂而不為呢?
大資料從事的是開源工作, 更傾向於“研發”, 能夠重新激起程式師研發程式的熱情, 職業生涯有了新的追求, 這意味著大資料會成為值得程式師長期奮鬥不斷突破的工作;其次, 由於大資料屬新興領域, 專業人才比較缺乏, 高端人才更是企業爭搶的對象。 薪資上升容易, 職業發展潛力巨大。
大資料工程師需要具備哪些能力?
(1)數學及統計學相關的背景;
(2)電腦編碼能力;
(3)對特定應用領域或行業的知識。
大資料工程師這個角色很重要的一點是, 不能脫離市場, 因為大資料只有和特定領域的應用結合起來才能產生價值。 所以, 在某個或多個垂直行業的經歷能為應聘者積累對行業的認知, 對於之後成為大資料工程師有很大説明,
大資料相關的技能很多, 按照資料本身, 可以分為資料獲取、資料處理、資料分析、資料存儲、資料採擷, 共5類。
資料獲取:日誌收集 Scribe、Flume和爬蟲等;
資料處理:流式計算的storm, spark streaming、Hadoop、訊息佇列相關的如Kafka等;
資料分析:HIVE、SPARK、基本演算法、資料結構等;
資料存儲:HDFS等;
資料採擷:機器學習相關演算法, 聚類、時間序列、推薦系統、回歸分析、文本挖掘、貝葉斯分類、神經網路等。
最後, 大講臺老師對轉型大資料的工程師提3點建議。
(1)重視基礎;
(2)發揮專長;
(3)要喜歡or要堅持。
對大資料工程師產生興趣的朋友,