眾多企業正在慢慢將大資料移轉到雲端， 但仍然沒有克服與孤島、員工技能短缺和資料治理有關的挑戰。 本文為您帶來《2018年大資料成熟度調查報告》中所包含十大要點， 著重表明了大資料領域的幾大趨勢。
大資料分析(BDA)不再是最新的熱門IT趨勢。 相反， 如今它是大多數公司開展業務的一個必要部分。
用IDC分析和資訊管理集團副總裁Dan Vesset的話來說， “在採用階段苦熬多年後， 大資料和業務分析解決方案終於進入主流。 作為決策支援和決策自動化的賦能者， BDA現在備受企業高管的關注。 這類解決方案也是在全球範圍內支持各行業數位化轉型和業務流程的主要支柱之一。 ”
他公司預測， 到2020年， 企業BDA支出將以11.9%的年複合增長率(CAGR)增長， 到時收入將超過2100億美元。
然而， 隨著大資料分析領域日趨成熟， 企業在該技術方面的經驗也日趨豐富。 它們在尋找新的工具和部署模式;雖然它們克服了處理大資料方面的一些挑戰，
為準確評估大資料實踐在發生怎樣的變化、哪些方面又沒有變化， 商業智慧廠商AtScale最近與Cloudera、Hortonworks、MapR、Tableau、Apache軟體基金會和ODPi(Linux基金會旗下的項目)合作， 共同開展了一項全球調查。 在三年期間， 它們收集到了來自各行各業的5593名企業架構師、大資料領導人和其他IT專業人員的回復。 因此出爐的《2018年大資料成熟度調查報告》包含這十大要點， 著重表明了大資料領域的幾大趨勢。
1. 大多數企業對自己的大資料能力過於自信。
企業高估了其在大資料分析方面的表現。
也許那些過於自信的大資料專業人員應該更關注Gartner在大資料項目目失敗率方面的預測。 2016年， 該調研公司預測， 60%的大資料項目目會失敗。 不過在2017年底， Gartner分析師Nick Heudecker發推文：“我們太保守了， 失敗率接近85%。 問題不在於技術。 ”
2. 55%的企業仍設有孤立的分析團隊。
如果正如Heudecker所說的那樣， 大資料專案的問題不在於技術，哪在於什麼呢?
大資料失敗的一方面原因可能來自組織挑戰。AtScale調查發現，55%的企業仍然設立孤立、分散的分析團隊。只有34%的公司遵循這個最佳實踐：設立卓越中心或其他集中式資料科學團隊。
一些行業在這方面比其他行業做得更好。公用事業公司和互聯網公司最有可能設有集中式團隊，電信和金融服務公司處於落後，通常設有多個孤立的團隊。
3. 77%的企業預計將來會將雲應用於大資料。
AtScale調查還顯示了一種明確的觀點：大多數大資料分析有一天會在雲端進行。在2018年，77%的調查物件表示，他們的部分或全部大資料最終會部署在雲端，而2017年72%的調查對象表達了同樣的觀點。
分析師們似乎一致認為大資料在轉向雲。弗雷斯特研究公司的副總裁兼首席分析師Brian Hopkins在博文中寫道：“五年後，你將在公共雲上使用Insight PaaS處理大資料。”他補充道，雲資料支出的增幅比內部部署大資料軟體支出快7.5倍。原因何在?雲大資料成本在急劇下降，而人工智慧技術一直讓這些服務日臻完善。
4. 今天41%的企業未將雲應用於大資料。
雲可能是未來，但今天並未普及開來。在AtScale調查中，41%的調查對象表示其企業今天在雲端沒有大資料。此外，28%的企業將不到一半的大資料放在雲端，15%的企業將一半以上的大資料放在雲端，16%的企業將大資料全部放在雲端。
實際上，許多大資料專業人員還沒有確信雲是大資料的正確部署方法。被問及想為大資料項目目選擇哪種部署類型時，近一半(47%)選擇了非雲，40%選擇了雲部署，13%則懸而未決。
5. PowerBI越來越受歡迎。
AtScale調查還發現各種商業智慧(BI)解決方案的人氣發生了變化。兩大工具：Tableau和微軟Excel自2016年以來一直保持超高的人氣。2018年的調查物件中63%使用Tableau，50%使用Excel。
然而，名單上的第三位出現了戲劇性的轉變。在2016年和2017年，Business Objects排在第三位。但在2018年，Business Objects跌到了第七位。微軟PowerBI在最近的調查中名列第三，而在2017年排名第七，2016年沒有上榜。調查物件中25%表示在使用PowerBI，超過了Qlik(23%)、IBM Cognos(19%)、Microstrategy(19%)和SAP/Business Objects(18%)等解決方案。報告作者因此得出了結論：“微軟商業智慧(PowerBI和Excel)在這個市場的影響力最大。”
6. 95%的企業將來會保持或增加大資料的使用。
95%的調查對象表示，其公司計畫在未來三個月內保持或增加大資料的使用，5%的調查物件表示其公司會減少大資料的使用，這不足為奇，但仍值得注意。
這與Gartner的觀點一致，去年Gartner建議道：“隨著資料和分析得到更廣泛的採用，業務增長方面的潛力其實是指數級的，而不僅僅是累積性的。今天沒有行動起來的企業不僅在2017年受影響，還會大大限制其在2018年及以後的增長潛力，因為洞察力、回應速度和效率同提升後帶來的回報越來越高。”
7.企業仍然找不到擁有大資料技能的專業人員。
連續三年，找到擁有相應大資料技能的員工一直是AtScale的調查對象提到的頭號挑戰。現在許多不同的企業都開設資料科學和大資料方面的課程，還是無法足夠快地培訓新員工以跟上需求。因而，大資料崗位的薪水空前高漲。
一段時間以來，缺乏合格的專業人員似乎促使企業選擇擁有自助服務功能的大資料解決方案，以便其他業務人員使用分析工具。然而，雖然自助服務大資料的占比在2017年攀升至47%，但2018年實際下降至41%。
8.資料治理在成為大問題。
目前大家都關注的另一個大資料問題是治理，這是2018年的第二大常見問題。形勢顯然發生了重大轉變，因為早在2016年，治理是排名第五的常見問題，即使在2017年，也排名第三。管理和安全在2016年分別是排名第二和第三的常見問題，2018年跌至第五和第四。
人們越來越關注治理，一方面原因可能是Facebook及其他公司經常爆出用戶隱私醜聞，以及政府監管越來越嚴。另一方面歐盟的《通用資料保護條例》(GDPR)於下個月生效，許多企業在競相確保符合法規。
9.只有19%的企業使用大資料系統取代資料倉庫。
儘管許多企業欣然接受大資料分析，但它們不一定擯棄傳統的資料倉庫及其他技術。實際上，許多企業在開發混合架構，這種架構包括內部資料倉庫、基於Hadoop及相關技術而建立的資料湖以及基於雲的大資料服務。在AtScale調查中，只有19%的調查物件表示計畫用新的大資料工具完全取代舊的資料解決方案。42%的調查物件表示，新的大資料工具在補充原有的解決方案;39%表示在取代一些工具，並在補充其他工具。
10. 66%的企業認為，大資料是戰略性或改變遊戲規則的。
被問及大資料在企業中扮演的角色時，約三分之二(66%)的調查物件表示他們認為大資料是“戰略性”或“改變遊戲規則的”。只有17%表示大資料在其公司仍然是“實驗性”的，另有17%稱大資料項目目是“戰術性”的。
大資料方面的這種觀點清楚地表明，大資料是不會很快消失的一個趨勢。Gartner副總裁兼傑出分析師Ted Friedman認為，隨著更多的企業開始將大資料視為戰略性，會出現這三大預測：
“資料和分析將推動現代業務運營，而不是僅僅體現其表現。”
“企業對於資料和分析將採取全面的方法。企業將構建端到端架構，以便從企業核心到企業邊緣都實行資料管理和分析。”
“高管們將把資料和分析納入業務戰略中，這讓資料和分析專業人員得以扮演新角色，推動業務增長。”
大資料專案的問題不在於技術，哪在於什麼呢?大資料失敗的一方面原因可能來自組織挑戰。AtScale調查發現，55%的企業仍然設立孤立、分散的分析團隊。只有34%的公司遵循這個最佳實踐：設立卓越中心或其他集中式資料科學團隊。
一些行業在這方面比其他行業做得更好。公用事業公司和互聯網公司最有可能設有集中式團隊，電信和金融服務公司處於落後，通常設有多個孤立的團隊。
3. 77%的企業預計將來會將雲應用於大資料。
AtScale調查還顯示了一種明確的觀點：大多數大資料分析有一天會在雲端進行。在2018年，77%的調查物件表示，他們的部分或全部大資料最終會部署在雲端，而2017年72%的調查對象表達了同樣的觀點。
分析師們似乎一致認為大資料在轉向雲。弗雷斯特研究公司的副總裁兼首席分析師Brian Hopkins在博文中寫道：“五年後，你將在公共雲上使用Insight PaaS處理大資料。”他補充道，雲資料支出的增幅比內部部署大資料軟體支出快7.5倍。原因何在?雲大資料成本在急劇下降，而人工智慧技術一直讓這些服務日臻完善。
4. 今天41%的企業未將雲應用於大資料。
雲可能是未來，但今天並未普及開來。在AtScale調查中，41%的調查對象表示其企業今天在雲端沒有大資料。此外，28%的企業將不到一半的大資料放在雲端，15%的企業將一半以上的大資料放在雲端，16%的企業將大資料全部放在雲端。
實際上，許多大資料專業人員還沒有確信雲是大資料的正確部署方法。被問及想為大資料項目目選擇哪種部署類型時，近一半(47%)選擇了非雲，40%選擇了雲部署，13%則懸而未決。
5. PowerBI越來越受歡迎。
AtScale調查還發現各種商業智慧(BI)解決方案的人氣發生了變化。兩大工具：Tableau和微軟Excel自2016年以來一直保持超高的人氣。2018年的調查物件中63%使用Tableau，50%使用Excel。
然而，名單上的第三位出現了戲劇性的轉變。在2016年和2017年，Business Objects排在第三位。但在2018年，Business Objects跌到了第七位。微軟PowerBI在最近的調查中名列第三，而在2017年排名第七，2016年沒有上榜。調查物件中25%表示在使用PowerBI，超過了Qlik(23%)、IBM Cognos(19%)、Microstrategy(19%)和SAP/Business Objects(18%)等解決方案。報告作者因此得出了結論：“微軟商業智慧(PowerBI和Excel)在這個市場的影響力最大。”
6. 95%的企業將來會保持或增加大資料的使用。
95%的調查對象表示，其公司計畫在未來三個月內保持或增加大資料的使用，5%的調查物件表示其公司會減少大資料的使用，這不足為奇，但仍值得注意。
這與Gartner的觀點一致，去年Gartner建議道：“隨著資料和分析得到更廣泛的採用，業務增長方面的潛力其實是指數級的，而不僅僅是累積性的。今天沒有行動起來的企業不僅在2017年受影響，還會大大限制其在2018年及以後的增長潛力，因為洞察力、回應速度和效率同提升後帶來的回報越來越高。”
7.企業仍然找不到擁有大資料技能的專業人員。
連續三年，找到擁有相應大資料技能的員工一直是AtScale的調查對象提到的頭號挑戰。現在許多不同的企業都開設資料科學和大資料方面的課程，還是無法足夠快地培訓新員工以跟上需求。因而，大資料崗位的薪水空前高漲。
一段時間以來，缺乏合格的專業人員似乎促使企業選擇擁有自助服務功能的大資料解決方案，以便其他業務人員使用分析工具。然而，雖然自助服務大資料的占比在2017年攀升至47%，但2018年實際下降至41%。
8.資料治理在成為大問題。
目前大家都關注的另一個大資料問題是治理，這是2018年的第二大常見問題。形勢顯然發生了重大轉變，因為早在2016年，治理是排名第五的常見問題，即使在2017年，也排名第三。管理和安全在2016年分別是排名第二和第三的常見問題，2018年跌至第五和第四。
人們越來越關注治理，一方面原因可能是Facebook及其他公司經常爆出用戶隱私醜聞，以及政府監管越來越嚴。另一方面歐盟的《通用資料保護條例》(GDPR)於下個月生效，許多企業在競相確保符合法規。
9.只有19%的企業使用大資料系統取代資料倉庫。
儘管許多企業欣然接受大資料分析，但它們不一定擯棄傳統的資料倉庫及其他技術。實際上，許多企業在開發混合架構，這種架構包括內部資料倉庫、基於Hadoop及相關技術而建立的資料湖以及基於雲的大資料服務。在AtScale調查中，只有19%的調查物件表示計畫用新的大資料工具完全取代舊的資料解決方案。42%的調查物件表示，新的大資料工具在補充原有的解決方案;39%表示在取代一些工具，並在補充其他工具。
10. 66%的企業認為，大資料是戰略性或改變遊戲規則的。
被問及大資料在企業中扮演的角色時，約三分之二(66%)的調查物件表示他們認為大資料是“戰略性”或“改變遊戲規則的”。只有17%表示大資料在其公司仍然是“實驗性”的，另有17%稱大資料項目目是“戰術性”的。
大資料方面的這種觀點清楚地表明，大資料是不會很快消失的一個趨勢。Gartner副總裁兼傑出分析師Ted Friedman認為，隨著更多的企業開始將大資料視為戰略性，會出現這三大預測：
“資料和分析將推動現代業務運營，而不是僅僅體現其表現。”
“企業對於資料和分析將採取全面的方法。企業將構建端到端架構，以便從企業核心到企業邊緣都實行資料管理和分析。”
“高管們將把資料和分析納入業務戰略中，這讓資料和分析專業人員得以扮演新角色，推動業務增長。”