5月24日， 網易攜手中睿在深圳益田威斯汀酒店舉辦了“雲服務、大資料應用實例&高效研發管理---軟體研發沙龍”， 來自深圳五百強企業的資訊技術部骨幹， 政府、事業單位的相關IT領導， 金融業的IT精英等近百位技術人員參與了本次沙龍的學習。
首先， 網易資料科學中心技術總監餘利華從以下三方面分享了網易大資料實踐：
一、網易在大資料方面做了哪些事情；
二、網易大資料建設的思路；
三、網易在大資料方面的2個工具。
網易在大資料方面的工作
網易在大資料方面的定位是充分利用資料統計分析挖掘價值，
服務智慧化
餘利華以網易雲音樂為例， 說明了服務智慧化的具體含義。 網易雲音樂在推出的時候市面上已經有了數個億級使用者的音樂產品， 競爭非常激烈， 之所以能夠脫穎而出， 就是因為網易雲音樂從一開始就將個性化推薦作為核心功能來做。 音樂並不像其它文本類的內容， 使用者不太容易表達自己的搜索需求。 我們可能都有過類似的經歷， 偶然聽到的一首好音樂， 再想去聽的時候卻找不到了， 網易雲音樂能夠用個性化推薦幫你找到這些音樂， 説明使用者發現一些意想不到的好歌曲， 給你帶來驚喜。 目前， 網易雲音樂從APP首頁到歌單、歌曲、私人電臺等場景已經全面實現了個性化，
推薦是個系統工程， 不僅僅是演算法的問題， 產品和演算法必須緊密配合。 雲音樂通過UGC歌單和個性化推薦， 説明使用者更好的發現音樂和傳播音樂,大大的提升曲庫利用率。
個性化推薦的原理是找到人與物之間的關聯， 在合適的場景下把合適的物品推薦給合適的人。 這裡的物， 可以是新聞， 音樂， 理財產品等等。 把人和物關聯起來的方式通常有三種：
通過人關聯， 與你相同喜好的人喜歡的物品， 或你的朋友推薦的物品， 你通常都會喜歡；
通過物關聯， 因為奶粉和尿布是有關聯的， 如果用戶買過尿布， 那麼推薦奶粉給他；
通過特徵關聯， 搖滾是音樂的一個特徵， 如果一個人喜歡搖滾， 那麼推薦搖滾歌曲給他。
通過關聯， 我們就召回了很多候選商品， 它們都是有可能和人發生聯繫的。 在召回之後， 要進行過濾， 比如你在最近七天買過一個商品， 通常會將這個商品過濾掉。 過濾之後， 就得到一個候選商品的列表， 這時候要對商品進行一個多維度的打分， 把你最可能喜歡的商品推薦給你， 這就是一個基本的推薦過程。
類似服務智慧化的應用場景還有很多， 比如郵箱反垃圾， 客服機器人， 反作弊， 金融反欺詐， 視頻鑒黃等。
服務智慧化通常的工作流程是這樣的：
1. 形成想法， 想法可能來源於資料的分析， 然後尋找特徵， 增加場景；
2. 從特徵中設計方案，
3. 效果驗證：一般分為離線評估， 線上A/B測試兩類， 只有發現效果好的時候， 才真正讓這個演算法上線。
決策科學化
決策科學化， 是指讓資料來輔助決策， 比如投放廣告的過程中我們通常會這樣做：
1. 找到目標使用者：使用者多維度分析， 確定投放目標使用者群體；
2. 分析投放目標：基於投放群體， 篩選投放管道；
3. 監控投放資料：即時監控投放資料， 快速調整投放策略；
4. 構建使用者品質評估模型， 評價使用者品質；
5. 評估投放效果：ROI評估， 發現更優質的管道。
決策科學化還有很多應用場景， 比如電商定價、促銷設計、功能上線、留存分析等。
決策科學化的工作流程：
1. 度量：部署實施資料獲取， 實施資料轉化與加工，
2. 洞察：資料探索、建模、假設檢驗、用戶研究、形成理論等；
3. 干預：設計方案、實施實驗、評估效果、推廣應用等。
網易大資料建設思路：一個中心， 兩個平臺
做好大資料業務需要很多東西， 比如你要有很好的想法， 比如你的演算法工程師要很厲害， 懂得很多演算法，但一個成功的大資料應用關鍵在於兩點：有資料+快速改進。
聽上去很簡單，但在實際開發過程中，還是面臨很多問題：
1. 資料孤島的問題，你會發現你的資料散落在各個地方，可能在業務中，也可能在你伺服器中的日誌中，想用資料的時候找不到；還有一種情況是公司各個部門間的資料不共用；
2. 資料資源缺乏管理，由於資料的規模很大，再加上人員的流動，沒有一個人完全清楚所有資料表中每個指標的含義，導致資料的使用效果不好；
3. 資料開發的門檻很高：首先是知識的門檻，專業的資料開發人員很難招到，他們要學習Hadoop、Spark等各種相關技術；另外，使用上也很麻煩，要把這些開源的東西放在一起，組成一個解決方案。
4. 分析流程長，涉及的人員多，決策週期長。
網易的解決思路是一個中心，兩個平臺。一個中心是指數據資源中心，資料資源中心會集成所有有價值的資料，進行資料的融合和深加工，目的是打破各個產品的資料分界和壁壘，提高利用效率；兩個平臺分別是大資料管理與應用開發平臺（猛獁）和資料分析平臺（有數）。其中，猛獁會存儲和管理整個公司級別的資料資源，提供高效、易用的大資料分析挖掘應用開發環境，提供大規模查詢和計算能力；有數用來支撐產品分析與決策，產品行銷推廣。通過資料資源中心的建設，可以使得所有資料都在平臺上，想用可以直接去用，降低了門檻。
大資料管理和應用開發平臺
接下來，餘利華介紹了網易大資料管理和應用開發平臺猛獁，整個大資料平臺的建設思路主要是滿足效率快的需求，僅用開源的Hadoop是不夠的。把Hadoop引進來經過改造成為適合我們自己用的體系化的大資料平臺，所謂體系化，是指整個平臺分為以下幾層：
最底層是中繼資料、資料湖和資源調度。表定義、許可權和資料血緣關係都屬於中繼資料的範疇。資料湖就是統一存儲資料的，通常是HDFS；資源調度其實就是分配CPU、記憶體和磁片這些資源。我們會把整個資料資源都放在資料湖中，然後用中繼資料去描述它，這樣就建立了一個企業級的資料倉庫，統一去管理資料。
再上一層是計算層，包括即時計算、離線計算、Adhoc查詢等類型，各種引擎是有機整合的，就是在資料湖中的同一份資料，既可以用Hive來查，也可以用Spark來查，還可以用Impala來查，而且各引擎在許可權控制上也保持一致。另外，離線計算和即時計算也是融合的，一個即時計算的任務可能去查離線計算的表，即時計算的表也可能會歸檔為離線計算的表。
再上一層是使用者的使用介面，包含一個視覺化的開發介面和統一的SQL語言開發。
最上層是各種應用，比如考拉、嚴選、雲音樂等。
上圖是網易猛獁資料接入的介面，只要在介面上配置好資料來源和資料目的地，就能把資料定期地導入進來，所有的操作都是通過表單實現的，另外還提供了基於SQL的ETL的功能。在資料資源管理方面，網易猛獁提供了主題管理，一個產品裡面可能分好多主題，比如使用者一個主題，商品一個主題，訂單又是一個主題，我們提供了主題管理的功能，使得業務能夠很方便地梳理他的資料倉庫。另外提供了資料血緣的能力，使得任何一個資料的來龍去脈都非常清楚，知道這個資料是哪個任務計算出來的，依賴於前面的哪個資料。提供了拖拽式的視覺化的開發環境，而且提供SQL化的開發，提升效率。
大資料視覺化分析平臺
最後，餘利華介紹了企業級大資料視覺化分析平臺網易有數。網易有數的特點是安全、高性能和敏捷。報表的安全性是大家都關心的問題，我們會提供行列級的許可權控制；在計算方面，拖拽報表的時候性能是非常關鍵的，有數中採用了MPP的引擎做優化，使得拖拽可以秒間完成。
接下來，奇碩CTO殷世林作為網易雲的客戶，分享了奇碩資料服務在大資料平臺中的實戰，殷世林從技術的角度介紹了奇碩的大資料平臺和架構，分享了奇碩大資料平臺和網易雲的合作。下周會有文章單獨分享殷世林的演講內容。
基於微服務的應用架構設計實踐
下午，網易雲首席解決方案架構師劉超帶來了演講“基於微服務的應用架構設計實踐”，分別從產品和最佳實踐的角度介紹了網易雲在微服務化方面的經驗。
目前，網易內部95%的產品都已經在使用網易雲，上圖是網易雲整個的產品架構。最底層的雲主機、雲網路和雲硬碟是比較通用的服務，目前主流的雲服務商都會提供；右上方的平臺服務，經歷了網易內部產品長時間的考驗，才開放出來，尤其是物件存儲服務僅支援郵箱產品就已經積累了100PB以上的資料，而且迄今為止都是零丟失；最左邊是容器服務和工具鏈，工具鏈是針對容器和微服務的，網易雲相信容器在整個開發、部署和彈性擴展的過程中有著革命性的技術，是一個非常好的雲計算的切入點。
Why 微服務？
接下來，劉超以運輸過程中的集裝箱為例，介紹了容器的概念，核心是封裝和標準，將所有的設定檔、使用者創建、路徑創建、許可權修改打包到標準的容器鏡像中，只要基於這個鏡像創建出來的容器就都是一樣的。
容器改變了應用的管理和部署方式，從編碼開始，鏡像是貫穿整個過程的標準交付物，最終保證發佈時測試、聯調和線上環境的一致性，將整個過程打通了。其中編排想表達的思想是希望管理容器相互間的關係，網易雲通過Kubernetes實現容器的編排。
就像漫畫《當一個項目裡的代碼超過一百萬行……》所描述的場景，隨著應用的業務越來越大，無論從代碼層面還是組織架構層面，代碼的修改都會變得很難，甚至每次發佈都要像行軍打仗一樣，統一由最高的領導來協調這件事情，整個反覆運算速度是非常慢的。如果拆分成微服務，只要服務間的介面定義相對松耦合並標準化，每個模組都可以獨立地進行開發和上線。理想的情況是，每個微服務團隊都在5-9個人的規模，相互間的溝通非常方便，反覆運算速度會快很多。
容器+Kubernetes的平臺一個非常大的好處是，一個容器掛了，可以在秒級恢復，如果再配合負載均衡，對你的業務幾乎是沒有任何影響的，對客戶來講體驗是非常好的。
總體來說，微服務化的收益是每天的更新速度和併發的存取速度在使用者規模相對比較大的情況下，有一個很大的提升。
網易雲容器服務優勢
網易雲的容器服務為了支撐內部應用，做了很多改進，來克服當前容器服務的缺陷，並提升容器服務的性能，這也是和其它同類服務相比網易雲容器服務的特色。
安全層面：由於容器是共用內核，所以經常被詬病不夠安全，網易雲的策略是在不同租戶間實現主機隔離、內核隔離和二層虛擬網路的隔離。
性能的改進：當前主流的容器平臺多會採取左邊的方式，容器間的聯通又增加了一層虛擬成本，非常影響網路性能。網易雲採取右面的方式，會把虛擬機器的網卡打到容器中，容器看到的網路和虛擬機器看到的網路是同一個二層網路，沒有二次虛擬化；並且網易雲的虛擬機器二層網路是進行過高併發改進的，可以保證容器間交互的高輸送量；同時也方便容器和虛擬機器的混合部署。
簡化運維：左邊是一般容器服務的模式，使用者可以在上面一鍵創建容器平臺，但實際用起來就發現還有很多問題需要解決，尤其是容器平臺出現問題，或者需要升級和運維的時候，要自己去學Kubernetes或Mesos，相當於雲平臺又把很多工作交還給了用戶。網易雲採取右面的方式，紅色的部分都是網易雲來負責，在IaaS上面有一個統一的Kubernetes調度系統，使用者只需要關心容器的部分，並且使用者創建的應用依舊是主機隔離的。
工具鏈的完善：網易雲提供了APM，監控，日誌ELK的工具鏈。
網易雲在説明客戶實現微服務化，持續集成，DevOps的時候，逐漸發現客戶做不到最佳實踐往往並不是工具的問題，而是缺乏知識輸出和經驗分享的來源。網易雲有非常豐富的微服務化實戰經驗，比如網易考拉海購就是從一個母嬰產品的單體應用，逐漸發展成為跨境電商的第一品牌，目前整個架構中有600+的容器支撐業務邏輯，每天更新上線達700次以上。
十二原則和微服務化實踐有著異曲同工之處，最後，劉超介紹了雲原生應用的十二原則：
1.線上上部署的任何一套環境，在代碼中都應該有相應的代碼進行控制，你在任何環境中的任何操作，在代碼中都有追蹤，能夠追根溯源；
2.把微服務間的依賴，包括API、介面、中間產生的DTO等清晰地暴露出來；
3.環境變數儘量存儲在environment中，通用的環境變數打在鏡像中；
4.後端服務當做附加資源，儘量使用PaaS服務，不要花太多時間在PaaS平臺上；
5.嚴格區分編譯和運行的環境；
6.儘量使用無狀態應用；
7.通過埠綁定提供服務；
8.通過進程模型進行擴展；
9.快速啟動和優雅終止可最大化健壯性；
10.盡可能的保持開發、預發佈和線上環境的一致性；
11.把日誌當做事件流；
12.後臺管理任務當做一次性進程運行。
活動最後，中睿資訊創始人鹿傳明向大家傳授了“從0到1打造高效的軟體研發團隊”的經驗。鹿傳明首先從研發專案管理的本質出發，認為不以提升品質與生產率的專案管理就是形式主義，再詳細講解了個人投入度與團隊投入度的概念，量化講述構建高效團隊。接著詳細對比論證了傳統的重量級研發專案管理體系與羽量級的管理體系如Scrum的特點與適用性。最後鹿傳明詳細介紹了符合中國國情的iScrum項目管理方法在企業中的應用案例。
以上由網易企業資訊化服務提供者：湖南領先網路科技整理發佈。
網易企業服務（qiye163.co）是網易憑藉其20年品牌優勢與經驗打造的企業級產品矩陣，致力於提供一站式企業資訊化解決方案。網易企業服務的推出是網易在企業郵箱的基礎上對企業市場的進一步重要佈局。湖南領先網路科技是網易企業產品授權經銷商，專業為企業提供網易企業郵箱、網易辦公套件等一站式企業資訊化專業解決方案。辦理網易企業郵箱，就找湖南領先網路。
聽上去很簡單，但在實際開發過程中，還是面臨很多問題：
1. 資料孤島的問題，你會發現你的資料散落在各個地方，可能在業務中，也可能在你伺服器中的日誌中，想用資料的時候找不到；還有一種情況是公司各個部門間的資料不共用；
2. 資料資源缺乏管理，由於資料的規模很大，再加上人員的流動，沒有一個人完全清楚所有資料表中每個指標的含義，導致資料的使用效果不好；
3. 資料開發的門檻很高：首先是知識的門檻，專業的資料開發人員很難招到，他們要學習Hadoop、Spark等各種相關技術；另外，使用上也很麻煩，要把這些開源的東西放在一起，組成一個解決方案。
4. 分析流程長，涉及的人員多，決策週期長。
網易的解決思路是一個中心，兩個平臺。一個中心是指數據資源中心，資料資源中心會集成所有有價值的資料，進行資料的融合和深加工，目的是打破各個產品的資料分界和壁壘，提高利用效率；兩個平臺分別是大資料管理與應用開發平臺（猛獁）和資料分析平臺（有數）。其中，猛獁會存儲和管理整個公司級別的資料資源，提供高效、易用的大資料分析挖掘應用開發環境，提供大規模查詢和計算能力；有數用來支撐產品分析與決策，產品行銷推廣。通過資料資源中心的建設，可以使得所有資料都在平臺上，想用可以直接去用，降低了門檻。
大資料管理和應用開發平臺
接下來，餘利華介紹了網易大資料管理和應用開發平臺猛獁，整個大資料平臺的建設思路主要是滿足效率快的需求，僅用開源的Hadoop是不夠的。把Hadoop引進來經過改造成為適合我們自己用的體系化的大資料平臺，所謂體系化，是指整個平臺分為以下幾層：
最底層是中繼資料、資料湖和資源調度。表定義、許可權和資料血緣關係都屬於中繼資料的範疇。資料湖就是統一存儲資料的，通常是HDFS；資源調度其實就是分配CPU、記憶體和磁片這些資源。我們會把整個資料資源都放在資料湖中，然後用中繼資料去描述它，這樣就建立了一個企業級的資料倉庫，統一去管理資料。
再上一層是計算層，包括即時計算、離線計算、Adhoc查詢等類型，各種引擎是有機整合的，就是在資料湖中的同一份資料，既可以用Hive來查，也可以用Spark來查，還可以用Impala來查，而且各引擎在許可權控制上也保持一致。另外，離線計算和即時計算也是融合的，一個即時計算的任務可能去查離線計算的表，即時計算的表也可能會歸檔為離線計算的表。
再上一層是使用者的使用介面，包含一個視覺化的開發介面和統一的SQL語言開發。
最上層是各種應用，比如考拉、嚴選、雲音樂等。
上圖是網易猛獁資料接入的介面，只要在介面上配置好資料來源和資料目的地，就能把資料定期地導入進來，所有的操作都是通過表單實現的，另外還提供了基於SQL的ETL的功能。在資料資源管理方面，網易猛獁提供了主題管理，一個產品裡面可能分好多主題，比如使用者一個主題，商品一個主題，訂單又是一個主題，我們提供了主題管理的功能，使得業務能夠很方便地梳理他的資料倉庫。另外提供了資料血緣的能力，使得任何一個資料的來龍去脈都非常清楚，知道這個資料是哪個任務計算出來的，依賴於前面的哪個資料。提供了拖拽式的視覺化的開發環境，而且提供SQL化的開發，提升效率。
大資料視覺化分析平臺
最後，餘利華介紹了企業級大資料視覺化分析平臺網易有數。網易有數的特點是安全、高性能和敏捷。報表的安全性是大家都關心的問題，我們會提供行列級的許可權控制；在計算方面，拖拽報表的時候性能是非常關鍵的，有數中採用了MPP的引擎做優化，使得拖拽可以秒間完成。
接下來，奇碩CTO殷世林作為網易雲的客戶，分享了奇碩資料服務在大資料平臺中的實戰，殷世林從技術的角度介紹了奇碩的大資料平臺和架構，分享了奇碩大資料平臺和網易雲的合作。下周會有文章單獨分享殷世林的演講內容。
基於微服務的應用架構設計實踐
下午，網易雲首席解決方案架構師劉超帶來了演講“基於微服務的應用架構設計實踐”，分別從產品和最佳實踐的角度介紹了網易雲在微服務化方面的經驗。
目前，網易內部95%的產品都已經在使用網易雲，上圖是網易雲整個的產品架構。最底層的雲主機、雲網路和雲硬碟是比較通用的服務，目前主流的雲服務商都會提供；右上方的平臺服務，經歷了網易內部產品長時間的考驗，才開放出來，尤其是物件存儲服務僅支援郵箱產品就已經積累了100PB以上的資料，而且迄今為止都是零丟失；最左邊是容器服務和工具鏈，工具鏈是針對容器和微服務的，網易雲相信容器在整個開發、部署和彈性擴展的過程中有著革命性的技術，是一個非常好的雲計算的切入點。
Why 微服務？
接下來，劉超以運輸過程中的集裝箱為例，介紹了容器的概念，核心是封裝和標準，將所有的設定檔、使用者創建、路徑創建、許可權修改打包到標準的容器鏡像中，只要基於這個鏡像創建出來的容器就都是一樣的。
容器改變了應用的管理和部署方式，從編碼開始，鏡像是貫穿整個過程的標準交付物，最終保證發佈時測試、聯調和線上環境的一致性，將整個過程打通了。其中編排想表達的思想是希望管理容器相互間的關係，網易雲通過Kubernetes實現容器的編排。
就像漫畫《當一個項目裡的代碼超過一百萬行……》所描述的場景，隨著應用的業務越來越大，無論從代碼層面還是組織架構層面，代碼的修改都會變得很難，甚至每次發佈都要像行軍打仗一樣，統一由最高的領導來協調這件事情，整個反覆運算速度是非常慢的。如果拆分成微服務，只要服務間的介面定義相對松耦合並標準化，每個模組都可以獨立地進行開發和上線。理想的情況是，每個微服務團隊都在5-9個人的規模，相互間的溝通非常方便，反覆運算速度會快很多。
容器+Kubernetes的平臺一個非常大的好處是，一個容器掛了，可以在秒級恢復，如果再配合負載均衡，對你的業務幾乎是沒有任何影響的，對客戶來講體驗是非常好的。
總體來說，微服務化的收益是每天的更新速度和併發的存取速度在使用者規模相對比較大的情況下，有一個很大的提升。
網易雲容器服務優勢
網易雲的容器服務為了支撐內部應用，做了很多改進，來克服當前容器服務的缺陷，並提升容器服務的性能，這也是和其它同類服務相比網易雲容器服務的特色。
安全層面：由於容器是共用內核，所以經常被詬病不夠安全，網易雲的策略是在不同租戶間實現主機隔離、內核隔離和二層虛擬網路的隔離。
性能的改進：當前主流的容器平臺多會採取左邊的方式，容器間的聯通又增加了一層虛擬成本，非常影響網路性能。網易雲採取右面的方式，會把虛擬機器的網卡打到容器中，容器看到的網路和虛擬機器看到的網路是同一個二層網路，沒有二次虛擬化；並且網易雲的虛擬機器二層網路是進行過高併發改進的，可以保證容器間交互的高輸送量；同時也方便容器和虛擬機器的混合部署。
簡化運維：左邊是一般容器服務的模式，使用者可以在上面一鍵創建容器平臺，但實際用起來就發現還有很多問題需要解決，尤其是容器平臺出現問題，或者需要升級和運維的時候，要自己去學Kubernetes或Mesos，相當於雲平臺又把很多工作交還給了用戶。網易雲採取右面的方式，紅色的部分都是網易雲來負責，在IaaS上面有一個統一的Kubernetes調度系統，使用者只需要關心容器的部分，並且使用者創建的應用依舊是主機隔離的。
工具鏈的完善：網易雲提供了APM，監控，日誌ELK的工具鏈。
網易雲在説明客戶實現微服務化，持續集成，DevOps的時候，逐漸發現客戶做不到最佳實踐往往並不是工具的問題，而是缺乏知識輸出和經驗分享的來源。網易雲有非常豐富的微服務化實戰經驗，比如網易考拉海購就是從一個母嬰產品的單體應用，逐漸發展成為跨境電商的第一品牌，目前整個架構中有600+的容器支撐業務邏輯，每天更新上線達700次以上。
十二原則和微服務化實踐有著異曲同工之處，最後，劉超介紹了雲原生應用的十二原則：
1.線上上部署的任何一套環境，在代碼中都應該有相應的代碼進行控制，你在任何環境中的任何操作，在代碼中都有追蹤，能夠追根溯源；
2.把微服務間的依賴，包括API、介面、中間產生的DTO等清晰地暴露出來；
3.環境變數儘量存儲在environment中，通用的環境變數打在鏡像中；
4.後端服務當做附加資源，儘量使用PaaS服務，不要花太多時間在PaaS平臺上；
5.嚴格區分編譯和運行的環境；
6.儘量使用無狀態應用；
7.通過埠綁定提供服務；
8.通過進程模型進行擴展；
9.快速啟動和優雅終止可最大化健壯性；
10.盡可能的保持開發、預發佈和線上環境的一致性；
11.把日誌當做事件流；
12.後臺管理任務當做一次性進程運行。
活動最後，中睿資訊創始人鹿傳明向大家傳授了“從0到1打造高效的軟體研發團隊”的經驗。鹿傳明首先從研發專案管理的本質出發，認為不以提升品質與生產率的專案管理就是形式主義，再詳細講解了個人投入度與團隊投入度的概念，量化講述構建高效團隊。接著詳細對比論證了傳統的重量級研發專案管理體系與羽量級的管理體系如Scrum的特點與適用性。最後鹿傳明詳細介紹了符合中國國情的iScrum項目管理方法在企業中的應用案例。
以上由網易企業資訊化服務提供者：湖南領先網路科技整理發佈。
網易企業服務（qiye163.co）是網易憑藉其20年品牌優勢與經驗打造的企業級產品矩陣，致力於提供一站式企業資訊化解決方案。網易企業服務的推出是網易在企業郵箱的基礎上對企業市場的進一步重要佈局。湖南領先網路科技是網易企業產品授權經銷商，專業為企業提供網易企業郵箱、網易辦公套件等一站式企業資訊化專業解決方案。辦理網易企業郵箱，就找湖南領先網路。