王新民 編譯自 Google Research Blog
傳統的機器學習方法需要將網路的訓練資料集中到一台機器或一套超算中心中。 而且Google已經建立了一套安全且強大的伺服器設備， 來處理這些資料， 以提供更好的服務。 現在， 為了訓練使用者與移動設備進行互動的定制模型， 我們又引入了一種新方法：聯合學習。
基於一個共用預測模型， 聯合學習能夠使手機間進行協同學習， 在保留移動設備上所有訓練資料的同時， 將機器學習的訓練過程與將資料存儲到雲端的需求聯繫起來。
本地模型是在設備上完成模型訓練過程， 對移動設備的操作目的進行預測，
所有的訓練資料都保留在使用者設備上， 並且每個使用者的權值部分在改善預測模型後， 會立即刪除， 不會存儲在雲端。
圖1：根據使用者手機的使用情況來更新共用模型（A），
應用聯合學習方法， 可以產生更智慧的模型， 同時具有更低的延遲和更少的功耗， 能夠確保用戶的隱私。 而且這種方法具有另一個直接的好處：除了能夠更新雲端的共用模型， 並且使用者手機上的改善模型能立即應用到該設備中， 根據特定使用者使用手機的習慣來為用戶提供個性化的體驗。
我們目前在安卓手機上使用穀歌輸入法的情況下， 使用Gboard虛擬鍵盤來測試聯合學習實際效果。 當Gboard鍵盤列出所有查詢建議後， 手機設備會存儲當前上下文的有關資訊以及使用者是否點擊了該建議。 在聯合學習過程中，
為了使聯合學習方法成為現實， 我們必須克服許多演算法和技術上的挑戰。 在典型的機器學習系統中， 在隨機梯度下降（SGD）的優化演算法處理大型資料集時， 能夠將計算量均勻分配到各個雲端伺服器上。
將這項技術應用到使用Gboard虛擬鍵盤的數百萬個不同手機中， 需要一個複雜的技術來實現。 移動設備在訓練時使用的是迷你版本的TensorFlow。 只有確保設備處於空閒狀態， 連接到無線網路後才進行模型訓練， 因此對手機的性能沒有影響。
圖3：用戶手機只有當不會對操作體驗產生負面影響時， 才會參與到聯合學習中來
同時， 系統需要以一種安全， 高效， 可擴展和容錯性好的方式進行通信和更新聯合學習模型。 只有結合了對基礎設備的研究， 才能使聯合學習的應用成為可能。
聯合學習方法在運行時， 不需要將使用者運算元據存儲在雲端中， 但是我們並沒有就此停止研究。 我們開發了一種使用加密技術的安全資料融合（Secure Aggregation）協定，如果100或1000個用戶參與，中心伺服器只能通過解密得到平均更新資訊，在平均操作之前無法得到單個使用者設備的更新資訊。這個協定第一次切實可行地解決了深層網路規模大小和現實連接輸送量的約束問題。我們也設計了聯合平均方法（Federated Averaging），因此中心伺服器只需要使用安全資料融合協定即可獲得平均更新資訊。然而協議具有普適性，所以也可以應用於其他問題。我們正在努力推進這個協定的產品化，並希望在不久的將來能夠應用到聯合學習應用程式。
我們的工作只是解決了模型目前存在的表面問題。聯合學習並不能解決所有機器學習問題，如通過精准標注樣本來學習識別不同的狗品種。而對於許多其他模型，訓練所需的資料集已經存儲在雲端，如訓練Gmail垃圾郵件辨別的分類器。所以Google將繼續推進最先進的基於雲端的機器學習技術，但是我們也會致力於這方面的研究，來擴大可以通過聯合學習解決的問題範圍。不只是用於Gboard查詢建議，我們還希望基於實際鍵入手機的資訊來改善輸入法具有定制風格的語言模型，基於人們所看到、分享或刪除的照片類別，來調整顯示的照片順序。
在目前的雲端模型訓練中，資訊傳遞成本是一個很重要的限制因素。在聯合學習方法的啟發下，我們希望相關機器學習研究人員能夠採用新的工具和新的思維方式，在不需要直接訪問或標注原始資料的情況下，完成模型的開發、訓練和評估過程。為了用戶的操作體驗，我們希望應用聯合學習方法，來解決更多有價值的技術挑戰。我們已經發佈了相關工作成果，希望在機器學習社區中和大家進行討論。
今天AI界還有哪些事值得關注？
今天”，看我們全網搜羅的AI行業和研究動態。筆芯❤~qbitbot，如果你研究或者從事AI領域，小助手會把你帶入量子位的交流群裡。
我們開發了一種使用加密技術的安全資料融合（Secure Aggregation）協定，如果100或1000個用戶參與，中心伺服器只能通過解密得到平均更新資訊，在平均操作之前無法得到單個使用者設備的更新資訊。這個協定第一次切實可行地解決了深層網路規模大小和現實連接輸送量的約束問題。我們也設計了聯合平均方法（Federated Averaging），因此中心伺服器只需要使用安全資料融合協定即可獲得平均更新資訊。然而協議具有普適性，所以也可以應用於其他問題。我們正在努力推進這個協定的產品化，並希望在不久的將來能夠應用到聯合學習應用程式。我們的工作只是解決了模型目前存在的表面問題。聯合學習並不能解決所有機器學習問題，如通過精准標注樣本來學習識別不同的狗品種。而對於許多其他模型，訓練所需的資料集已經存儲在雲端，如訓練Gmail垃圾郵件辨別的分類器。所以Google將繼續推進最先進的基於雲端的機器學習技術，但是我們也會致力於這方面的研究，來擴大可以通過聯合學習解決的問題範圍。不只是用於Gboard查詢建議，我們還希望基於實際鍵入手機的資訊來改善輸入法具有定制風格的語言模型，基於人們所看到、分享或刪除的照片類別，來調整顯示的照片順序。
在目前的雲端模型訓練中，資訊傳遞成本是一個很重要的限制因素。在聯合學習方法的啟發下，我們希望相關機器學習研究人員能夠採用新的工具和新的思維方式，在不需要直接訪問或標注原始資料的情況下，完成模型的開發、訓練和評估過程。為了用戶的操作體驗，我們希望應用聯合學習方法，來解決更多有價值的技術挑戰。我們已經發佈了相關工作成果，希望在機器學習社區中和大家進行討論。
今天AI界還有哪些事值得關注？
今天”，看我們全網搜羅的AI行業和研究動態。筆芯❤~qbitbot，如果你研究或者從事AI領域，小助手會把你帶入量子位的交流群裡。