今年 5 月， 谷歌曾在 I/O 大會上宣佈即將推出 TensorFlow Lite， 今日， 穀歌終於發佈了新工具的開發者預覽版本， 這是一款 TensorFlow 用於移動設備和嵌入式設備的羽量級解決方案。 TensorFlow 可以在多個平臺上運行， 從機架式伺服器到小型 IoT 設備。 但是隨著近年來機器學習模型的廣泛使用， 出現了在移動和嵌入式設備上部署它們的需求。 而 TensorFlow Lite 允許設備端的機器學習模型的低延遲推斷。 在本文中， TensorFlow 團隊將向我們介紹 TensorFlow Lite 的特點， 並展示一個可用的羽量級模型。
專案連結：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite
設計初衷：
羽量級：允許小 binary size 和快速初始化／啟動的設備端機器學習模型進行推斷。
跨平臺：運行時的設計使其可以在不同的平臺上運行， 最先允許的平臺是安卓和 iOS。
快速：專為移動設備進行優化， 包括大幅提升模型載入時間， 支援硬體加速。
現在， 越來越多移動設備內置了專門的自訂硬體以高效處理機器學習工作負載。 TensorFlow Lite 支援安卓神經網路 API（https://developer.android.com/ndk/guides/neuralnetworks/index.html）， 以充分利用新的可用加速器。
當加速器硬體不可用時， TensorFlow Lite 返回至經優化的 CPU 執行操作， 確保模型仍然可在大量設備上快速運行。
架構
下圖展示了 TensorFlow Lite 的架構設計：
組件包括：
TensorFlow 模型（TensorFlow Model）：訓練後的 TensorFlow 模型， 保存在磁片中。
TensorFlow Lite 轉換器（TensorFlow Lite Converter）：該程式將模型轉換成 TensorFlow Lite 檔案格式。
TensorFlow Lite 模型檔（TensorFlow Lite Model File）：該格式基於 FlatBuffers， 經過優化以適應最大速度和最小規模。
然後將 TensorFlow Lite 模型檔部署到移動 App 中：
Java API：安卓設備上適用於 C++ API 的便利封裝。
C++ API：載入 TensorFlow Lite 模型檔， 啟動編譯器。 安卓和 iOS 設備上均有同樣的庫。
編譯器（Interpreter）：使用運算子執行模型。 解譯器支持選擇性載入運算子；沒有運算子時， 編譯器只有 70KB， 載入所有運算子後， 編譯器為 300KB。 這比 TensorFlow Mobile（具備一整套運算子）的 1.5M 要小得多。
在選擇的安卓設備上， 編譯器將使用安卓神經網路 API 進行硬體加速，
開發者還使用 C++ API 實現自訂 kernel， 它可被解譯器使用。
模型
TensorFlow Lite 已經支援多個面向移動端訓練和優化的模型：
MobileNet：一種能夠識別超過 1000 種不同物體的視覺模型， 專為移動端和嵌入式設備設計；
Inception V3：一種圖像識別模型， 功能上類似於 MobileNet， 但能提供更高的準確率（當然模型也更大）；
Smart Reply：一種設備端對話模型， 能對接收到的會話聊天資訊提供觸發性應答。 第一方和協力廠商通信 App 可在 Android Wear 上使用該特性。
Inception v3 和 MobileNet 都在 ImageNet 資料集上訓練過， 你可以通過遷移學習輕鬆地在自己的圖像資料集上重新訓練這些模型。
關於 TensorFlow Mobile API
如你所知， TensorFlow 已經支持通過 TensorFlow Mobile API 在移動端和嵌入端部署模型。 進一步來說， TensorFlow Lite 可以看作 TensorFlow Mobile 的升級，
TensorFlow Lite 的適用範圍很廣， 並依然處於積極開發之中。 通過這一開發者預覽版本， 我們特意從一個受限平臺開始， 保證其在最重要的常用模型上的性能。 我們計畫優先考慮根據使用者需求擴展未來的功能。 我們持續開發的目標是簡化開發者體驗， 並在一系列移動端和嵌入式設備上實現模型部署。
我們很高興開發者正上手使用 TensorFlow Lite。 我們計畫以從事 TensorFlow 專案的同樣力度來支持和維護外部社區， 並迫不及待想看看 TensorFlow Lite 會帶來什麼。 更多資訊請參見：http://tensorflow.org/mobile/tflite。
TensorFlow Lite 模型示例
作為 TensorFlow Lite 庫的一部分， 我們還發佈了一個設備端對話模型和演示 APP，
我們發佈的這個對話模型使用了一種新型機器學習架構， 該架構將基於一種聯合優化框架而訓練緊湊的神經網路模型或其它機器學習模型。 該架構最初是在論文 ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections 中提出， 且它能在有限計算力和儲存能力的移動設備上高效地運行。 通過高效的「投影」操作， 我們可以將任何輸入轉換為緊湊的向量表示， 即類似的輸入根據投影的類型被投影到密集或稀疏的近鄰向量。 例如消息「hey, how's it going?」和「How's it going buddy?」就可能被投影到相似的向量表徵。
根據這個概念，會話模型在較低的計算力水準和記憶體佔用下結合了這些高效的運算。我們使用一個 ML 框架以端到端的方式訓練這個設備上的模型，該框架能聯合訓練兩個類型的模型，即緊密的 Projection 模型和 Trainer 模型。這兩個模型以聯合的方式進行訓練，Projection 模型從 Trainer 模型中學習資訊，而 Trainer 模型更像一個導師，它一般使用更大和複雜的 ML 架構進行建模，因此 Projection 就像一個學生從 Trainer 模型中學習它所知道的知識。在訓練過程中，我們能疊加其它如量化或精煉等技術而實現更加強大的壓縮或選擇性地優化目標函數的特定部分。一旦訓練完成，較小的投影模型就能直接在移動設備上執行推斷了。
至於推斷，訓練後的投影模型被編譯成一系列 TensorFlow Lite 運算子，並被優化以在移動平臺上快速執行，或直接在設備上執行。下面是設備端對話模型的 TensorFlow Lite 推斷圖：
TensorFlow Lite 執行設備端對話模型
今天發佈的開源會話模型（包括代碼）使用以上提到的聯合機器學習架構進行端到端的訓練。今天的發佈內容還包括了一個演示 APP，從而可以輕鬆地下載和在你的移動設備上試用一鍵智慧回復。該架構允許基於應用需求對模型尺度和預測品質進行簡易配置。你可以在 GitHub 裡找到從該模型輸出的高品質的對話樣本。該系統還可以回退到從（通過對聊天的對話中所觀察到的常用應答目的進行學習和編譯得到的）一個固定的集合中提供建議的回復。其背後的模型和穀歌在其 app 中使用的智慧回復（Smart Reply）是不同的。
超越會話模型
有趣的是，以上所描述的機器學習架構能為背後的模型提供靈活的選擇。我們還設計了可相容不同機器學習方法的架構，例如，當使用 TensorFlow 進行深度學習的時候，我們是為背後的模型學習了一個輕量神經網路（ProjectionNet），然而當用另一個不同的架構（ProjectionGraph）的時候，我們是使用圖框架而不是神經網路表示模型。
聯合框架也可以為不同機器學習模型架構訓練輕量的設備端模型。例如，谷歌開發者推出了一個 ProjectionNet 架構，使用複雜的前饋/迴圈架構（就像 LSTM）作為訓練模型，聯合一個簡單的投影架構——其中包含動態投影操作以及一些窄帶全連接層。整個架構使用反向傳播在 TensorFlow 上進行端到端訓練，在訓練完成後，我們就可以直接使用緊湊的 ProjectionNet 進行推理了。通過這種方法，我們可以訓練尺寸很小的 ProjectionNet 模型，兼顧小尺寸（比常規模型小幾個數量級）與高性能，在一些視覺和語言分類任務中達到滿意的效果。
相關示例可參閱論文《ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections》：https://arxiv.org/abs/1708.00630
同樣的，穀歌也為圖學習框架訓練了其他羽量級模型，甚至引入了半監督學習。
用於設備端模型訓練的機器學習架構：ProjectionNet 使用深度學習訓練（左），ProjectionGraph 使用圖學習訓練（右）。
在未來，穀歌將持續提升 TensorFlow Lite 模型的性能，並開源更多模型。這些使用機器學習架構的模型（以及未來即將推出的模型）將被很多自然語言處理與電腦視覺應用所採用，嵌入到已有 APP 中，為終端設備帶來智慧。穀歌希望以此促進機器學習與自然語言處理社區持續發展，讓技術解決更多問題。
Note：目前的設備端模型是面向小尺寸、低延遲應用進行訓練和優化的，適用於手機和可穿戴設備。在穀歌自有的 APP 中，智慧回復的預測是通過更大、更複雜的模型完成的。在商用化系統中，穀歌也會使用多種分類器對不適當內容進行探測，並對用戶體驗進行進一步優化。谷歌建議開發者們在使用 TensorFlow Lite 時也可以遵循這樣的使用範例以達到更好效果。
原文連結：https://developers.googleblog.com/2017/11/announcing-tensorflow-lite.html
例如消息「hey, how's it going?」和「How's it going buddy?」就可能被投影到相似的向量表徵。根據這個概念，會話模型在較低的計算力水準和記憶體佔用下結合了這些高效的運算。我們使用一個 ML 框架以端到端的方式訓練這個設備上的模型，該框架能聯合訓練兩個類型的模型，即緊密的 Projection 模型和 Trainer 模型。這兩個模型以聯合的方式進行訓練，Projection 模型從 Trainer 模型中學習資訊，而 Trainer 模型更像一個導師，它一般使用更大和複雜的 ML 架構進行建模，因此 Projection 就像一個學生從 Trainer 模型中學習它所知道的知識。在訓練過程中，我們能疊加其它如量化或精煉等技術而實現更加強大的壓縮或選擇性地優化目標函數的特定部分。一旦訓練完成，較小的投影模型就能直接在移動設備上執行推斷了。
至於推斷，訓練後的投影模型被編譯成一系列 TensorFlow Lite 運算子，並被優化以在移動平臺上快速執行，或直接在設備上執行。下面是設備端對話模型的 TensorFlow Lite 推斷圖：
TensorFlow Lite 執行設備端對話模型
今天發佈的開源會話模型（包括代碼）使用以上提到的聯合機器學習架構進行端到端的訓練。今天的發佈內容還包括了一個演示 APP，從而可以輕鬆地下載和在你的移動設備上試用一鍵智慧回復。該架構允許基於應用需求對模型尺度和預測品質進行簡易配置。你可以在 GitHub 裡找到從該模型輸出的高品質的對話樣本。該系統還可以回退到從（通過對聊天的對話中所觀察到的常用應答目的進行學習和編譯得到的）一個固定的集合中提供建議的回復。其背後的模型和穀歌在其 app 中使用的智慧回復（Smart Reply）是不同的。
超越會話模型
有趣的是，以上所描述的機器學習架構能為背後的模型提供靈活的選擇。我們還設計了可相容不同機器學習方法的架構，例如，當使用 TensorFlow 進行深度學習的時候，我們是為背後的模型學習了一個輕量神經網路（ProjectionNet），然而當用另一個不同的架構（ProjectionGraph）的時候，我們是使用圖框架而不是神經網路表示模型。
聯合框架也可以為不同機器學習模型架構訓練輕量的設備端模型。例如，谷歌開發者推出了一個 ProjectionNet 架構，使用複雜的前饋/迴圈架構（就像 LSTM）作為訓練模型，聯合一個簡單的投影架構——其中包含動態投影操作以及一些窄帶全連接層。整個架構使用反向傳播在 TensorFlow 上進行端到端訓練，在訓練完成後，我們就可以直接使用緊湊的 ProjectionNet 進行推理了。通過這種方法，我們可以訓練尺寸很小的 ProjectionNet 模型，兼顧小尺寸（比常規模型小幾個數量級）與高性能，在一些視覺和語言分類任務中達到滿意的效果。
相關示例可參閱論文《ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections》：https://arxiv.org/abs/1708.00630
同樣的，穀歌也為圖學習框架訓練了其他羽量級模型，甚至引入了半監督學習。
用於設備端模型訓練的機器學習架構：ProjectionNet 使用深度學習訓練（左），ProjectionGraph 使用圖學習訓練（右）。
在未來，穀歌將持續提升 TensorFlow Lite 模型的性能，並開源更多模型。這些使用機器學習架構的模型（以及未來即將推出的模型）將被很多自然語言處理與電腦視覺應用所採用，嵌入到已有 APP 中，為終端設備帶來智慧。穀歌希望以此促進機器學習與自然語言處理社區持續發展，讓技術解決更多問題。
Note：目前的設備端模型是面向小尺寸、低延遲應用進行訓練和優化的，適用於手機和可穿戴設備。在穀歌自有的 APP 中，智慧回復的預測是通過更大、更複雜的模型完成的。在商用化系統中，穀歌也會使用多種分類器對不適當內容進行探測，並對用戶體驗進行進一步優化。谷歌建議開發者們在使用 TensorFlow Lite 時也可以遵循這樣的使用範例以達到更好效果。
原文連結：https://developers.googleblog.com/2017/11/announcing-tensorflow-lite.html