Google重磅醫療AI成果：增強現實顯微鏡可即時分析病理切片

雷鋒網按：本文譯自Google Blog， 作者為Google大腦團隊產品經理Craig Mermel和技術主管Martin Stumpe。

深度學習技術近來在眼科、皮膚科、放射科和病理科等醫學學科領域展現出了極大的應用前景，

它可以幫助為世界各地的患者提供更加精准、可用的高品質醫療服務。 Google近期也發佈了一項研究成果， 該成果顯示， 卷積神經網路檢測淋巴結中的乳腺癌轉移的準確率， 可以媲美一名訓練有素的病理學家。 然而， 目前為止， 用複合光學顯微鏡直接觀察組織仍然是病理學家診斷疾病的主要手段， 如何將微觀組織進行數位化展示成了深度學習技術在病理學科大規模應用的關鍵挑戰。

今天， 在美國癌症研究協會年會（AACR）的一個演講中， 我們通過一篇題為《增強現實顯微鏡即時自動檢測癌症（正在審查）》的論文， 介紹了一款增強現實顯微鏡(ARM)的平臺原型， 我們相信這款產品可以説明加速深度學習技術在全球病理學領域的推廣應用。

該平臺由一個經過改良的光學顯微鏡組成， 能夠對圖像進行即時分析並直接在使用者的視野中顯示機器學習演算法的分析結果。

值得一提的是， 只需使用低成本的、現成的元器件， 就可以將這款增強現實顯微鏡改造成世界各地醫院和診所中常見的普通光學顯微鏡， 而且無需對數位系統進行全面升級就能進行組織分析。

現代計算元件和深度學習模型——比如在TensorFlow平臺上構建的模型， 使得這個增強現實顯微鏡平臺能夠運行大量的預訓練模型。 和使用傳統顯微鏡的方法一樣， 用戶通過目鏡觀察樣品， 機器學習演算法輸出的結果將即時投射到光路中， 疊加在樣本的原始圖像之上，

説明觀察者快速定位和量化感興趣的特徵。 而且， 平臺的計算和視覺回饋非常迅速——目前速度已經達到了10幀/秒， 這意味著當使用者移動組織或放大倍數做進一步觀察時， 可以獲得流暢、無縫的視覺體驗。

左圖：增強現實顯微鏡的原理概述。

一台數碼相機捕捉到與用戶相同的視場(FoV)， 然後將圖像傳送給一個附加的計算單元， 該單元能夠運行即時推理的機器學習模型。 隨後推理結果被回饋到一個定制的AR顯示幕， 該顯示幕與目鏡內聯， 並將模型輸出的結果與標本顯示在同一平面上。 右圖：該圖展示了我們的平臺原型被改造成典型臨床級光學顯微鏡後的樣子。

理論上， 增強現實顯微鏡可以提供各式各樣的視覺回饋， 包括文本、箭頭、輪廓、熱圖和動畫， 而且可以運行多種類型的機器學習演算法以應對不同的任務， 比如物件檢測、量化和分類等。

為了演示增強現實顯微鏡的功能， 我們讓其運行兩種不同的癌症檢測演算法：一種用於檢測淋巴結標本中的乳腺癌轉移，

另一種用於檢測前列腺切除術標本中的前列腺癌。 這些演算法可以在4-40x的放大倍數下運行， 並用綠色輪廓勾畫出檢測到腫瘤區域。 這些輪廓可以説明病理學家注意到感興趣的區域， 而不至於遺漏外觀模糊的腫瘤細胞。

雷鋒網注：通過增強現實顯微鏡觀察到的視圖。 這些圖像展示了4x、10x、20x和40x放大倍數下的淋巴結標本。

雖然這兩個癌症檢測模型並非用增強現實顯微鏡直接捕獲的圖像進行訓練的，但它們在後者上表現非常出色，無需額外的訓練。我們相信，假如直接用增強現實顯微鏡獲取的圖像做進一步訓練，這些演算法的表現還將繼續提升。

最初都是用來自一種光學結構完全不同的完整標本掃描器的圖像訓練的，但他們在增強現實顯微鏡平臺上的表現非常出色，無需額外的在訓練。例如，淋巴結轉移檢測模型在增強現實顯微鏡上運行時曲線面積達到了0.98，前列腺癌檢測模型的曲線面積達到了0.96，僅略低於WSI上得到的結果。

我們相信，這款增強現實顯微鏡將給全球衛生事業產生重大影響，尤其是在發展中國家的傳染病診斷方面——包括結核病和瘧疾等。此外，在即將採用數位病理工作流程的醫院，增強現實顯微鏡也可以與數位工作流程結合使用。光學顯微鏡已經在很多行業已經證明了其價值，但在病理學領域作用有限。我們相信增強現實顯微鏡可以應用於醫療、生命科學研究和材料科學等眾多領域。我們很高興能繼續探索這款增強現實顯微鏡，説明加速機器學習技術在世界各地產生積極影響。

via Google Blog雷鋒網編譯

這些圖像展示了4x、10x、20x和40x放大倍數下的淋巴結標本。

雖然這兩個癌症檢測模型並非用增強現實顯微鏡直接捕獲的圖像進行訓練的，但它們在後者上表現非常出色，無需額外的訓練。我們相信，假如直接用增強現實顯微鏡獲取的圖像做進一步訓練，這些演算法的表現還將繼續提升。

最初都是用來自一種光學結構完全不同的完整標本掃描器的圖像訓練的，但他們在增強現實顯微鏡平臺上的表現非常出色，無需額外的在訓練。例如，淋巴結轉移檢測模型在增強現實顯微鏡上運行時曲線面積達到了0.98，前列腺癌檢測模型的曲線面積達到了0.96，僅略低於WSI上得到的結果。

我們相信，這款增強現實顯微鏡將給全球衛生事業產生重大影響，尤其是在發展中國家的傳染病診斷方面——包括結核病和瘧疾等。此外，在即將採用數位病理工作流程的醫院，增強現實顯微鏡也可以與數位工作流程結合使用。光學顯微鏡已經在很多行業已經證明了其價值，但在病理學領域作用有限。我們相信增強現實顯微鏡可以應用於醫療、生命科學研究和材料科學等眾多領域。我們很高興能繼續探索這款增強現實顯微鏡，説明加速機器學習技術在世界各地產生積極影響。

via Google Blog雷鋒網編譯