Google重磅醫療AI成果：AR顯微鏡即時分析病理切片

大家都聽說過AR（增強現實）、VR（虛擬實境），電影《頭號玩家》也展示了未來VR遊戲的巨大潛力。但是如果把AR和機器學習相結合呢？

今天，穀歌Research團隊在AI+AR+醫療相結合的領域又邁出了一步：他們在普通的光學顯微鏡上裝了一個AR元件。

工作原理是這樣的：用機器學習的方法即時分析顯微鏡視野下的圖像，並即時輸出模型的結果，通過AR元件，在原本的圖像上繪製出潛在腫瘤的邊緣。

也就是說，醫生在看顯微鏡的時候，看到的不僅僅是細胞組織，還有機器學習建模的結果：一條“癌症輪廓線”。

值得一提的是，只需使用低成本的、現成的元器件，就可以將這款增強現實顯微鏡改造成世界各地醫院和診所中常見的普通光學顯微鏡，而且無需對數位系統進行全面升級就能進行組織分析。

現代計算元件和深度學習模型——比如在TensorFlow平臺上構建的模型，使得這個增強現實顯微鏡平臺能夠運行大量的預訓練模型。和使用傳統顯微鏡的方法一樣，

用戶通過目鏡觀察樣品，機器學習演算法輸出的結果將即時投射到光路中，疊加在樣本的原始圖像之上，説明觀察者快速定位和量化感興趣的特徵。而且，平臺的計算和視覺回饋非常迅速——目前速度已經達到了10幀/秒，這意味著當使用者移動組織或放大倍數做進一步觀察時，可以獲得流暢、無縫的視覺體驗。

理論上，增強現實顯微鏡可以提供各式各樣的視覺回饋，包括文本、箭頭、輪廓、熱圖和動畫，而且可以運行多種類型的機器學習演算法以應對不同的任務，比如物件檢測、量化和分類等。

為了演示增強現實顯微鏡的功能，我們讓其運行兩種不同的癌症檢測演算法：一種用於檢測淋巴結標本中的乳腺癌轉移，

另一種用於檢測前列腺切除術標本中的前列腺癌。這些演算法可以在4-40x的放大倍數下運行，並用綠色輪廓勾畫出檢測到腫瘤區域。這些輪廓可以説明病理學家注意到感興趣的區域，而不至於遺漏外觀模糊的腫瘤細胞。

穀歌認為，

增強現實顯微鏡有潛力對全球健康產生重大影響，且在醫療保健、生命科學研究和材料科學等領域有著廣泛的應用，特別是對發展中國家傳染病（包括肺結核和瘧疾）的診斷。此外，即使在即將採用數位病理工作流程的醫院中，ARM也可以與數位工作流程結合使用，處理掃描器需要快速周轉或者不能很好地檢測問題的情況（如細胞學、螢光成像或手術中的冷凍部分）。