今天， 穀歌在美國癌症研究協會（AACR）年會上發表演講， 介紹癌症檢測的新研究論文。 他們開發了一種增強現實顯微鏡（ARM）原型平臺， 可即時檢測癌症。 該平臺具備相當大的靈活性， 適用於多種顯微鏡、任務類型的配置。
近期， 深度學習在醫療領域的應用（包括眼科、皮膚科、放射科和病理科（pathology））顯示了極大的前景， 提高全世界高品質醫療的準確率和可用性。 穀歌也發佈了研究結果（Detecting Cancer Metastases on Gigapixel Pathology Images）， 展示卷積神經網路能夠檢測乳腺癌在淋巴結中的轉移， 準確率堪比訓練有素的病理醫生。 但是， 由於使用複式光學顯微鏡得到直接組織視覺化仍然是病理醫生診斷疾病的主要手段，
今天， 穀歌在美國癌症研究協會（AACR）年會上發表演講， 介紹論文《An Augmented Reality Microscope for Realtime Automated Detection of Cancer》（under review）。 演講介紹了一種增強現實顯微鏡（ARM）原型平臺， 有望説明加速和促進世界各地病理醫生對深度學習工具的採用。 該平臺包含改良光學顯微鏡， 可以即時地將圖像分析和機器學習演算法結果直接呈現。 重要的是， ARM 平臺可以利用低價、易獲取的元件進行改造， 以適應世界各地醫院、診所的現有光學顯微鏡， 且無需分析組織的整張幻燈片數位圖像。
論文地址：https://drive.google.com/file/d/1WRBCqJItaGly-9PDSMlwQ5Ldhc8lB0lf/view
現代計算元件和深度學習模型（如建立在 TensorFlow 之上的模型）使得該平臺可以運行多種預訓練模型。
左：ARM 的概述圖。 數字攝像頭捕捉和使用者相同的視野， 並將圖像傳遞給附加的計算單元， 以運行機器學習模型進行即時推斷。 結果將被回饋給自訂的 AR 顯示器， 該顯示器和目鏡串聯， 可將模型輸出投影到和幻燈片相同的平面上。 右：設備原型， 已被改造成典型的臨床應用級別光學顯微鏡。
原則上， ARM 可以提供多種視覺回饋， 包括文本、箭頭、等高線、熱圖或動畫， 並且可以運行多種不同的機器學習演算法來解決不同的問題， 如目標檢測、量化或分類。
作為 ARM 的潛在效用的展示， 穀歌將其用於運行兩種不同的癌症檢測演算法：一個在淋巴結樣本上檢測乳腺癌轉移， 另一個在前列腺切除術樣本上檢測前列腺癌。 這些模型可以在 4-40 倍的放大率上運行， 給定模型的輸出結果通過綠線描繪的檢測到的腫瘤區域進行展示。 這些輪廓可以幫助病理醫生集中注意力到感興趣的區域上， 而不需要遮擋潛在的腫瘤細胞外觀。
通過 ARM 目鏡觀察到的圖像示例。 這些圖像展示了淋巴結癌細胞轉移示例， 顯微鏡物鏡分別是 4x、10x、20x 和 40x。
儘管兩個癌症模型都基於光學配置明顯不同的完整投影片掃描器所提供的圖像進行訓練， 但是這些模型在 ARM 上的效果非常好， 且無需額外的再訓練。 例如， 淋巴結癌細胞轉移模型的曲線下面積（AUC）為 0.98， 在 ARM 上運行的前列腺癌模型的 AUC 是 0.96， 只比 WSI 上獲取的性能稍有下降。 穀歌認為這些模型的性能可以通過在 ARM 上直接獲取的圖像上進行額外訓練而得到提升。
穀歌認為 ARM 可以對世界醫療狀況產生巨大影響， 尤其是發展中國家的傳染病診斷， 如肺結核、瘧疾等。此外，即使對於採用了數位化病理診斷工作流程的醫院，ARM 也可與數位化工作流程結合使用，數位化工作流程中掃描器仍然面臨很大挑戰或者仍然需要快速周轉（如細胞學檢查、螢光成像或術中冰凍切片）。當然，光學顯微鏡在病理科之外的很多方面也被證明有效，穀歌認為 ARM 可以得到大範圍的應用，如醫療、生命科學研究和材料科學。穀歌將繼續探索 ARM，説明加速機器學習技術對世界的積極影響。
原文連結：https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html
如肺結核、瘧疾等。此外，即使對於採用了數位化病理診斷工作流程的醫院，ARM 也可與數位化工作流程結合使用，數位化工作流程中掃描器仍然面臨很大挑戰或者仍然需要快速周轉（如細胞學檢查、螢光成像或術中冰凍切片）。當然，光學顯微鏡在病理科之外的很多方面也被證明有效，穀歌認為 ARM 可以得到大範圍的應用，如醫療、生命科學研究和材料科學。穀歌將繼續探索 ARM，説明加速機器學習技術對世界的積極影響。原文連結：https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html