本文長度為2517字， 建議閱讀4分鐘
本文為你分享“類腦計算在醫療圖像上的應用”的講座精華。
［ 導讀 ］本文整理自2017年7月3日， 清華大學生物醫學工程系教授宋森在清華-青島資料科學研究院， 聯合清華大學醫學院未來影像實驗室共同舉辦的 “清華大學人工智慧與未來醫學影像高峰論壇”上， 發表的”類腦計算在醫療圖像上的應用”演講內容精華。
後臺回復關鍵字“清華大資料”
一、類腦人工智慧與深度學習
1．類腦人工智慧
類腦人工智慧， 跟我研究背景有關。 我小時候玩過一段人工智慧， 後來覺得從當時來看， 如果要實現人工智慧， 還要向人的大腦學習， 所以有很長一段時間在進行大腦的研究。 現在我非常高興有機會能把這兩點結合起來。
2．深度學習
大家聽的比較多的所謂深度學習， 從類腦人工智慧的角度來看， 是受到靈長類視覺結構的啟發。 左邊那張圖， 視覺系統有很多層， 所以這是為什麼叫深度學習。
3．深度學習的歷史
最近深度學習有比較大突破， 在醫療圖像裡面也有很大進展。 大資料和計算能力的提升， 使得這種受大腦啟發的演算法總算能夠和現實應用結合起來。 當然， 深度學習真正的歷史是幾起幾伏， 很曲折的。
這幾年機器學習的主要的區別是什麼？傳統上做機器學習， 是先要用人工去提取一些特徵， 然後通常會訓練一個比較簡單的分類器。 這幾年的區別就是開始能夠做自動特徵提取。
具體來說， 深度學習自動特徵提取這一部分是把它分成了很多層。
大家可能知道深度學習突破是2012年。 有一個比賽， 從網上找到了大量圖片， 給它們進行標注， 然後讓機器去學習， 看能不能學出來。前幾年準確率都還挺低，後來用深度學習的方法直接一下提升了幾十個百分點，從這個以後深度學習變得非常熱門。
二、深度學習應用到醫療圖像領域
1．皮膚癌診斷
皮膚癌診斷跟這類演算法很像，給一個標籤看它能不能做？取得了很大成功。但是，如果把深度學習的方法應用到醫療上，很多情況下不是這麼直接就能用過去的，還是有些特殊性。
2．深度學習應用到生物圖像
這是我做博士後期間我們開始進行的嘗試，神經元圖片想把它變成右邊這樣，然後就能分型研究，本質是一個分割問題。
我們開始了一個合作專案，能不能通過對形態學進行描述，把這個視網膜類神經元搞清楚。
為什麼困難？它難的地方在哪裡?主要是因為成像的原因，有時候會斷開，有時候會連起來。
一開始我花了一年時間，嘗試傳統方法，但效果不好，後來我博士後的導師說我們要不要試試卷積神經網路，雖然這個方法當時名聲很差。於是我們就開始用這個方法做端到端的訓練。這個方法現在叫深度學習。
最後突破是什麼呢？我們後來搞明白了，你要從剛才圖片照片直接變成一個細化的結構很難，如果你看傳統演算法設計上，它其實把它變成類似於中間這樣一個圖片，然後再把它一層一層剝掉，剝的這個過程用深度學習不是很好做。它是多步運算，所以我們其實主要是把深度學習來做一件它並不適合的事情，就很難。
其實我們真正需要的就是把那些中斷點連起來，所以我們就把原圖進行二值化，人工把那些斷的點全連起來。這張圖其實跟原圖長得很像。所以在做一個問題之前，你得搞清楚深度學習擅長什麼，不擅長什麼。
三、注意力神經元網路
1．注意力神經元網路研究
我回到清華以後， 2014年跟微軟研究院的張錚老師合作，提出了一個叫注意力的神經網路。總的來說，是受神經科學的啟發，我們認為以前的神經元模型太簡單了。神經元可以看到它有兩種因素，它會把兩種因素乘起來，現在叫注意力機制，目前這類演算法在深度學習裡面得到了廣泛應用。
2．圖像預測
我們的兩位學生，受張鈸院士的指導。
要根據這個圖像預測一年以後的發病率。要怎麼弄呢？你要仔細想一想人是怎麼做的。人會先看到一些可疑的地方。
第一步把這些可疑的地方找出來，找的過程中我們就用了類似於注意力機制，把兩組輸入整合的機制。（上圖中的R）
在這個基礎上就選出五個可能的病灶地方，再用概率的方法整合起來預測發病率。這個概率的方法是很關鍵的，減少了過擬合的可能。
3．類腦計算
清華有類腦計算研究中心，我們的目的是慢慢邁向通用人工智慧，是跨學科領域的一個中心。
四、對未來的展望
1．對未來的展望
對於醫學影像來說，人工智慧有幾個方向很重要：
第一個是醫學影像確實是個小資料問題，不可能像網路圖片是海量的，成百萬上千萬的。醫學影像涉及到幾千例、幾萬例就不得了，所以要把每一張圖片價值化。通過適合小資料的演算法，把這些圖像裡面的價值放大。這是我們研究上很重要的一點。
第二個是需要有可解釋的機器學習。如果只是一個黑箱子出來是不夠的，中間不知是什麼。在上面肺癌的例子裡，我們先發現可能的病灶，然後再判斷，找出一些特徵，這樣對醫生會有幫助。
第三個就是需要多模態的融合，以及可能跟基因、病歷等這些融合。
2．小樣本問題
減少對標注的依賴對醫療影像很重要。前年發表在science，是怎麼回事呢？通俗的講：你能不能先學會一個概念，比如說怎麼寫字。不是給你一大堆東西，你就照著弄，而是你先學會寫字這個概念。你學會了以後，給你看一個樣子，它馬上就學會了。我們在醫療影像上由於資料量比較小，以後真能用的可能是類似這樣的：比如說你先學會了怎麼看片，到了一個醫院以後，給你看幾個例子，大概這一類就學會了，這樣比較現實。
3．可解釋的機器學習
另外一個就是可解釋的機器學習。因為很大一個問題：機器學習如果是黑箱的話，你不知道他學習什麼。
上圖是很有名的例子，用深度學習的方法，將左圖與右圖組合起來，用右邊的風格畫左邊這張畫。然後問你，這是什麼？我相信有人可能會說這是一個帆船，絕對不會說這是一個豹子，但是神經元網路說這是豹子，認為是船的概率為零。為什麼？現在的卷積網路，他其實更關心概率分佈，更關心紋路。
怎麼辦？有點像我們下圍棋，你必須要有直覺。一些基礎功能怎麼去檢測，這些深度學習可以幫你。同時你要有推理過程，基於概率等等。這樣算是一個完整系統，跟人的思考方式是一樣的。
4．多態融合和複雜決策
最後比較有意思的是，我們需要多模態的融合和複雜決策。我也看到一些希望，最近一篇文章通過比較挖掘電子病歷，用機器學習的方法可以較好的預測心臟病發作，所以在未來我們有辦法把各個成像模式跟電子病歷的融合。
5．硬體加速和清華腦類計算研究中心
硬體加速也非常重要，清華類腦計算中心有非常多研究，包括張鈸院士，有一整套解決方法，從演算法到硬體我們都希望跟大家合作。
後臺回復關鍵字“清華大資料”
更多精彩乾貨內容，敬請搜索關注清華-青島資料科學研究院官方公眾平臺“資料派THU”
看能不能學出來。前幾年準確率都還挺低，後來用深度學習的方法直接一下提升了幾十個百分點，從這個以後深度學習變得非常熱門。二、深度學習應用到醫療圖像領域
1．皮膚癌診斷
皮膚癌診斷跟這類演算法很像，給一個標籤看它能不能做？取得了很大成功。但是，如果把深度學習的方法應用到醫療上，很多情況下不是這麼直接就能用過去的，還是有些特殊性。
2．深度學習應用到生物圖像
這是我做博士後期間我們開始進行的嘗試，神經元圖片想把它變成右邊這樣，然後就能分型研究，本質是一個分割問題。
我們開始了一個合作專案，能不能通過對形態學進行描述，把這個視網膜類神經元搞清楚。
為什麼困難？它難的地方在哪裡?主要是因為成像的原因，有時候會斷開，有時候會連起來。
一開始我花了一年時間，嘗試傳統方法，但效果不好，後來我博士後的導師說我們要不要試試卷積神經網路，雖然這個方法當時名聲很差。於是我們就開始用這個方法做端到端的訓練。這個方法現在叫深度學習。
最後突破是什麼呢？我們後來搞明白了，你要從剛才圖片照片直接變成一個細化的結構很難，如果你看傳統演算法設計上，它其實把它變成類似於中間這樣一個圖片，然後再把它一層一層剝掉，剝的這個過程用深度學習不是很好做。它是多步運算，所以我們其實主要是把深度學習來做一件它並不適合的事情，就很難。
其實我們真正需要的就是把那些中斷點連起來，所以我們就把原圖進行二值化，人工把那些斷的點全連起來。這張圖其實跟原圖長得很像。所以在做一個問題之前，你得搞清楚深度學習擅長什麼，不擅長什麼。
三、注意力神經元網路
1．注意力神經元網路研究
我回到清華以後， 2014年跟微軟研究院的張錚老師合作，提出了一個叫注意力的神經網路。總的來說，是受神經科學的啟發，我們認為以前的神經元模型太簡單了。神經元可以看到它有兩種因素，它會把兩種因素乘起來，現在叫注意力機制，目前這類演算法在深度學習裡面得到了廣泛應用。
2．圖像預測
我們的兩位學生，受張鈸院士的指導。
要根據這個圖像預測一年以後的發病率。要怎麼弄呢？你要仔細想一想人是怎麼做的。人會先看到一些可疑的地方。
第一步把這些可疑的地方找出來，找的過程中我們就用了類似於注意力機制，把兩組輸入整合的機制。（上圖中的R）
在這個基礎上就選出五個可能的病灶地方，再用概率的方法整合起來預測發病率。這個概率的方法是很關鍵的，減少了過擬合的可能。
3．類腦計算
清華有類腦計算研究中心，我們的目的是慢慢邁向通用人工智慧，是跨學科領域的一個中心。
四、對未來的展望
1．對未來的展望
對於醫學影像來說，人工智慧有幾個方向很重要：
第一個是醫學影像確實是個小資料問題，不可能像網路圖片是海量的，成百萬上千萬的。醫學影像涉及到幾千例、幾萬例就不得了，所以要把每一張圖片價值化。通過適合小資料的演算法，把這些圖像裡面的價值放大。這是我們研究上很重要的一點。
第二個是需要有可解釋的機器學習。如果只是一個黑箱子出來是不夠的，中間不知是什麼。在上面肺癌的例子裡，我們先發現可能的病灶，然後再判斷，找出一些特徵，這樣對醫生會有幫助。
第三個就是需要多模態的融合，以及可能跟基因、病歷等這些融合。
2．小樣本問題
減少對標注的依賴對醫療影像很重要。前年發表在science，是怎麼回事呢？通俗的講：你能不能先學會一個概念，比如說怎麼寫字。不是給你一大堆東西，你就照著弄，而是你先學會寫字這個概念。你學會了以後，給你看一個樣子，它馬上就學會了。我們在醫療影像上由於資料量比較小，以後真能用的可能是類似這樣的：比如說你先學會了怎麼看片，到了一個醫院以後，給你看幾個例子，大概這一類就學會了，這樣比較現實。
3．可解釋的機器學習
另外一個就是可解釋的機器學習。因為很大一個問題：機器學習如果是黑箱的話，你不知道他學習什麼。
上圖是很有名的例子，用深度學習的方法，將左圖與右圖組合起來，用右邊的風格畫左邊這張畫。然後問你，這是什麼？我相信有人可能會說這是一個帆船，絕對不會說這是一個豹子，但是神經元網路說這是豹子，認為是船的概率為零。為什麼？現在的卷積網路，他其實更關心概率分佈，更關心紋路。
怎麼辦？有點像我們下圍棋，你必須要有直覺。一些基礎功能怎麼去檢測，這些深度學習可以幫你。同時你要有推理過程，基於概率等等。這樣算是一個完整系統，跟人的思考方式是一樣的。
4．多態融合和複雜決策
最後比較有意思的是，我們需要多模態的融合和複雜決策。我也看到一些希望，最近一篇文章通過比較挖掘電子病歷，用機器學習的方法可以較好的預測心臟病發作，所以在未來我們有辦法把各個成像模式跟電子病歷的融合。
5．硬體加速和清華腦類計算研究中心
硬體加速也非常重要，清華類腦計算中心有非常多研究，包括張鈸院士，有一整套解決方法，從演算法到硬體我們都希望跟大家合作。
後臺回復關鍵字“清華大資料”
更多精彩乾貨內容，敬請搜索關注清華-青島資料科學研究院官方公眾平臺“資料派THU”