獨家｜類腦計算在醫療圖像上的應用（附PPT下載）
本文長度為2517字，建議閱讀4分鐘
本文為你分享“類腦計算在醫療圖像上的應用”的講座精華。
［ 導讀 ］本文整理自2017年7月3日，清華大學生物醫學工程系教授宋森在清華-青島資料科學研究院，
後臺回復關鍵字“清華大資料”
一、類腦人工智慧與深度學習
1．類腦人工智慧
類腦人工智慧，
2．深度學習
大家聽的比較多的所謂深度學習，
3．深度學習的歷史
最近深度學習有比較大突破，在醫療圖像裡面也有很大進展。大資料和計算能力的提升，使得這種受大腦啟發的演算法總算能夠和現實應用結合起來。
這幾年機器學習的主要的區別是什麼？傳統上做機器學習，是先要用人工去提取一些特徵，然後通常會訓練一個比較簡單的分類器。這幾年的區別就是開始能夠做自動特徵提取。
具體來說，深度學習自動特徵提取這一部分是把它分成了很多層。
大家可能知道深度學習突破是2012年。
二、深度學習應用到醫療圖像領域
1．皮膚癌診斷
皮膚癌診斷跟這類演算法很像，給一個標籤看它能不能做？取得了很大成功。但是，如果把深度學習的方法應用到醫療上，很多情況下不是這麼直接就能用過去的，還是有些特殊性。
2．深度學習應用到生物圖像
這是我做博士後期間我們開始進行的嘗試，神經元圖片想把它變成右邊這樣，然後就能分型研究，本質是一個分割問題。
我們開始了一個合作專案，能不能通過對形態學進行描述，把這個視網膜類神經元搞清楚。
為什麼困難？它難的地方在哪裡?主要是因為成像的原因，有時候會斷開，有時候會連起來。
一開始我花了一年時間，嘗試傳統方法，但效果不好，後來我博士後的導師說我們要不要試試卷積神經網路，雖然這個方法當時名聲很差。於是我們就開始用這個方法做端到端的訓練。這個方法現在叫深度學習。
最後突破是什麼呢？我們後來搞明白了，你要從剛才圖片照片直接變成一個細化的結構很難，如果你看傳統演算法設計上，它其實把它變成類似於中間這樣一個圖片，然後再把它一層一層剝掉，剝的這個過程用深度學習不是很好做。它是多步運算，所以我們其實主要是把深度學習來做一件它並不適合的事情，就很難。
其實我們真正需要的就是把那些中斷點連起來，所以我們就把原圖進行二值化，人工把那些斷的點全連起來。這張圖其實跟原圖長得很像。所以在做一個問題之前，你得搞清楚深度學習擅長什麼，不擅長什麼。
三、注意力神經元網路
1．注意力神經元網路研究
我回到清華以後， 2014年跟微軟研究院的張錚老師合作，提出了一個叫注意力的神經網路。總的來說，是受神經科學的啟發，我們認為以前的神經元模型太簡單了。神經元可以看到它有兩種因素，它會把兩種因素乘起來，現在叫注意力機制，目前這類演算法在深度學習裡面得到了廣泛應用。
2．圖像預測
我們的兩位學生，受張鈸院士的指導。
要根據這個圖像預測一年以後的發病率。要怎麼弄呢？你要仔細想一想人是怎麼做的。人會先看到一些可疑的地方。
第一步把這些可疑的地方找出來，找的過程中我們就用了類似於注意力機制，把兩組輸入整合的機制。（上圖中的R）
在這個基礎上就選出五個可能的病灶地方，再用概率的方法整合起來預測發病率。這個概率的方法是很關鍵的，減少了過擬合的可能。
3．類腦計算
清華有類腦計算研究中心，我們的目的是慢慢邁向通用人工智慧，是跨學科領域的一個中心。
四、對未來的展望
1．對未來的展望
對於醫學影像來說，人工智慧有幾個方向很重要：
第一個是醫學影像確實是個小資料問題，不可能像網路圖片是海量的，成百萬上千萬的。醫學影像涉及到幾千例、幾萬例就不得了，所以要把每一張圖片價值化。通過適合小資料的演算法，把這些圖像裡面的價值放大。這是我們研究上很重要的一點。
第二個是需要有可解釋的機器學習。如果只是一個黑箱子出來是不夠的，中間不知是什麼。在上面肺癌的例子裡，我們先發現可能的病灶，然後再判斷，找出一些特徵，這樣對醫生會有幫助。
第三個就是需要多模態的融合，以及可能跟基因、病歷等這些融合。
2．小樣本問題
減少對標注的依賴對醫療影像很重要。前年發表在science，是怎麼回事呢？通俗的講：你能不能先學會一個概念，比如說怎麼寫字。不是給你一大堆東西，你就照著弄，而是你先學會寫字這個概念。你學會了以後，給你看一個樣子，它馬上就學會了。我們在醫療影像上由於資料量比較小，以後真能用的可能是類似這樣的：比如說你先學會了怎麼看片，到了一個醫院以後，給你看幾個例子，大概這一類就學會了，這樣比較現實。
3．可解釋的機器學習
另外一個就是可解釋的機器學習。因為很大一個問題：機器學習如果是黑箱的話，你不知道他學習什麼。
上圖是很有名的例子，用深度學習的方法，將左圖與右圖組合起來，用右邊的風格畫左邊這張畫。然後問你，這是什麼？我相信有人可能會說這是一個帆船，絕對不會說這是一個豹子，但是神經元網路說這是豹子，認為是船的概率為零。為什麼？現在的卷積網路，他其實更關心概率分佈，更關心紋路。
怎麼辦？有點像我們下圍棋，你必須要有直覺。一些基礎功能怎麼去檢測，這些深度學習可以幫你。同時你要有推理過程，基於概率等等。這樣算是一個完整系統，跟人的思考方式是一樣的。
4．多態融合和複雜決策
最後比較有意思的是，我們需要多模態的融合和複雜決策。我也看到一些希望，最近一篇文章通過比較挖掘電子病歷，用機器學習的方法可以較好的預測心臟病發作，所以在未來我們有辦法把各個成像模式跟電子病歷的融合。
5．硬體加速和清華腦類計算研究中心
硬體加速也非常重要，清華類腦計算中心有非常多研究，包括張鈸院士，有一整套解決方法，從演算法到硬體我們都希望跟大家合作。
後臺回復關鍵字“清華大資料”
更多精彩乾貨內容，敬請搜索關注清華-青島資料科學研究院官方公眾平臺“資料派THU”
皮膚癌診斷跟這類演算法很像，給一個標籤看它能不能做？取得了很大成功。但是，如果把深度學習的方法應用到醫療上，很多情況下不是這麼直接就能用過去的，還是有些特殊性。
2．深度學習應用到生物圖像
這是我做博士後期間我們開始進行的嘗試，神經元圖片想把它變成右邊這樣，然後就能分型研究，本質是一個分割問題。
我們開始了一個合作專案，能不能通過對形態學進行描述，把這個視網膜類神經元搞清楚。
為什麼困難？它難的地方在哪裡?主要是因為成像的原因，有時候會斷開，有時候會連起來。
一開始我花了一年時間，嘗試傳統方法，但效果不好，後來我博士後的導師說我們要不要試試卷積神經網路，雖然這個方法當時名聲很差。於是我們就開始用這個方法做端到端的訓練。這個方法現在叫深度學習。
最後突破是什麼呢？我們後來搞明白了，你要從剛才圖片照片直接變成一個細化的結構很難，如果你看傳統演算法設計上，它其實把它變成類似於中間這樣一個圖片，然後再把它一層一層剝掉，剝的這個過程用深度學習不是很好做。它是多步運算，所以我們其實主要是把深度學習來做一件它並不適合的事情，就很難。
其實我們真正需要的就是把那些中斷點連起來，所以我們就把原圖進行二值化，人工把那些斷的點全連起來。這張圖其實跟原圖長得很像。所以在做一個問題之前，你得搞清楚深度學習擅長什麼，不擅長什麼。
三、注意力神經元網路
1．注意力神經元網路研究
我回到清華以後， 2014年跟微軟研究院的張錚老師合作，提出了一個叫注意力的神經網路。總的來說，是受神經科學的啟發，我們認為以前的神經元模型太簡單了。神經元可以看到它有兩種因素，它會把兩種因素乘起來，現在叫注意力機制，目前這類演算法在深度學習裡面得到了廣泛應用。
2．圖像預測
我們的兩位學生，受張鈸院士的指導。
要根據這個圖像預測一年以後的發病率。要怎麼弄呢？你要仔細想一想人是怎麼做的。人會先看到一些可疑的地方。
第一步把這些可疑的地方找出來，找的過程中我們就用了類似於注意力機制，把兩組輸入整合的機制。（上圖中的R）
在這個基礎上就選出五個可能的病灶地方，再用概率的方法整合起來預測發病率。這個概率的方法是很關鍵的，減少了過擬合的可能。
3．類腦計算
清華有類腦計算研究中心，我們的目的是慢慢邁向通用人工智慧，是跨學科領域的一個中心。
四、對未來的展望
1．對未來的展望
對於醫學影像來說，人工智慧有幾個方向很重要：
第一個是醫學影像確實是個小資料問題，不可能像網路圖片是海量的，成百萬上千萬的。醫學影像涉及到幾千例、幾萬例就不得了，所以要把每一張圖片價值化。通過適合小資料的演算法，把這些圖像裡面的價值放大。這是我們研究上很重要的一點。
第二個是需要有可解釋的機器學習。如果只是一個黑箱子出來是不夠的，中間不知是什麼。在上面肺癌的例子裡，我們先發現可能的病灶，然後再判斷，找出一些特徵，這樣對醫生會有幫助。
第三個就是需要多模態的融合，以及可能跟基因、病歷等這些融合。
2．小樣本問題
減少對標注的依賴對醫療影像很重要。前年發表在science，是怎麼回事呢？通俗的講：你能不能先學會一個概念，比如說怎麼寫字。不是給你一大堆東西，你就照著弄，而是你先學會寫字這個概念。你學會了以後，給你看一個樣子，它馬上就學會了。我們在醫療影像上由於資料量比較小，以後真能用的可能是類似這樣的：比如說你先學會了怎麼看片，到了一個醫院以後，給你看幾個例子，大概這一類就學會了，這樣比較現實。
3．可解釋的機器學習
另外一個就是可解釋的機器學習。因為很大一個問題：機器學習如果是黑箱的話，你不知道他學習什麼。
上圖是很有名的例子，用深度學習的方法，將左圖與右圖組合起來，用右邊的風格畫左邊這張畫。然後問你，這是什麼？我相信有人可能會說這是一個帆船，絕對不會說這是一個豹子，但是神經元網路說這是豹子，認為是船的概率為零。為什麼？現在的卷積網路，他其實更關心概率分佈，更關心紋路。
怎麼辦？有點像我們下圍棋，你必須要有直覺。一些基礎功能怎麼去檢測，這些深度學習可以幫你。同時你要有推理過程，基於概率等等。這樣算是一個完整系統，跟人的思考方式是一樣的。
4．多態融合和複雜決策
最後比較有意思的是，我們需要多模態的融合和複雜決策。我也看到一些希望，最近一篇文章通過比較挖掘電子病歷，用機器學習的方法可以較好的預測心臟病發作，所以在未來我們有辦法把各個成像模式跟電子病歷的融合。
5．硬體加速和清華腦類計算研究中心
硬體加速也非常重要，清華類腦計算中心有非常多研究，包括張鈸院士，有一整套解決方法，從演算法到硬體我們都希望跟大家合作。
後臺回復關鍵字“清華大資料”
更多精彩乾貨內容，敬請搜索關注清華-青島資料科學研究院官方公眾平臺“資料派THU”