華文網

蒲慕明:中國腦計畫與中國神經科學的未來|NSR專欄

撰文 | 王 玲(《國家科學評論》特約撰稿人)

翻譯 | 徐 達

責編 | 陳曉雪

知識份子為更好的智趣生活 ID:The-Intellectual

● ● ●

在中國政府即將啟動的幾個前沿科技專案中,中國腦計畫(腦科學與類腦科學研究計畫)吸引了公眾的許多關注。中科院神經科學研究所所長、腦科學與智慧技術卓越創新中心主任、《國家科學評論》執行主編蒲慕明,在中國腦計畫中起著運籌帷幄的關鍵作用。在《國家科學評論》最近的一次採訪中,蒲慕明表達了他對中國腦計畫的目標與內容,

以及神經科學未來發展的一些看法。在他長達40多年的研究生涯中,蒲慕明在神經科學的多個領域中都做出了卓越的貢獻。他在採訪中回憶並分享了自己的職業生涯以及他在建設中國神經科學研究機構中的經驗與想法。

中國腦計畫

NSR:新聞媒體已經報導了中國腦計畫即將啟動的消息,能給我們介紹一下這個計畫嗎?

蒲慕明:中國腦計畫是在全球興起的大型腦科學計畫潮流中,

繼歐盟的人類腦計畫、美國的大腦計畫以及日本的腦/思維計畫後的又一重要腦計畫專案。與其他的腦計畫專案相比,中國腦計畫在本質上更加廣泛,它包括對於認知功能的神經基礎進行探索的基礎研究,也包括建立腦疾病診斷與干預方法的應用研究,還包括用腦科學來啟發計算方法與設備的開發。中國腦計畫的目標在於推動我們對大腦基本規律的理解,
同時利用神經科學的基礎研究成果來滿足一些緊迫的社會需求,比如人民腦健康的改善與新技術的發展。

NSR:其他大型腦科學專案的目標似乎也都類似?中國腦計畫有哪些獨特之處?

蒲慕明:儘管所有這些專案都有著類似的長期目標,但中國腦計畫有著一些獨特的亮點。第一,中國腦計畫把腦疾病和腦啟發的人工智慧(AI)放在特別優先的位置,而不是作為在我們更加完整地理解腦之後的長期目標。

實際上,神經科學已經可以為這兩個領域帶來有用的貢獻。第二,中國的各種腦疾病人數是世界上最多的,這使得對於腦疾病的預防、早期診斷和早期干預的研究尤其緊迫,同時也為研究提供了最大的資料支撐。第三,現在國際上的神經科學研究團體大多以齧齒類(小鼠和大鼠)作為動物模型研究生理條件和病理條件下腦功能的神經機制。
這是因為齧齒類研究的實驗手段已經高度發展,並且很多神經環路機制可能在齧齒類與人類之間是保守的。然而,現在人們愈加發現要想理解人類的高等認知功能(如思維和意識),以及腦疾病(特別是精神疾病),非人靈長類可能是更合適的實驗動物模型。中國有著豐富的獼猴資源,並且在用獼猴建立人類疾病模型的研究上快速發展。這使得中國在研究高級認知功能,如共情、意識和語言,以及腦疾病的病理機制和干預手段方面,可能做出獨特的貢獻。

►蒲慕明,中科院神經科學研究所所長、腦科學與智慧技術卓越創新中心主任、《國家科學評論》執行主編。

腦圖譜與連接組

NSR:“腦圖譜”這一名詞經常出現在新聞標題中。什麼是腦圖譜?

蒲慕明:要理解腦是怎樣工作的,我們需要三種圖譜:一是“細胞類型圖譜”,也就是說要鑒定各種細胞(神經元和膠質細胞)並確定它們在腦中各個區域的分佈,以及每種細胞類型的分子表達模式。通過把不同細胞類型中特異性表達的分子作為標誌物,我們就可以繪製第二種圖譜——“連接圖譜”(也就是所謂的“連接組”),連接圖譜是表示腦中所有神經元相互之間連接關係的圖譜。“連接組”的繪製經常被拿來與對生物體中所有基因進行測序的項目——“基因組”繪製相比較。三是“活動圖譜”,它指的是表示腦中與特定狀態相聯繫的所有神經元的放電模式的圖譜。只有當“連接組”的資訊與“細胞類型圖譜”和“活動圖譜”的資訊相結合,我們才能夠充分理解腦功能的神經環路基礎。實際上,我認為細胞類型圖譜將會先于或同時於連接圖譜,在不久的將來完成。

NSR:似乎已經有新聞報導說“人類腦連接組”已經完成?

蒲慕明:我所說的“連接組”是指空間解析度達到個體神經元水準的腦中神經元之間連接的圖譜。這種“介觀”或者“微觀”層面的連接組能夠在最大程度上推動我們對於腦中神經網路的理解。世界上只有少數幾個實驗室已經開始嘗試繪製脊椎動物的此種連接組。

“連接組”這個詞也被寬泛地用在人類腦成像領域,這使得新聞媒體以及大眾產生了混淆。磁共振成像(MRI)通過使用一種稱作彌散張量成像(DTI)的方法可以提供“宏觀層面的連接組”。MRI可以檢測質子在神經纖維束中沿不同方向擴散的差異,並由此推斷出大型神經纖維束(包含由多種神經元組成的至少上千條軸突纖維)的空間分佈。但是這種DTI探測方法依賴於分析中所使用的數學模型,而由DTI推斷出的神經纖維束與實際神經連接之間的相關性還需要進一步的證明和確認。另一種宏觀的連接組常常被稱為“功能連接組”,這是一個有些誤導的詞語。功能連接組實際上是指不同腦區之間電活動的相關性,血氧水準可以作為指標來衡量幾秒內神經活動的平均水準。有較強神經活動相關性的腦區被認為在“功能上”連接更加緊密,但事實上,直接或間接的神經連接都可以引發弱相關性的神經活動,而這些弱相關性神經活動也可以反映興奮性神經元和抑制性神經元的平均活動。

宏觀人腦成像的空間解析度很低,只有毫米量級。它可以用來確定腦的粗糙結構和功能改變,但不能用於理解神經環路的結構和功能。CT、MRI和PET等腦成像方法在臨床診斷中發揮重要作用,而對MRI信號與神經環路結構與功能之間聯繫更加深入的理解,可以幫助我們更好地利用MRI技術。獼猴在解剖上與人類相似,可以幫助我們建立起宏觀腦成像資料與介觀神經環路資料之間的聯繫。

NSR:如果我們得到了一個人的腦神經活動圖譜,就能夠知道他/她在想什麼嗎?

蒲慕明:腦活動是高度動態化的,並且在執行工作甚至靜息狀態下都會有持續的變化,因此繪製活體腦中的即時神經活動並理解其含義是極度困難的;現在這件事只在有著透明腦的小型動物,如線蟲和斑馬魚幼體中才行得通。但是,理解腦的活動對於我們破譯產生各種功能的神經環路的運行規則是至關重要的。“思考”包括了散佈在多個腦區的大群神經元的活動。為了理解我在想什麼,你需要觀察並理解我腦中至少數以百萬計的神經元的動態活動模式。我不確定我們能否在可預見的未來中做到這一點。

神經科學的未來

NSR:我們對腦真正瞭解多少?

蒲慕明:人腦大概是地球上最複雜的物體,它包括至少一千億個各種類型的神經元,以及由1015個連接構成的複雜神經網路。上個世紀,在從細胞和分子水準上理解神經細胞方面,我們取得了很大的進展,大致理解了在神經系統中攜帶資訊的電信號是怎樣由神經元產生和加工的,不同類型的感覺資訊是如何編碼、如何經過突觸由一個神經元傳遞給另一個神經元的,以及突觸是怎樣改變其傳遞效率與結構來“記憶”之前發生的神經活動,也就是過去的經驗的。

人們在理解視覺、聽覺、嗅覺等感覺信號加工的神經環路機制上也取得了不錯的進展,但我們對於複雜功能,如學習、記憶、注意、決策,還知之甚少,更不用說共情、自我意識、思考和語言了。語言是人類特有的能力,我認為對於語言加工背後的神經環路機制的理解是神經科學最重要的目標之一。由腦損傷導致的語言障礙為研究語言的神經機制提供了有價值的線索,但由於我們只能採用非侵入式實驗手段來研究人腦,想要對語言進行深入研究是十分困難的。

NSR:那麼“意識”呢?當我意識到我正在進行採訪,我的腦中發生了什麼?

蒲慕明:在我看來,意識只是腦的一種特定狀態,是多個腦區電活動的產物。當你考慮你自身以及你與外界的互動時,這種狀態就會產生。當我們睡著或接受全身麻醉時,這種狀態會暫時消失,而當腦遭受嚴重損傷後進入植物人狀態時,將會不可逆地失去“意識”。意識是可以科學地研究的,法國科學家Stanislas Dehaene等人的開創性研究表明,“意識狀態”涉及到許多不直接接受感覺輸入的腦區的活動。這與思考等其他高級認知功能是相似的。如果我讓你閉上眼思考“國家科學評論”的意義,功能MRI和PET成像會顯示你腦中的許多區域是活躍的,包括大腦皮層中的大部分區域。當我們能夠清楚知道哪些神經環路參與了意識相關腦狀態的產生,以及它們是怎樣被啟動和調控時,神經科學在理解意識上面的工作將在很大程度上完成。

NSR:神經科學研究的未來趨勢是什麼?

蒲慕明:上個世紀,神經科學在宏觀和微觀層面上取得了很大的進展。在宏觀層面,我們現在對於哪些腦區參與腦的哪些功能以及它們的協調活動如何產生動物行為有了很清楚的瞭解。在微觀尺度,我們對於神經元是怎樣產生、傳遞和加工神經信號也有了很清楚的瞭解。但是,在我們的宏觀認識和微觀認識中間有一條鴻溝:對於腦中由大量神經元形成的複雜神經環路是如何加工神經資訊的,我們仍然知之甚少。未來神經科學的重要任務是理解神經環路結構以及它們執行各種腦功能時的活動規律。

NSR:你認為我們什麼時候能解開人腦的所有奧秘?

蒲慕明:就像我們探索外部宇宙的奧秘一樣,對於“內部宇宙”——我們的腦的探索也幾乎是沒有止境的。這並非是因為這些奧秘是超自然的,不依賴於腦的物質構造的,而是緣于許多人類行為,如“自由意志”,背後的神經結構的複雜性。這意味著我們所要理解的是一種因人而異的自然現象。一些心理學家認為他們已經對人類的行為瞭解得很清楚了,不需要去打開腦這個黑箱。但是對和我一樣的神經科學家來說,如果不知道這些行為現象是如何由大腦產生,不知道神經環路是怎樣產生行為的,那麼我們的理解就是不完整的。還原論方法已經在物理和化學領域取得了豐碩的成果,它也同樣應當適用於神經科學。

神經科學的最終發展將會遠超我們的想像,這是因為我們所擁有的技術,還遠遠不能以足夠高的時間和空間解析度來觀察運轉中的活體大腦,更不用說分析與理解大量神經元的活動了。現在神經科學的發展階段最多相當於19世紀末的物理和化學。關鍵的概念和技術上的突破還沒有出現,這也是使神經科學如此吸引年輕人的原因,這裡還有太多等待他們前來探索和解決的問題。

NSR:神經科學面臨的最大挑戰是什麼?

蒲慕明:在接下來的十年中,有兩大挑戰:一是以單個神經元和神經纖維解析度來同時觀察活體腦中一大群神經元的活動;二是對實驗中記錄到的,反映特定認知過程中神經元動態活動的極大量資料進行分析和解讀。

神經科學與人工智慧

NSR:腦啟發的人工智慧最近成為了熱門話題,你認為神經科學會以什麼方式對人工智慧產生貢獻?

蒲慕明:人工智慧是一個重要領域,它正推動著許多新技術的產生。人工智慧的核心是機器學習,驅動AlphaGo戰勝李世石的強大深度神經網路(DNN)就屬於機器學習的範圍。我們現在應用的AI大多被設計用來執行特定任務,而機器學習演算法需要大量的資料集和強大的運算能力,才能獲得執行圖像分類、下棋等任務的能力。相較而言,人腦更擅長處理多工,快速實現多感覺整合,歸納以及決策,而且只需要非常低的能耗。

NSR:為什麼腦的效率比人工神經網路高這麼多?

蒲慕明:這是因為腦中神經網路的複雜架構(連接模式)是在長時間的學習中塑造的,從我們剛生下來,我們生命中每時每刻的經驗都在塑造我們的腦。實際上,利用極大資料集對腦架構進行的研究已經開始,流過神經網路的所有資訊都在不停地塑造著腦神經連接,改變著連接強度,也改變著連接的物理結構。而現在的機器學習卻只考慮了連接強度的改變。

NSR:AI怎樣向腦學習呢?

蒲慕明:機器學習網路的架構應該也可以像腦網路一樣被學習塑造。此外,機器學習網路還可以借鑒腦中的許多其他特性。這些特性都是在進化中逐漸優化,適用於資訊加工的。例如,可以對信號做不同處理(興奮性、抑制性,以及它們的不同亞型)的多種處理單元(神經元)的同時存在是很有必要的。單元之間的連接也可以是多樣化的,不但可以前饋,也可以有回饋和側向連接。網路中資訊存儲的方式也可以是非常高效和通用的:資訊就存儲在加工資訊的連接中,根據資訊流的特點可選擇短期存儲或長期存儲;如果沒有進一步鞏固,這種存儲則會衰減。使用脈衝信號與延時傳遞來編碼時間資訊也是非常重要的。脈衝神經網路(SNN)現在已經被用於機器學習,如果它能吸取腦神經網路中突觸的依賴脈衝時序的可塑性(STDP)等眾多特性,是一種更加自然的網路。

NSR:很多人認為類腦人工智慧是危險的,類人機器人會取代我們的工作甚至會統治和奴役人類。你怎樣認為?

蒲慕明:現在,很多人不是已經成為高科技的奴隸了嗎?我知道有不少人離不開手機,而且無論何時何地都聽它指揮。但我不認為AI在本質上是危險的。當然,科技是把雙刃劍——核技術既能發電也能毀滅我們。如果我們有信心,相信社會能夠建立有效的機制來確保這些技術只被應用于對我們有益的方面,那我們就無需擔心AI。從20世紀50年代開始,很多人一直對原子彈的製造心存恐懼,認為人類將會很快經歷毀滅性的核災難。但是我們現在活得挺好,不是嗎?我認為答案在於我們是否對人性以及社會的自我調控能力抱有積極態度。

NSR:你現在是中國科學院腦科學與智慧技術卓越創新中心(CEBSIT)的主任,這個中心是做什麼的呢?

蒲慕明:人們已經逐漸認識到,腦科學與腦啟發的計算技術有很多可以互相學習的地方。這個中心是中科院2014年建立的首批四個卓越創新中心之一。它是一個跨學科的,多機構組成的中心,旨在通過形成合作的研究團隊來加強中科院現有的研究力量,以解決腦科學與包括腦啟發的計算方法和設備在內的智慧技術上的主要前沿問題。

NSR:它是一個多實驗室組成的聯合體嗎?它是怎樣運作的?

蒲慕明:它遠遠不只是實驗室之間的鬆散聯合,CEBSIT要求各實驗室將主要研究精力投入到中心的聯合項目中來。依據CEBSIT、研究者及其所在研究機構簽訂的三方協定,研究者所在機構將會支持研究者進行CEBSIT相關的研究活動,而研究者在CEBSIT項目中做出的科學貢獻也會被納入各機構的考評體系。中心還將負責有效地組織和協調團隊合作以承擔大型國家研究計畫,其中就包括中國腦計畫。此外,它也是中科院研究機構設置改革的一個探索,中科院希望此類中心可以改善各研究所研究項目的重複性與碎片化現狀。

NSR:腦科學和智慧技術是兩個分開的學科,兩個領域中的研究者能夠很好的交流嗎?

蒲慕明:這確實是一個關鍵問題。在兩個學科中間有著以不同的科研訓練、語言以及文化造成的隔閡,但是回顧人工神經網路的歷史,幾個基本的神經科學概念,如連接權重的改變,Hebb規則,多層結構以及迴圈連接,都曾為機器學習帶來了巨大的活力。我們相信當兩個學科的研究者真正在一起工作時,一定會產生新的火花。我們中心就是要努力成為一個可以促成此種交流的研究平臺。

“高影響力”論文,創新,與中國科學的未來

NSR:1984年清華大學生物系複建,你參與其中。1999年中科院神經科學研究所創立,你又是其中的主導者,並擔任第一任所長。可以談一談過去三十年中,你在中國的工作嗎?

蒲慕明:在20世紀80年代,中國還沒有能力為生物學的基礎研究提供足夠支持,所以在清華生物系複建時,我們主要目標是建立一個高品質的教學體系。到90年代末,政府開始大規模投資基礎研究,那時創建的神經所才能夠有足夠的資金來進行基礎研究,中國的神經科學家才開始在國際舞臺上做出高水準貢獻。但直到大概10年前,當中國的研究環境逐漸發展,開始吸引越來越多在國外接受過訓練的年輕科學家回國發展,神經所才真正開始快速發展。年輕海歸的回國熱潮使包括神經所在內的中國基礎研究機構快速擴張,並且在國際期刊上發表的文章也得到了快速增長。但這種增長是以文章數量而不是品質來進行衡量的,並且只有少數實驗室能在自己的領域中處於國際領先地位。這是一個嚴峻的問題,我們的每個實驗室都得到了政府的大量資助,但與科技發達國家相比,具有國際影響力的高水準論文卻相當少。

NSR:研究成果品質和影響力的評價標準是什麼?可否依據發表在高影響因數期刊上的論文數量?

蒲慕明:論文數量和影響因數確實是基礎科學領域中最直接的國際性評價標準。但是我要指出,這個標準存在一系列問題。首先,發表在這些高影響因數期刊上的很多文章實際上並不具有高的影響力。這是因為很多高影響因數期刊趨向於發表熱門領域的文章。這些熱門領域的開創性文章確實具有高影響力,但這些領域中後期發表的文章,雖然其真正影響力通常較低,卻也很容易被大量引用,這些文章又反過來推高了期刊的影響因數。由於全世界的研究機構都過於看重發表在這些期刊上的論文,在這些期刊上發表文章就變得越來越難,為發表而產生的不合理競爭也開始出現。為了使各級考評中的評審者滿意,許多年輕科學家都為在高影響因數期刊上發表文章花費了太多精力,也承受著巨大的壓力,然而事實上,很多作為評審者的科學家本身,也很難在這些期刊上發表論文。許多有天分的年輕科學家,特別是生命科學領域的年輕科學家,正遭受著“高影響因數期刊”和“研究機構要求”的雙重詛咒。

NSR:有沒有替代的方式?怎樣不通過發表高影響因數論文而具有影響力?

蒲慕明:歸根結底,創新的科學成果一定會產生影響力。創新的本質是不循規蹈矩。為了在這些所謂的高影響因數期刊上發表文章,大多數情況下你不僅需要遵守嚴格的資料獲取、分析和解釋的標準,而且需要遵循被同行廣泛接受的範式與思想。但是,創新的科學常常需要打破領域中的既有範式。我們需要為打破常規的科學思想提供可以蓬勃發展的科研制度與研究氛圍。當我們評價科學家時,我們不僅僅要考慮他們在高影響因數期刊上發表了多少論文,還要考慮他們研究的創造性與新穎性。大多數中國研究機構還沒有做到這一點。我們的科學共同體仍然太年輕,中國的大部分研究機構缺少進行創新性科學研究的傳統。畢竟,中國基礎研究得到大力支持的時間其實只有二十年。

NSR:你指出了中國科學面臨的問題。能提出一個具體的分階段方案來解決這些問題嗎?

蒲慕明:我還無法給出一個快速的解決方案。如果我們都承認這些問題需要解決,那麼我們就應該為解決問題而共同努力。例如,為了打破高級別期刊的“詛咒”,我們可以建立新的出版途徑,來發表那些可能不被高影響因數雜誌接受的創新性研究成果,並建立新的、重視研究原創性的評價標準。我們現在已經開始在NSR上發表原始研究論文。我們希望NSR發表的研究成果在滿足嚴格科學標準的同時,可以不一定符合領域內的主流範式。其中的一些成果最終將會獲得高影響力。

NSR:你覺得中國科學需要多久才能達到世界一流,與發達國家平分秋色?

蒲慕明:在一些科學領域,中國已經能夠或者即將能夠做到這一點。但對於其他的許多領域,我們還有很長的路要走。但是,考慮到在漫長的人類歷史中,中國的發展道路一直不同於西方國家,並且形成了獨特的文化和價值觀,未來的中國科學也可能會沿著一條與西方國家不同的道路來發展。我以為,未來的中國科學不會止步於“與西方國家平分秋色”。作為世界上人口最多的國家,中國具有悠久的知識傳統,隨著全球影響力的不斷增強,中國科學將可以在世界上具有獨一無二的獨特影響力。

NSR:能解釋一下“中國科學獨特影響力”的來源嗎?

蒲慕明:這種獨特性可以來自很多方面。例如,中國或其他發展中國家可以利用西方科學界不具備的資源,來解決一些西方科學家不會去關注的科學問題。在我所在的神經科學領域,由於我們有非人靈長類(如獼猴)的獨特資源作為實驗動物模型,中國神經科學在破譯靈長類(包括人類)特有的高級認知功能的神經基礎上是獨一無二的。中國擁有巨大的腦疾病患病人群,在政府大力支持中國腦計畫的前提下,中國科學家將可能建立起對於幾種主要腦疾病的有效早期診斷和早期干預方法——這是全世界神經科學家為之努力,但始終沒能取得實質性進展的艱巨任務。在其他領域也存在類似機遇,例如,中國的環境科學家可以通過有效地解決發展中國家人口密集城市的污染問題,來為世界做出獨特的貢獻。

從物理學到神經科學

NSR:你出身於物理專業,又是怎樣成為一名神經科學家的?

蒲慕明:我在臺灣清華大學學習物理學,後來加入了約翰霍普金斯大學的物理研究生專案,但我一直對生物學感興趣。1968年,我在詹姆斯·沃森的《雙螺旋》剛出版時就讀了這本書,並對書中講述的一個事實十分著迷:一個生物物理學方法,X射線晶體學,解決了生物學中最重要的問題之一——基因複製的機制。在霍普金斯,我足夠幸運地進入了傑出生物物理學家Richard Cone的實驗室,並在他的指導下完成了我的博士學位論文研究。在那裡,我首次完成了對細胞膜蛋白擴散係數的定量測量。我對膜蛋白擴散的興趣又引領我開啟了對神經系統中突觸形成過程的研究:研究本應隨機擴散的膜蛋白是怎樣在突觸富集,並執行神經元間信號傳遞功能的。從生物物理學到神經生物學的轉型,在我看來,是順理成章的。

NSR:物理背景對你的神經科學研究有什麼幫助?

蒲慕明:作為一個物理系的學生,我比大多數的生物系學生學了更多的物理和數學。最明顯的優勢是,我不會被物理方法和數學分析嚇倒。在使用電生理方法時,我感到十分自如,而這一方法對於腦內信號加工的研究是至關重要的。另一方面,我的物理背景可能影響了我在神經科學領域中的研究興趣。面對多樣的生命現象,統一的規律更加吸引我。但我不會說這是一個優勢,因為生物學的本質就是多樣性,而理解這些多樣性是怎樣產生的是生物學的主要目標之一。

NSR:你對於神經科學最大的貢獻是什麼?

蒲慕明:在新穎性上,大概是發現了神經營養因數能夠增強突觸信號傳遞的效率。在影響力上,我認為是我對於STDP現象的貢獻。在1997-1998年,我和同事們精確地劃定一個時間視窗,在這個視窗中,突觸前和突觸後神經元的脈衝可以導致突觸傳遞效率的變化,而這種變化是學習和記憶的細胞基礎。我們發現如果突觸前的脈衝經常發生於突觸後脈衝之前大約20毫秒的時間視窗內,這個突觸的效率會增強;而如果突觸後脈衝先於突觸前脈衝,突觸的效率會減弱。現在,STDP被認為是突觸儲存記憶的最適“學習規則”。這一規則也已經開始被機器學習演算法所借鑒。

NSR:你現在的主要研究興趣是什麼?

蒲慕明:我在鼓勵並幫助年輕的神經科學研究者使用猴子作為實驗模型來理解高級認知功能。同理心、自我意識和語言的神經環路機制是神經科學中很重要的問題,我覺得現在是時候開始研究這些問題了。我現在自己並不做實驗,因為我在實驗室外還承擔著許多職責,但是我會經常和我的同事討論實驗設計、資料分析以及解釋。

NSR:你同時扮演著科學家、教育者和管理者等多種角色。你覺得哪種角色最富挑戰性?你最享受的又是哪種角色?

蒲慕明:要想做得好,每種角色都是非常有挑戰性的。在我的職業生涯中,我也在這三類工作中都獲得了很大的樂趣。樂趣常源于有成果,這意味著我在這幾種角色中都取得了一些成果。在我的職業生涯中,我絕大多數的時間是在做科學,但我會說這並不完全是由科學的挑戰性或我個人對科學的興趣所驅使的,而是由環境、機會以及我想讓自己對於社會更有用的願望驅動的。我在1976年完成博士後研究,申請的第一份工作是在聯合國教科文組織當工作人員,因為我當時認為我的背景適合在這個領域工作,但我沒能獲得面試機會。後來我在加利福尼亞大學歐文分校找了份教職。我過去以及現在都認為受過科研訓練的人除了做研究外,在其他領域也能做出巨大的貢獻。例如,我們的社會需要更多的接受過扎實科研訓練的管理者和新聞記者。我認為,我們應該訓練並鼓勵年輕人成為活 躍在其他領域中的具備科學素養的從業者,而不限於成為做研究的科學家。

英文原文2017年2月發表於《國家科學評論》(National Science Review, NSR),原標題為“Mu-ming Poo: China Brain Project and the future of Chinese neuroscience”。《國家科學評論》是科學出版社旗下期刊,與牛津大學出版社聯合出版。《知識份子》獲《國家科學評論》和牛津大學出版社授權刊發該文中文翻譯。

如需閱讀英文版,請點擊以下連結:https://doi.org/10.1093/nsr/nwx014

,或點擊文末“閱讀原文”可跳轉。

製版編輯:許逸|

本頁刊發內容未經書面許可禁止轉載及使用

公眾號、報刊等轉載請聯繫授權

copyright@zhishifenzi.com

知識份子為更好的智趣生活 ID:The-Intellectual

如共情、意識和語言,以及腦疾病的病理機制和干預手段方面,可能做出獨特的貢獻。

►蒲慕明,中科院神經科學研究所所長、腦科學與智慧技術卓越創新中心主任、《國家科學評論》執行主編。

腦圖譜與連接組

NSR:“腦圖譜”這一名詞經常出現在新聞標題中。什麼是腦圖譜?

蒲慕明:要理解腦是怎樣工作的,我們需要三種圖譜:一是“細胞類型圖譜”,也就是說要鑒定各種細胞(神經元和膠質細胞)並確定它們在腦中各個區域的分佈,以及每種細胞類型的分子表達模式。通過把不同細胞類型中特異性表達的分子作為標誌物,我們就可以繪製第二種圖譜——“連接圖譜”(也就是所謂的“連接組”),連接圖譜是表示腦中所有神經元相互之間連接關係的圖譜。“連接組”的繪製經常被拿來與對生物體中所有基因進行測序的項目——“基因組”繪製相比較。三是“活動圖譜”,它指的是表示腦中與特定狀態相聯繫的所有神經元的放電模式的圖譜。只有當“連接組”的資訊與“細胞類型圖譜”和“活動圖譜”的資訊相結合,我們才能夠充分理解腦功能的神經環路基礎。實際上,我認為細胞類型圖譜將會先于或同時於連接圖譜,在不久的將來完成。

NSR:似乎已經有新聞報導說“人類腦連接組”已經完成?

蒲慕明:我所說的“連接組”是指空間解析度達到個體神經元水準的腦中神經元之間連接的圖譜。這種“介觀”或者“微觀”層面的連接組能夠在最大程度上推動我們對於腦中神經網路的理解。世界上只有少數幾個實驗室已經開始嘗試繪製脊椎動物的此種連接組。

“連接組”這個詞也被寬泛地用在人類腦成像領域,這使得新聞媒體以及大眾產生了混淆。磁共振成像(MRI)通過使用一種稱作彌散張量成像(DTI)的方法可以提供“宏觀層面的連接組”。MRI可以檢測質子在神經纖維束中沿不同方向擴散的差異,並由此推斷出大型神經纖維束(包含由多種神經元組成的至少上千條軸突纖維)的空間分佈。但是這種DTI探測方法依賴於分析中所使用的數學模型,而由DTI推斷出的神經纖維束與實際神經連接之間的相關性還需要進一步的證明和確認。另一種宏觀的連接組常常被稱為“功能連接組”,這是一個有些誤導的詞語。功能連接組實際上是指不同腦區之間電活動的相關性,血氧水準可以作為指標來衡量幾秒內神經活動的平均水準。有較強神經活動相關性的腦區被認為在“功能上”連接更加緊密,但事實上,直接或間接的神經連接都可以引發弱相關性的神經活動,而這些弱相關性神經活動也可以反映興奮性神經元和抑制性神經元的平均活動。

宏觀人腦成像的空間解析度很低,只有毫米量級。它可以用來確定腦的粗糙結構和功能改變,但不能用於理解神經環路的結構和功能。CT、MRI和PET等腦成像方法在臨床診斷中發揮重要作用,而對MRI信號與神經環路結構與功能之間聯繫更加深入的理解,可以幫助我們更好地利用MRI技術。獼猴在解剖上與人類相似,可以幫助我們建立起宏觀腦成像資料與介觀神經環路資料之間的聯繫。

NSR:如果我們得到了一個人的腦神經活動圖譜,就能夠知道他/她在想什麼嗎?

蒲慕明:腦活動是高度動態化的,並且在執行工作甚至靜息狀態下都會有持續的變化,因此繪製活體腦中的即時神經活動並理解其含義是極度困難的;現在這件事只在有著透明腦的小型動物,如線蟲和斑馬魚幼體中才行得通。但是,理解腦的活動對於我們破譯產生各種功能的神經環路的運行規則是至關重要的。“思考”包括了散佈在多個腦區的大群神經元的活動。為了理解我在想什麼,你需要觀察並理解我腦中至少數以百萬計的神經元的動態活動模式。我不確定我們能否在可預見的未來中做到這一點。

神經科學的未來

NSR:我們對腦真正瞭解多少?

蒲慕明:人腦大概是地球上最複雜的物體,它包括至少一千億個各種類型的神經元,以及由1015個連接構成的複雜神經網路。上個世紀,在從細胞和分子水準上理解神經細胞方面,我們取得了很大的進展,大致理解了在神經系統中攜帶資訊的電信號是怎樣由神經元產生和加工的,不同類型的感覺資訊是如何編碼、如何經過突觸由一個神經元傳遞給另一個神經元的,以及突觸是怎樣改變其傳遞效率與結構來“記憶”之前發生的神經活動,也就是過去的經驗的。

人們在理解視覺、聽覺、嗅覺等感覺信號加工的神經環路機制上也取得了不錯的進展,但我們對於複雜功能,如學習、記憶、注意、決策,還知之甚少,更不用說共情、自我意識、思考和語言了。語言是人類特有的能力,我認為對於語言加工背後的神經環路機制的理解是神經科學最重要的目標之一。由腦損傷導致的語言障礙為研究語言的神經機制提供了有價值的線索,但由於我們只能採用非侵入式實驗手段來研究人腦,想要對語言進行深入研究是十分困難的。

NSR:那麼“意識”呢?當我意識到我正在進行採訪,我的腦中發生了什麼?

蒲慕明:在我看來,意識只是腦的一種特定狀態,是多個腦區電活動的產物。當你考慮你自身以及你與外界的互動時,這種狀態就會產生。當我們睡著或接受全身麻醉時,這種狀態會暫時消失,而當腦遭受嚴重損傷後進入植物人狀態時,將會不可逆地失去“意識”。意識是可以科學地研究的,法國科學家Stanislas Dehaene等人的開創性研究表明,“意識狀態”涉及到許多不直接接受感覺輸入的腦區的活動。這與思考等其他高級認知功能是相似的。如果我讓你閉上眼思考“國家科學評論”的意義,功能MRI和PET成像會顯示你腦中的許多區域是活躍的,包括大腦皮層中的大部分區域。當我們能夠清楚知道哪些神經環路參與了意識相關腦狀態的產生,以及它們是怎樣被啟動和調控時,神經科學在理解意識上面的工作將在很大程度上完成。

NSR:神經科學研究的未來趨勢是什麼?

蒲慕明:上個世紀,神經科學在宏觀和微觀層面上取得了很大的進展。在宏觀層面,我們現在對於哪些腦區參與腦的哪些功能以及它們的協調活動如何產生動物行為有了很清楚的瞭解。在微觀尺度,我們對於神經元是怎樣產生、傳遞和加工神經信號也有了很清楚的瞭解。但是,在我們的宏觀認識和微觀認識中間有一條鴻溝:對於腦中由大量神經元形成的複雜神經環路是如何加工神經資訊的,我們仍然知之甚少。未來神經科學的重要任務是理解神經環路結構以及它們執行各種腦功能時的活動規律。

NSR:你認為我們什麼時候能解開人腦的所有奧秘?

蒲慕明:就像我們探索外部宇宙的奧秘一樣,對於“內部宇宙”——我們的腦的探索也幾乎是沒有止境的。這並非是因為這些奧秘是超自然的,不依賴於腦的物質構造的,而是緣于許多人類行為,如“自由意志”,背後的神經結構的複雜性。這意味著我們所要理解的是一種因人而異的自然現象。一些心理學家認為他們已經對人類的行為瞭解得很清楚了,不需要去打開腦這個黑箱。但是對和我一樣的神經科學家來說,如果不知道這些行為現象是如何由大腦產生,不知道神經環路是怎樣產生行為的,那麼我們的理解就是不完整的。還原論方法已經在物理和化學領域取得了豐碩的成果,它也同樣應當適用於神經科學。

神經科學的最終發展將會遠超我們的想像,這是因為我們所擁有的技術,還遠遠不能以足夠高的時間和空間解析度來觀察運轉中的活體大腦,更不用說分析與理解大量神經元的活動了。現在神經科學的發展階段最多相當於19世紀末的物理和化學。關鍵的概念和技術上的突破還沒有出現,這也是使神經科學如此吸引年輕人的原因,這裡還有太多等待他們前來探索和解決的問題。

NSR:神經科學面臨的最大挑戰是什麼?

蒲慕明:在接下來的十年中,有兩大挑戰:一是以單個神經元和神經纖維解析度來同時觀察活體腦中一大群神經元的活動;二是對實驗中記錄到的,反映特定認知過程中神經元動態活動的極大量資料進行分析和解讀。

神經科學與人工智慧

NSR:腦啟發的人工智慧最近成為了熱門話題,你認為神經科學會以什麼方式對人工智慧產生貢獻?

蒲慕明:人工智慧是一個重要領域,它正推動著許多新技術的產生。人工智慧的核心是機器學習,驅動AlphaGo戰勝李世石的強大深度神經網路(DNN)就屬於機器學習的範圍。我們現在應用的AI大多被設計用來執行特定任務,而機器學習演算法需要大量的資料集和強大的運算能力,才能獲得執行圖像分類、下棋等任務的能力。相較而言,人腦更擅長處理多工,快速實現多感覺整合,歸納以及決策,而且只需要非常低的能耗。

NSR:為什麼腦的效率比人工神經網路高這麼多?

蒲慕明:這是因為腦中神經網路的複雜架構(連接模式)是在長時間的學習中塑造的,從我們剛生下來,我們生命中每時每刻的經驗都在塑造我們的腦。實際上,利用極大資料集對腦架構進行的研究已經開始,流過神經網路的所有資訊都在不停地塑造著腦神經連接,改變著連接強度,也改變著連接的物理結構。而現在的機器學習卻只考慮了連接強度的改變。

NSR:AI怎樣向腦學習呢?

蒲慕明:機器學習網路的架構應該也可以像腦網路一樣被學習塑造。此外,機器學習網路還可以借鑒腦中的許多其他特性。這些特性都是在進化中逐漸優化,適用於資訊加工的。例如,可以對信號做不同處理(興奮性、抑制性,以及它們的不同亞型)的多種處理單元(神經元)的同時存在是很有必要的。單元之間的連接也可以是多樣化的,不但可以前饋,也可以有回饋和側向連接。網路中資訊存儲的方式也可以是非常高效和通用的:資訊就存儲在加工資訊的連接中,根據資訊流的特點可選擇短期存儲或長期存儲;如果沒有進一步鞏固,這種存儲則會衰減。使用脈衝信號與延時傳遞來編碼時間資訊也是非常重要的。脈衝神經網路(SNN)現在已經被用於機器學習,如果它能吸取腦神經網路中突觸的依賴脈衝時序的可塑性(STDP)等眾多特性,是一種更加自然的網路。

NSR:很多人認為類腦人工智慧是危險的,類人機器人會取代我們的工作甚至會統治和奴役人類。你怎樣認為?

蒲慕明:現在,很多人不是已經成為高科技的奴隸了嗎?我知道有不少人離不開手機,而且無論何時何地都聽它指揮。但我不認為AI在本質上是危險的。當然,科技是把雙刃劍——核技術既能發電也能毀滅我們。如果我們有信心,相信社會能夠建立有效的機制來確保這些技術只被應用于對我們有益的方面,那我們就無需擔心AI。從20世紀50年代開始,很多人一直對原子彈的製造心存恐懼,認為人類將會很快經歷毀滅性的核災難。但是我們現在活得挺好,不是嗎?我認為答案在於我們是否對人性以及社會的自我調控能力抱有積極態度。

NSR:你現在是中國科學院腦科學與智慧技術卓越創新中心(CEBSIT)的主任,這個中心是做什麼的呢?

蒲慕明:人們已經逐漸認識到,腦科學與腦啟發的計算技術有很多可以互相學習的地方。這個中心是中科院2014年建立的首批四個卓越創新中心之一。它是一個跨學科的,多機構組成的中心,旨在通過形成合作的研究團隊來加強中科院現有的研究力量,以解決腦科學與包括腦啟發的計算方法和設備在內的智慧技術上的主要前沿問題。

NSR:它是一個多實驗室組成的聯合體嗎?它是怎樣運作的?

蒲慕明:它遠遠不只是實驗室之間的鬆散聯合,CEBSIT要求各實驗室將主要研究精力投入到中心的聯合項目中來。依據CEBSIT、研究者及其所在研究機構簽訂的三方協定,研究者所在機構將會支持研究者進行CEBSIT相關的研究活動,而研究者在CEBSIT項目中做出的科學貢獻也會被納入各機構的考評體系。中心還將負責有效地組織和協調團隊合作以承擔大型國家研究計畫,其中就包括中國腦計畫。此外,它也是中科院研究機構設置改革的一個探索,中科院希望此類中心可以改善各研究所研究項目的重複性與碎片化現狀。

NSR:腦科學和智慧技術是兩個分開的學科,兩個領域中的研究者能夠很好的交流嗎?

蒲慕明:這確實是一個關鍵問題。在兩個學科中間有著以不同的科研訓練、語言以及文化造成的隔閡,但是回顧人工神經網路的歷史,幾個基本的神經科學概念,如連接權重的改變,Hebb規則,多層結構以及迴圈連接,都曾為機器學習帶來了巨大的活力。我們相信當兩個學科的研究者真正在一起工作時,一定會產生新的火花。我們中心就是要努力成為一個可以促成此種交流的研究平臺。

“高影響力”論文,創新,與中國科學的未來

NSR:1984年清華大學生物系複建,你參與其中。1999年中科院神經科學研究所創立,你又是其中的主導者,並擔任第一任所長。可以談一談過去三十年中,你在中國的工作嗎?

蒲慕明:在20世紀80年代,中國還沒有能力為生物學的基礎研究提供足夠支持,所以在清華生物系複建時,我們主要目標是建立一個高品質的教學體系。到90年代末,政府開始大規模投資基礎研究,那時創建的神經所才能夠有足夠的資金來進行基礎研究,中國的神經科學家才開始在國際舞臺上做出高水準貢獻。但直到大概10年前,當中國的研究環境逐漸發展,開始吸引越來越多在國外接受過訓練的年輕科學家回國發展,神經所才真正開始快速發展。年輕海歸的回國熱潮使包括神經所在內的中國基礎研究機構快速擴張,並且在國際期刊上發表的文章也得到了快速增長。但這種增長是以文章數量而不是品質來進行衡量的,並且只有少數實驗室能在自己的領域中處於國際領先地位。這是一個嚴峻的問題,我們的每個實驗室都得到了政府的大量資助,但與科技發達國家相比,具有國際影響力的高水準論文卻相當少。

NSR:研究成果品質和影響力的評價標準是什麼?可否依據發表在高影響因數期刊上的論文數量?

蒲慕明:論文數量和影響因數確實是基礎科學領域中最直接的國際性評價標準。但是我要指出,這個標準存在一系列問題。首先,發表在這些高影響因數期刊上的很多文章實際上並不具有高的影響力。這是因為很多高影響因數期刊趨向於發表熱門領域的文章。這些熱門領域的開創性文章確實具有高影響力,但這些領域中後期發表的文章,雖然其真正影響力通常較低,卻也很容易被大量引用,這些文章又反過來推高了期刊的影響因數。由於全世界的研究機構都過於看重發表在這些期刊上的論文,在這些期刊上發表文章就變得越來越難,為發表而產生的不合理競爭也開始出現。為了使各級考評中的評審者滿意,許多年輕科學家都為在高影響因數期刊上發表文章花費了太多精力,也承受著巨大的壓力,然而事實上,很多作為評審者的科學家本身,也很難在這些期刊上發表論文。許多有天分的年輕科學家,特別是生命科學領域的年輕科學家,正遭受著“高影響因數期刊”和“研究機構要求”的雙重詛咒。

NSR:有沒有替代的方式?怎樣不通過發表高影響因數論文而具有影響力?

蒲慕明:歸根結底,創新的科學成果一定會產生影響力。創新的本質是不循規蹈矩。為了在這些所謂的高影響因數期刊上發表文章,大多數情況下你不僅需要遵守嚴格的資料獲取、分析和解釋的標準,而且需要遵循被同行廣泛接受的範式與思想。但是,創新的科學常常需要打破領域中的既有範式。我們需要為打破常規的科學思想提供可以蓬勃發展的科研制度與研究氛圍。當我們評價科學家時,我們不僅僅要考慮他們在高影響因數期刊上發表了多少論文,還要考慮他們研究的創造性與新穎性。大多數中國研究機構還沒有做到這一點。我們的科學共同體仍然太年輕,中國的大部分研究機構缺少進行創新性科學研究的傳統。畢竟,中國基礎研究得到大力支持的時間其實只有二十年。

NSR:你指出了中國科學面臨的問題。能提出一個具體的分階段方案來解決這些問題嗎?

蒲慕明:我還無法給出一個快速的解決方案。如果我們都承認這些問題需要解決,那麼我們就應該為解決問題而共同努力。例如,為了打破高級別期刊的“詛咒”,我們可以建立新的出版途徑,來發表那些可能不被高影響因數雜誌接受的創新性研究成果,並建立新的、重視研究原創性的評價標準。我們現在已經開始在NSR上發表原始研究論文。我們希望NSR發表的研究成果在滿足嚴格科學標準的同時,可以不一定符合領域內的主流範式。其中的一些成果最終將會獲得高影響力。

NSR:你覺得中國科學需要多久才能達到世界一流,與發達國家平分秋色?

蒲慕明:在一些科學領域,中國已經能夠或者即將能夠做到這一點。但對於其他的許多領域,我們還有很長的路要走。但是,考慮到在漫長的人類歷史中,中國的發展道路一直不同於西方國家,並且形成了獨特的文化和價值觀,未來的中國科學也可能會沿著一條與西方國家不同的道路來發展。我以為,未來的中國科學不會止步於“與西方國家平分秋色”。作為世界上人口最多的國家,中國具有悠久的知識傳統,隨著全球影響力的不斷增強,中國科學將可以在世界上具有獨一無二的獨特影響力。

NSR:能解釋一下“中國科學獨特影響力”的來源嗎?

蒲慕明:這種獨特性可以來自很多方面。例如,中國或其他發展中國家可以利用西方科學界不具備的資源,來解決一些西方科學家不會去關注的科學問題。在我所在的神經科學領域,由於我們有非人靈長類(如獼猴)的獨特資源作為實驗動物模型,中國神經科學在破譯靈長類(包括人類)特有的高級認知功能的神經基礎上是獨一無二的。中國擁有巨大的腦疾病患病人群,在政府大力支持中國腦計畫的前提下,中國科學家將可能建立起對於幾種主要腦疾病的有效早期診斷和早期干預方法——這是全世界神經科學家為之努力,但始終沒能取得實質性進展的艱巨任務。在其他領域也存在類似機遇,例如,中國的環境科學家可以通過有效地解決發展中國家人口密集城市的污染問題,來為世界做出獨特的貢獻。

從物理學到神經科學

NSR:你出身於物理專業,又是怎樣成為一名神經科學家的?

蒲慕明:我在臺灣清華大學學習物理學,後來加入了約翰霍普金斯大學的物理研究生專案,但我一直對生物學感興趣。1968年,我在詹姆斯·沃森的《雙螺旋》剛出版時就讀了這本書,並對書中講述的一個事實十分著迷:一個生物物理學方法,X射線晶體學,解決了生物學中最重要的問題之一——基因複製的機制。在霍普金斯,我足夠幸運地進入了傑出生物物理學家Richard Cone的實驗室,並在他的指導下完成了我的博士學位論文研究。在那裡,我首次完成了對細胞膜蛋白擴散係數的定量測量。我對膜蛋白擴散的興趣又引領我開啟了對神經系統中突觸形成過程的研究:研究本應隨機擴散的膜蛋白是怎樣在突觸富集,並執行神經元間信號傳遞功能的。從生物物理學到神經生物學的轉型,在我看來,是順理成章的。

NSR:物理背景對你的神經科學研究有什麼幫助?

蒲慕明:作為一個物理系的學生,我比大多數的生物系學生學了更多的物理和數學。最明顯的優勢是,我不會被物理方法和數學分析嚇倒。在使用電生理方法時,我感到十分自如,而這一方法對於腦內信號加工的研究是至關重要的。另一方面,我的物理背景可能影響了我在神經科學領域中的研究興趣。面對多樣的生命現象,統一的規律更加吸引我。但我不會說這是一個優勢,因為生物學的本質就是多樣性,而理解這些多樣性是怎樣產生的是生物學的主要目標之一。

NSR:你對於神經科學最大的貢獻是什麼?

蒲慕明:在新穎性上,大概是發現了神經營養因數能夠增強突觸信號傳遞的效率。在影響力上,我認為是我對於STDP現象的貢獻。在1997-1998年,我和同事們精確地劃定一個時間視窗,在這個視窗中,突觸前和突觸後神經元的脈衝可以導致突觸傳遞效率的變化,而這種變化是學習和記憶的細胞基礎。我們發現如果突觸前的脈衝經常發生於突觸後脈衝之前大約20毫秒的時間視窗內,這個突觸的效率會增強;而如果突觸後脈衝先於突觸前脈衝,突觸的效率會減弱。現在,STDP被認為是突觸儲存記憶的最適“學習規則”。這一規則也已經開始被機器學習演算法所借鑒。

NSR:你現在的主要研究興趣是什麼?

蒲慕明:我在鼓勵並幫助年輕的神經科學研究者使用猴子作為實驗模型來理解高級認知功能。同理心、自我意識和語言的神經環路機制是神經科學中很重要的問題,我覺得現在是時候開始研究這些問題了。我現在自己並不做實驗,因為我在實驗室外還承擔著許多職責,但是我會經常和我的同事討論實驗設計、資料分析以及解釋。

NSR:你同時扮演著科學家、教育者和管理者等多種角色。你覺得哪種角色最富挑戰性?你最享受的又是哪種角色?

蒲慕明:要想做得好,每種角色都是非常有挑戰性的。在我的職業生涯中,我也在這三類工作中都獲得了很大的樂趣。樂趣常源于有成果,這意味著我在這幾種角色中都取得了一些成果。在我的職業生涯中,我絕大多數的時間是在做科學,但我會說這並不完全是由科學的挑戰性或我個人對科學的興趣所驅使的,而是由環境、機會以及我想讓自己對於社會更有用的願望驅動的。我在1976年完成博士後研究,申請的第一份工作是在聯合國教科文組織當工作人員,因為我當時認為我的背景適合在這個領域工作,但我沒能獲得面試機會。後來我在加利福尼亞大學歐文分校找了份教職。我過去以及現在都認為受過科研訓練的人除了做研究外,在其他領域也能做出巨大的貢獻。例如,我們的社會需要更多的接受過扎實科研訓練的管理者和新聞記者。我認為,我們應該訓練並鼓勵年輕人成為活 躍在其他領域中的具備科學素養的從業者,而不限於成為做研究的科學家。

英文原文2017年2月發表於《國家科學評論》(National Science Review, NSR),原標題為“Mu-ming Poo: China Brain Project and the future of Chinese neuroscience”。《國家科學評論》是科學出版社旗下期刊,與牛津大學出版社聯合出版。《知識份子》獲《國家科學評論》和牛津大學出版社授權刊發該文中文翻譯。

如需閱讀英文版,請點擊以下連結:https://doi.org/10.1093/nsr/nwx014

,或點擊文末“閱讀原文”可跳轉。

製版編輯:許逸|

本頁刊發內容未經書面許可禁止轉載及使用

公眾號、報刊等轉載請聯繫授權

copyright@zhishifenzi.com

知識份子為更好的智趣生活 ID:The-Intellectual