我們之所以相信科學，
是因為通過複刻科學家的原始實驗，
可以測試和驗證其結論的準確性。
但如果這些測試失敗了呢？特別是一個有可能創造數十億美元收入的研究項目， 在驗證的時候失敗了， 會產生什麼效果?
2016年， 《自然》雜誌對1500多名科學家進行了調查， 結果發現， 超過70%的科學家都曾想驗證其他科學家發表在科學期刊上的實驗。 然而， 有一半以上的人連自己的實驗都複刻不出來， 更別說去驗證別人的實驗了。 今年8月， 一項研究報告《Reproducibility in Machine Learning-Based Studies: An Example of Text Mining》分析了人工智慧最大一次會議上的30篇研究論文， 發現論文的作者基本隱瞞了他們的演算法是如何被訓練的，
如今， 圍繞AI技術已有龐大的產業被構建出來， 人工智慧實驗室應該公開最先進的科研成果， 尤其是那些很難被覆刻檢驗的成果， 這能給實驗室帶來巨大的利益。
麥吉爾大學副教授、蒙特利爾Facebook人工智慧研究實驗室負責人Joelle Pineau反對不可複刻的人工智慧研究， 為此她與全球其他5所大學的教授共同發起一項學生挑戰賽：ICLR 2018 Reproducibility Challenge。 目前學生們的任務是複刻2018年4月國際學術大會(AI頂級會議之一)的論文， 呈現被隱藏的實驗過程。 屆時， 他們會聯繫允許發表評論的出版社， 在那些被會議接受的論文底下發表自己的發現。
“如果你想鑽研科學， 那就要有一個過程， 讓科學能公平公正公開地完全呈現出來， ”Pineau說， “如果你建立的系統是別人無法複刻的， 那麼你只不過是創造了一個科學性的手藝， 它可以提高我們的知識和理解力， 但不符合科學求證的標準。 ”
參與挑戰賽的學生要複刻的研究來自世界各大頂尖人工智慧實驗室， 遍及各大學和穀歌、DeepMind、Facebook、微軟和亞馬遜等科技巨頭。
基爾大學的一名博士生Babatunde Olorisade參與撰寫了今年發佈的研究報告。 他指出， 大型科技公司在研究中會使用獨有的資料和資訊， 但發佈的論文並不公佈， 這阻礙了該領域的發展。
Olorisade認為， 電腦在複刻演算法實驗時所運行的軟體， 以及軟體配置、使用資料， 就像物理實驗中的重力和溫度一樣， 這些元素為實驗提供了背景， 因此必須是可複製的， 以幫助他人理解實驗的原理和機制。
“可驗證的知識才是科學的基礎， ”Olorisade說， “如果你驗證了那些科學研究， 就能更好地瞭解它們。 如果證實結論是準確無誤的， 你還可以在這些研究基礎上發展新的分支研究。 “
理想情況下， Pineau的學生挑戰賽每年都會進行。 讓學生不斷參加論文複刻比賽， 可以給人工智慧行業帶來良性迴圈：幫助學生學會審查科學研究， 然後讓學生懂得， 不管在學術界還是業界， 創造可複刻的研究都是非常重要的。 這些都為他們的職業生涯奠定了良好的基礎。
Pineau說:“我希望論文作者們更加重視自己的研究成果， 希望他們思考如何增加自己代碼的可用性， 並將原始程式碼公開視為科學研究的一部分。”
對學生挑戰賽感興趣的：
//www.cs.mcgill.ca/~jpineau/ICLR2018-ReproducibilityChallenge.html
2016年《自然》對1500名科學家的調查：
//www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970?WT.mc_id=FBK_NatureNews
2017年《Reproducibility in Machine Learning-Based Studies: An Example of Text Mining》研究報告：
https://openreview.net/pdf?id=By4l2PbQ-
【智慧觀】門戶之見不僅武林有，社會也有；不僅中國有，外國也有。打破這個禁錮不光需要努力，還需要勇氣。
—完—
作者：Dave Gershgorn
智慧觀 編譯
想知道AI加教育領域有哪些最新研究成果？
想要AI領域更多的乾貨？
想瞭解更多專家的“智慧觀”？
請在對話介面點擊“找找看”，去獲取你想要的內容吧。
對學生挑戰賽感興趣的：
//www.cs.mcgill.ca/~jpineau/ICLR2018-ReproducibilityChallenge.html
2016年《自然》對1500名科學家的調查：
//www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970?WT.mc_id=FBK_NatureNews
2017年《Reproducibility in Machine Learning-Based Studies: An Example of Text Mining》研究報告：
https://openreview.net/pdf?id=By4l2PbQ-
【智慧觀】門戶之見不僅武林有，社會也有；不僅中國有，外國也有。打破這個禁錮不光需要努力，還需要勇氣。
—完—
作者：Dave Gershgorn
智慧觀 編譯
想知道AI加教育領域有哪些最新研究成果？
想要AI領域更多的乾貨？
想瞭解更多專家的“智慧觀”？
請在對話介面點擊“找找看”，去獲取你想要的內容吧。