近日， 自然語言處理領域國際最權威的學術會議ACL（The Association for Computational Linguistics）公佈了其2017年錄用的論文。
以人類語言為研究物件的“自然語言處理”（Natural Language Processing：NLP）是人工智慧最重要的研究方向之一。 作為在 NLP 領域世界範圍內影響力最大、也最具活力的國際學術組織， ACL（國際計算語言學會）第 55 屆年會將於 2017 年 7 月 30 日至 8 月 4 日在加拿大溫哥華舉辦。
雷鋒網：請簡單描述下本次投稿的過程， 從選題， 寫稿， 投稿到被收錄， 你認為有什麼經驗可以遵循嗎？何世柱：博士期間我一直在做知識庫問答相關的工作， 瞭解到知識庫問答目前研究中的一個重要瓶頸就是問答-答案標注資料的匱乏。
在選題的時候， 與組內老師進行了討論， 他們認為課題是有意義的， 但是難點就在於如何評價。 目前還是沒有很好的評價方法， 只能採取邊工作邊摸索的方式推進工作。
另外， 寫作過程中， 老師和同學， 特別是非該研究方向的同學， 幫助檢查也是非常重要的。 個人認為研究中仔細思考討論“要解決什麼問題”和“如何解決這個問題”至關重要。
羅炳峰：這篇論文的選題是相對比較自然的一次。 我在做關係抽取的相關實驗的過程中， 發現資料集的雜訊很大程度上影響最終關係抽取器的效果。 而通過查閱以往文獻， 發現以往的工作對這一問題處理的比較粗糙。 於是我就通過查詢其他領域的雜訊處理相關文獻尋找靈感， 並結合關係抽取的具體情況設計出了現在的演算法，
經驗方面， 首先我覺得選題是論文的基礎， 選擇的研究方向最好要麼可以解決一類問題， 要麼可以覺得可以顯著提升一個重要的任務。 方法設計方面， 可以從問題本身出發， 分析出問題的本質是什麼， 難點是什麼。 明確了問題之後， 就可以結合大量的文獻調研來尋找靈感， 同時也確保自己的方法的新穎性。
最後寫稿的時候，
不願具名的作者：這次比較幸運， 我的工作能夠被ACL收錄。
關於方法的探索方面， 這次沒有局限於已有的抽取方法框架， 而是從NLP的其他研究任務中借鑒思路， 把我們需要研究的抽取問題轉換為了另外一種形式“序列標注問題”， 從而方便使用更有效地端對端模型去實現抽取， 並在相關資料集中實驗， 實驗結果也驗證了方法的有效性。
有了上述的實驗工作就可以開始撰寫論文。 一般我寫論文的思路都是：提出問題（說明清楚本文旨在研究一個什麼樣的任務， 它有什麼意義），分析問題（該任務的特點以及已有方法存在的問題），解決問題（本文設計模型的思路以及模型的創新性）。力求思路清晰，邏輯嚴謹，描述簡單易懂。在學術的路上我還有許多需要學習的，上述只是自己在研究過程中的一點習慣和經驗。
塗存超：我覺得選題最重要的方面是面向真實存在的問題，提出自己的解決方案，不要無病呻吟。motivation足夠強或研究的問題足夠新，才會有更大的把握被ACL這種專門領域的頂會錄用。
夏喬林：我的論文雖然是NLP領域的，但是之前受到了很多篇其他領域論文的啟發，所以我的體會是，多看一些自己學科的論文可能是有好處的。
雷鋒網：有沒有NLP方向的偶像？學術界是誰？ 工業界是誰？不願具名的作者：沒有固定的偶像，只有一些欣賞的工作。像Hinton, Lencun等這些高高在上的大牛們，更多的是一種敬畏和膜拜。此外，我比較佩服Mikolov這樣的年輕學者，博士剛畢業就發出了影響力巨大的Word2vec工作，將學術和工程結合的很好。
塗存超：學術界偶像：Christopher D. Manning；業界偶像：Tomas Mikolov
雷鋒網：有沒有想加入的公司？是哪家？有沒有打算創業？何世柱：暫時沒有加入產業界的想法，也沒有創業的打算（可能再多磨煉磨煉吧，個人覺得創業非常難）。還是更喜歡科研中的自主性。但是我們的相關研究其實是與產業應用非常相關的，比如我這次的文章就是解決產業上的真實用戶需求，因此，我們也非常樂於跟產業界合作，因為可以更準確的獲取使用者的真實需求和資料。
夏喬林：還在讀博，但會考慮去穀歌這樣的公司實習，大牛的集中地，應該會學到很多東西。國內想嘗試去一些創業公司實習。
塗存超：打算創業。
雷鋒網：如何看待目前熱點的研究方法（神經網路）與傳統方法之間的關係？或者說如何看待經驗主義和理性主義的鐘擺。所以我覺得對於一個具體任務而言，我們不能僅僅去把神經網路拿來就用，還應該掌握這個任務的傳統，經典方法。
何世柱：這個問題很大，我只能是根據自己在實踐中的感受來進行回答。神經網路和傳統方法各自有優缺點，神經網路表達能力強，可以對資料進行很好的泛化（本質是上平滑），有更強的記憶能力（能存儲和匹配資料中更多的模式），但是神經網路方法對於資料的要求比較高，大量高品質的資料才能學習好的模型。傳統方法可以很好的融合人的知識，實際上現在很多神經網路的方法也在嘗試加入更多的外部知識，比如機器翻譯中加入句法資訊其實就是一種外部知識。我們的工作也是在神經網路中融入存儲於外部知識庫中的知識。
羅炳峰：我覺得神經網路的方法很大程度上是對傳統方法研究的問題提供了一個新的建模的視角，即區別于傳統方法通過人工構造特徵對問題進行刻畫，神經網路方法可以通過設計神經網路的結構，來對問題的各個特性進行建模，或者通過深層網路使得模型自己學習特徵。雖然神經網路剛提出時宣揚的優勢之一就是不需要特徵工程，但是其和傳統的基於特徵的方法本身是不衝突的，比如Google的Deep&Wide模型就是神經網路模型和傳統特徵工程方法結合的一個典型實例。另外像LSTM+CRF這類模型又是神經網路的結構建模方法和概率圖模型的結構建模方法的一個有效的結合方式。相信今後會看到更多的神經網路方法和傳統方法結合的案例。
不願具名的作者：目前的熱點的神經網路方法更偏向於一種資料驅動型的方法，相比傳統方法，無需更多的人工干預工作但對訓練資料具有很強的依賴性，在如今的大資料時代以及計算資源豐富的情況下，相對更具優勢。此外，二者也並非完全獨立，也可相輔相成。比如傳統的人工定義規則範本的方法，這類方法可以提供準確的先驗知識，如何將這些準確的先驗知識和神經網路模型進行融合。
*出門問問NLP工程師李超對本文有貢獻。
它有什麼意義），分析問題（該任務的特點以及已有方法存在的問題），解決問題（本文設計模型的思路以及模型的創新性）。力求思路清晰，邏輯嚴謹，描述簡單易懂。在學術的路上我還有許多需要學習的，上述只是自己在研究過程中的一點習慣和經驗。塗存超：我覺得選題最重要的方面是面向真實存在的問題，提出自己的解決方案，不要無病呻吟。motivation足夠強或研究的問題足夠新，才會有更大的把握被ACL這種專門領域的頂會錄用。
夏喬林：我的論文雖然是NLP領域的，但是之前受到了很多篇其他領域論文的啟發，所以我的體會是，多看一些自己學科的論文可能是有好處的。
雷鋒網：有沒有NLP方向的偶像？學術界是誰？ 工業界是誰？不願具名的作者：沒有固定的偶像，只有一些欣賞的工作。像Hinton, Lencun等這些高高在上的大牛們，更多的是一種敬畏和膜拜。此外，我比較佩服Mikolov這樣的年輕學者，博士剛畢業就發出了影響力巨大的Word2vec工作，將學術和工程結合的很好。
塗存超：學術界偶像：Christopher D. Manning；業界偶像：Tomas Mikolov
雷鋒網：有沒有想加入的公司？是哪家？有沒有打算創業？何世柱：暫時沒有加入產業界的想法，也沒有創業的打算（可能再多磨煉磨煉吧，個人覺得創業非常難）。還是更喜歡科研中的自主性。但是我們的相關研究其實是與產業應用非常相關的，比如我這次的文章就是解決產業上的真實用戶需求，因此，我們也非常樂於跟產業界合作，因為可以更準確的獲取使用者的真實需求和資料。
夏喬林：還在讀博，但會考慮去穀歌這樣的公司實習，大牛的集中地，應該會學到很多東西。國內想嘗試去一些創業公司實習。
塗存超：打算創業。
雷鋒網：如何看待目前熱點的研究方法（神經網路）與傳統方法之間的關係？或者說如何看待經驗主義和理性主義的鐘擺。所以我覺得對於一個具體任務而言，我們不能僅僅去把神經網路拿來就用，還應該掌握這個任務的傳統，經典方法。
何世柱：這個問題很大，我只能是根據自己在實踐中的感受來進行回答。神經網路和傳統方法各自有優缺點，神經網路表達能力強，可以對資料進行很好的泛化（本質是上平滑），有更強的記憶能力（能存儲和匹配資料中更多的模式），但是神經網路方法對於資料的要求比較高，大量高品質的資料才能學習好的模型。傳統方法可以很好的融合人的知識，實際上現在很多神經網路的方法也在嘗試加入更多的外部知識，比如機器翻譯中加入句法資訊其實就是一種外部知識。我們的工作也是在神經網路中融入存儲於外部知識庫中的知識。
羅炳峰：我覺得神經網路的方法很大程度上是對傳統方法研究的問題提供了一個新的建模的視角，即區別于傳統方法通過人工構造特徵對問題進行刻畫，神經網路方法可以通過設計神經網路的結構，來對問題的各個特性進行建模，或者通過深層網路使得模型自己學習特徵。雖然神經網路剛提出時宣揚的優勢之一就是不需要特徵工程，但是其和傳統的基於特徵的方法本身是不衝突的，比如Google的Deep&Wide模型就是神經網路模型和傳統特徵工程方法結合的一個典型實例。另外像LSTM+CRF這類模型又是神經網路的結構建模方法和概率圖模型的結構建模方法的一個有效的結合方式。相信今後會看到更多的神經網路方法和傳統方法結合的案例。
不願具名的作者：目前的熱點的神經網路方法更偏向於一種資料驅動型的方法，相比傳統方法，無需更多的人工干預工作但對訓練資料具有很強的依賴性，在如今的大資料時代以及計算資源豐富的情況下，相對更具優勢。此外，二者也並非完全獨立，也可相輔相成。比如傳統的人工定義規則範本的方法，這類方法可以提供準確的先驗知識，如何將這些準確的先驗知識和神經網路模型進行融合。
*出門問問NLP工程師李超對本文有貢獻。