近日， 來自北京大學電腦科學技術研究所的博士生黃鑫和彭宇新教授提出了一種新型的遷移學習方法：深度跨媒體知識遷移（Deep Cross-media Knowledge Transfer, DCKT）。 該方法針對跨媒體檢索中訓練樣本不足導致檢索效果差的問題， 結合了兩級遷移網路結構和漸進遷移機制， 能夠基於大規模跨媒體資料進行知識遷移， 提高了小規模跨媒體資料上的檢索準確率。 在實驗中， 以大規模跨媒體資料集 XMediaNet 為源域， 以 3 個廣泛使用的小規模跨媒體資料集為目標域進行知識遷移與檢索， 結果表明 DCKT 有效提高了跨媒體檢索的準確率。 該論文已經被 CVPR 2018 大會接收為 Spotlight 論文。
一、簡介
隨著電腦與數位傳輸技術的快速發展， 圖像、文本、視頻、音訊等不同媒體資料已經隨處可見， 並作為相互融合的整體深刻影響和改變著我們的生活。 認知科學表明， 人類天然地具備接收與整合來自於不同感官通道的資訊的能力。 因此， 如果能方便地檢索出語義相關但媒體不同的資料， 對於提高人們的資訊獲取效率具有重大意義。 跨媒體檢索是旨在進行跨越圖像、文本等不同媒體類型的資訊檢索。 例如， 使用者上傳一張北京大學的圖片， 不僅能夠得到有關北京大學的相關圖片， 也能檢索到北京大學的文字描述、視頻介紹、音訊資料等。 相比于傳統的單媒體檢索（如以文搜文、以圖搜圖等），
「異構鴻溝」問題是跨媒體檢索面臨的一個核心挑戰：不同媒體的資料具有不同的特徵表示形式， 它們的相似性難以直接度量。 為解決上述問題， 一種直觀的方法是跨媒體統一表徵， 即把不同媒體資料從各自獨立的表示空間映射到一個協力廠商的公共空間中， 使得彼此可以度量相似性。 近年來， 隨著深度學習的快速發展與廣泛應用， 基於深度學習的統一表徵方法已經成為了研究的熱點與主流。
然而， 訓練資料不足是深度學習的一個普遍挑戰， 而對於深度跨媒體檢索方法來說則更加嚴峻。 從模型訓練的角度來講， 跨媒體關聯關係呈現複雜多樣的特點，
在這種情況下， 遷移學習思想就顯得尤為重要， 它能夠從源域（一般是大規模資料集）中提取與遷移知識到目標域（一般是小規模資料集）， 從而提高目標域上的模型訓練效果。
二、方法：深度跨媒體知識遷移
圖 1：深度跨媒體知識遷移（DCKT）方法的總體框架。
本文提出了深度跨媒體知識遷移（DCKT）方法， 其主要貢獻在於：（1）提出了兩級遷移網路， 通過同時最小化媒體級、關聯級的域間差異， 使得互補的單媒體語義知識和跨媒體關聯知識能夠有效遷移；（2）提出了漸進遷移機制， 通過自我調整回饋的域間一致性度量， 以遷移難度從小到大為原則進行反覆運算樣本選擇，使得遷移過程能夠逐漸減小跨媒體域間差異，提高了模型的魯棒性與檢索準確率。方法的總體框架如圖 1 所示，下面分別簡要介紹。
1.兩級遷移網路：
大規模跨媒體資料集中存在著兩種有價值的知識：（1）如果獨立地看每個媒體，其中的每種媒體資料中都含有豐富的單媒體語義知識。（2）如果綜合地去看所有媒體，不同媒體之間的關聯模式也蘊含著豐富的跨媒體關聯知識。針對上述兩個重要且互補的方面，本文提出了兩級遷移網路進行知識遷移。在媒體級遷移中，通過最小化兩個域的同種媒體之間的表示分佈差異，實現單媒體語義知識的遷移；在關聯級遷移中，通過最小化兩個域中共用網路層之間的表示分佈差異，實現跨媒體關聯知識的遷移。通過上述兩方面的結合，達到單媒體語義知識與跨媒體關聯知識的跨域共用。
2.漸進遷移機制：
演算法 1：本文提出漸進遷移機制的演算法流程。
由於跨媒體資料集具有複雜的媒體內、媒體間關聯，且源域和目標域的語義標籤空間不一致，使得兩個域之間的差異很大。對於目標域來說，部分樣本和源域具有較明顯的一致性，知識遷移較為容易，而某些樣本的知識遷移則較為困難。如果同等對待所有訓練樣本，可能對知識遷移帶來雜訊甚至誤導資訊。因此，我們提出漸進式遷移機制（如演算法 1 所示），以源域模型為指導，以遷移難度由小到大為原則進行自我調整樣本選擇，在反覆運算回饋中逐漸減小域間差異，利用跨媒體資料的知識遷移解決跨媒體訓練樣本不足的問題。
三、實驗
本文採用我們構造的大規模跨媒體資料集 XMediaNet 為源域。XMediaNet 包括 200 個語義類別的超過 10 萬個標注資料，涵蓋圖像、文本、視頻、音訊和 3D 圖形。XMediaNet 具有明確的語義類別，均為具體的物體（如 Dog、Airplane 等），避免了語義混淆。資料來自著名網站如 Wikipedia, Flickr, Youtube, Findsounds, Freesound, Yobi3D 等。在本文中，我們使用 XMediaNet 資料集的圖像、文本資料作為源域，以 3 個廣泛使用的小規模跨媒體資料集作為目標域進行跨媒體檢索實驗，包括以圖像檢索文本、以文本檢索圖像的雙向交叉檢索實驗。在實驗比較上，以 MAP 值為評測指標，與 12 個現有方法進行比較，結果表明本文提出的 DCKT 方法在 3 個資料集上均取得了最好的檢索準確率（如表 1 所示）。
表 1：本文方法和現有方法在 3 個資料集上的檢索 MAP 值。
論文： Deep Cross-media Knowledge Transfer（深度跨媒體知識遷移）
本文 arXiv 連結：https://arxiv.org/abs/1803.03777
課題組主頁：http://www.icst.pku.edu.cn/mipl
課題組 Github 主頁（已發佈團隊 IEEE TIP, TMM, TCSVT, CVPR, ACM MM, IJCAI, AAAI 等論文代碼）：https://github.com/PKU-ICST-MIPL
摘要：跨媒體檢索是旨在進行跨越圖像、文本等不同媒體類型的資訊檢索。跨媒體檢索的準確率往往依賴於有標注的訓練資料，然而由於跨媒體訓練樣本的收集與標注非常困難，如何從已有資料中遷移有價值的知識以提高新資料上的檢索準確率，成為了跨媒體檢索走向實際應用的一大挑戰。本文提出了深度跨媒體知識遷移方法，能夠基於大規模跨媒體資料進行知識遷移，提升小規模跨媒體資料上的模型訓練效果。本文的主要貢獻包括：（1）提出了兩級遷移網路，通過同時最小化媒體級、關聯級的域間差異，使得互補的單媒體語義知識和跨媒體關聯知識能夠有效遷移；（2）提出了漸進遷移機制，通過自我調整地回饋域間的一致性度量，以遷移難度從小到大為原則進行反覆運算樣本選擇，使得遷移過程能夠逐漸減小跨媒體域間的差異，提高了模型的魯棒性與檢索準確率。以大規模跨媒體資料集 XMediaNet 為源域，以 3 個廣泛使用的小規模跨媒體資料集為目標域展開知識遷移與檢索的實驗，本文所提方法均有效提高了跨媒體檢索的準確率。
以遷移難度從小到大為原則進行反覆運算樣本選擇，使得遷移過程能夠逐漸減小跨媒體域間差異，提高了模型的魯棒性與檢索準確率。方法的總體框架如圖 1 所示，下面分別簡要介紹。1.兩級遷移網路：
大規模跨媒體資料集中存在著兩種有價值的知識：（1）如果獨立地看每個媒體，其中的每種媒體資料中都含有豐富的單媒體語義知識。（2）如果綜合地去看所有媒體，不同媒體之間的關聯模式也蘊含著豐富的跨媒體關聯知識。針對上述兩個重要且互補的方面，本文提出了兩級遷移網路進行知識遷移。在媒體級遷移中，通過最小化兩個域的同種媒體之間的表示分佈差異，實現單媒體語義知識的遷移；在關聯級遷移中，通過最小化兩個域中共用網路層之間的表示分佈差異，實現跨媒體關聯知識的遷移。通過上述兩方面的結合，達到單媒體語義知識與跨媒體關聯知識的跨域共用。
2.漸進遷移機制：
演算法 1：本文提出漸進遷移機制的演算法流程。
由於跨媒體資料集具有複雜的媒體內、媒體間關聯，且源域和目標域的語義標籤空間不一致，使得兩個域之間的差異很大。對於目標域來說，部分樣本和源域具有較明顯的一致性，知識遷移較為容易，而某些樣本的知識遷移則較為困難。如果同等對待所有訓練樣本，可能對知識遷移帶來雜訊甚至誤導資訊。因此，我們提出漸進式遷移機制（如演算法 1 所示），以源域模型為指導，以遷移難度由小到大為原則進行自我調整樣本選擇，在反覆運算回饋中逐漸減小域間差異，利用跨媒體資料的知識遷移解決跨媒體訓練樣本不足的問題。
三、實驗
本文採用我們構造的大規模跨媒體資料集 XMediaNet 為源域。XMediaNet 包括 200 個語義類別的超過 10 萬個標注資料，涵蓋圖像、文本、視頻、音訊和 3D 圖形。XMediaNet 具有明確的語義類別，均為具體的物體（如 Dog、Airplane 等），避免了語義混淆。資料來自著名網站如 Wikipedia, Flickr, Youtube, Findsounds, Freesound, Yobi3D 等。在本文中，我們使用 XMediaNet 資料集的圖像、文本資料作為源域，以 3 個廣泛使用的小規模跨媒體資料集作為目標域進行跨媒體檢索實驗，包括以圖像檢索文本、以文本檢索圖像的雙向交叉檢索實驗。在實驗比較上，以 MAP 值為評測指標，與 12 個現有方法進行比較，結果表明本文提出的 DCKT 方法在 3 個資料集上均取得了最好的檢索準確率（如表 1 所示）。
表 1：本文方法和現有方法在 3 個資料集上的檢索 MAP 值。
論文： Deep Cross-media Knowledge Transfer（深度跨媒體知識遷移）
本文 arXiv 連結：https://arxiv.org/abs/1803.03777
課題組主頁：http://www.icst.pku.edu.cn/mipl
課題組 Github 主頁（已發佈團隊 IEEE TIP, TMM, TCSVT, CVPR, ACM MM, IJCAI, AAAI 等論文代碼）：https://github.com/PKU-ICST-MIPL
摘要：跨媒體檢索是旨在進行跨越圖像、文本等不同媒體類型的資訊檢索。跨媒體檢索的準確率往往依賴於有標注的訓練資料，然而由於跨媒體訓練樣本的收集與標注非常困難，如何從已有資料中遷移有價值的知識以提高新資料上的檢索準確率，成為了跨媒體檢索走向實際應用的一大挑戰。本文提出了深度跨媒體知識遷移方法，能夠基於大規模跨媒體資料進行知識遷移，提升小規模跨媒體資料上的模型訓練效果。本文的主要貢獻包括：（1）提出了兩級遷移網路，通過同時最小化媒體級、關聯級的域間差異，使得互補的單媒體語義知識和跨媒體關聯知識能夠有效遷移；（2）提出了漸進遷移機制，通過自我調整地回饋域間的一致性度量，以遷移難度從小到大為原則進行反覆運算樣本選擇，使得遷移過程能夠逐漸減小跨媒體域間的差異，提高了模型的魯棒性與檢索準確率。以大規模跨媒體資料集 XMediaNet 為源域，以 3 個廣泛使用的小規模跨媒體資料集為目標域展開知識遷移與檢索的實驗，本文所提方法均有效提高了跨媒體檢索的準確率。