蒙特利爾大學Bengio團隊攜手多倫多大學帶來最新成果：方差正則化對抗學習

雷鋒網消息， 由多倫多大學與蒙特利爾大學的Karan Grewal、R Devon Hjelm、Yoshua Bengio三人近日合作發表的文章《Variance Regularizing Adversarial Learning》提出了一種方差正則化對抗學習方法（Variance Regularizing Adversarial Learning， VGAL）。 相比以往的對抗生成網路（GAN）， VGAL 可以使鑒別器具有更加平滑輸出分佈特性， 並且在真樣本分佈與生成樣本分佈間設定一定的混疊區間， 從而提升 GAN 的生成效果。

以下內容是雷鋒網AI科技評論根據論文內容進行的部分編譯。

論文摘要

文章提出了一種新型的對抗訓練模型， 該演算法將鑒別器評分方法設計成服從雙模高斯分佈的“真/生成”指標變數。 為了實現這一設計， 該團隊使用原資料對抗訓練（meta-adversarial）來使高斯分類器與目標雙模分佈模型相匹配。

這種逼近方法可以保證分類器具有非零的下降梯度。 通過與標準參照圖像集對比， 展現了這一分類器輸出分佈函數平滑的特性， 並在“真/生成”模式間有一定的混疊。

生成對抗網路（GAN）是一種用來訓練目標生成器的框架， 主要針對沒有明確定義的參數生成分佈， 以及沒有可跟蹤的似然函數等類型的問題。 訓練生產器依賴鑒別器發出的學習信號， 使用相對簡單的指標來區分生成樣本的與真實樣本。 為了匹配真實的分佈形式， 生成器參數將由鑒別器定義的損耗優化至最大， 通過類比使得生成器和鑒別器達到對立。

相比於最大似然估計的方法， 生成對抗網路可以獲得強大的識別能力並能夠生成具有鋒利、逼真邊緣的高品質的圖像。

然而由於生成對抗網路高度依賴超參數調節以及參數化模型， 使得其訓練的穩定性備受質疑。 因此近期關於生成對抗網路的研究主要集中在尋找其穩定性問題的根源等方向上。

提升生成對抗網路的穩定性的一條途徑是利用 Lipshitz 約束， 將幾乎不可區分的樣本賦予非同尋常的評分來避免鑒別器出現過擬合的情況。 這一方法使用一個相對弱於常用的如 Kullback-Leibler 或 Jensen-Shannon 的辨別標準， 這會使真資料集在低維支撐時的表現略有爭議。 Lipshitz 約束保證了資料壓縮的形式以及由鑒別器的輸出生成的平滑分佈。 這進一步保證了可以為生成器輸入一個非零的訓練信號。

這一約束與傳統生成對抗網路以及近期提出的最小二乘的生成對抗網路有所不同， 後者的鑒別器是允許被隨意強化， 並且壓縮輸入使其在輸出空間內具有接近離散的分佈。

對於鑒別器內的強制平滑機制， 其如何通過優化方法來影響生成器的品質目前仍未探明。 此外， 對Lipschitz 約束的測定目前還無法進行， 因此利用平滑方法目前只能近似地通過輔助優化手段來實現諸如削減權重或者梯度懲罰的目標。

文章使用一種略微不同的方式來學習平滑的鑒別器函數， 通過使用“真/生成”指示變數來訓練高斯分類器， 而不是懲罰鑒別器來使約束變成 non-Lipschitz 約束。 這種取決於混合分量之間的混疊的優化方式能夠給生成器一個弱標準，

於是生成器的輸出可穩定在真指示器變數所處的模式上。 為了訓練這樣的分類器， 文章提出了雙小中繼資料鑒別器， 每一個鑒別器都關聯到生成項以及真資料模式上， 並且每一個都是單變數、單位方差的高斯分佈的採樣。 這種雙元鑒別器訓練時使用標準的生成對抗網路損耗， 分類器通過訓練可控制每一個中繼資料鑒別器， 就像對抗生成器同時作用於每個中繼資料鑒別器一樣。 這種設計可以保證分類器輸出模式間的混疊有一個平滑分佈， 且對於生成器是非零梯度的。 文章通過大量標準圖像集的訓練驗證了該方法有很好的效果。

圖一， 鑒別器輸出長條圖， 包含真實樣本（藍色）和生成樣本（紅色），

使用MNIST資料集， 生成器更新週期內， 鑒別器更新為50次。 僅VRAL（文章提出）在兩個分佈間表現出明顯的混疊。 Proxy loss 及 BGAN 在整個真樣本集上表現出高度支配的分佈， 並在生成樣本分佈上出現高峰值的情況。 從結果上講， VRAL 相比 WGAN 、 LSGAN 、 BGAN 和 標準 GAN 有顯著的優勢。

圖二， 多種 GAN 方法的鑒別器輸出曲線與鑒別器梯度曲線對比。 相比其他方法，論文提出的 VRAL 展示出平滑的判決邊界。

圖三，論文方法（VRAL）基於經典資料集的生成測試結果（所有模型的訓練使用標準 DCGAN 架構並由 Adam 方法進行優化）。

via https://arxiv.org/abs/1707.00309，雷鋒網

相比其他方法，論文提出的 VRAL 展示出平滑的判決邊界。

圖三，論文方法（VRAL）基於經典資料集的生成測試結果（所有模型的訓練使用標準 DCGAN 架構並由 Adam 方法進行優化）。

via https://arxiv.org/abs/1707.00309，雷鋒網