海歸學者發起的公益學術平臺
分享資訊， 整合資源
交流學術， 偶爾風月
最近， 機器學習領域的Wasserstein GAN突然變得火熱， 其中的關鍵概念應該如何通過幾何來解釋？我們怎樣才能在一定程度上親眼“看穿”傳統機器學習中的“黑箱”。 讓我們來看看顧險峰教授2016年和丘成桐先生、羅鋒教授共同完成的幾何定理， 是如何對上述問題進行解答的。 本文經顧教授授權轉載， 特別致謝。
圖a. Principle of GAN.
生成對抗網路 GAN
訓練模型生成對抗網路GAN （Generative Adversarial Networks）是一個“自相矛盾”的系統， 就是以己之矛克以己之盾， 在矛盾中發展， 使得矛更加鋒利， 盾更加強韌。
圖b. Generative Model.
生成器G一般是將一個隨機變數（例如高斯分佈， 或者均勻分佈）， 通過參數化的概率生成模型（通常是用一個深度神經網來進行參數化）， 進行概率分佈的逆變換採樣， 從而得到一個生成的概率分佈。 判別器D也通常採用深度卷積神經網。
圖1. GAN的演算法流程圖。
矛盾的交鋒過程如下：給定真實的資料， 其內部的統計規律表示為概率分佈， 我們的目的就是能夠找出。 為此， 我們製作了一個隨機變數生成器G， G能夠產生隨機變數， 其概率分佈是， 我們希望儘量接近。 為了區分真實概率分佈和生成概率分佈， 我們又製作了一個判別器D， 給定一個樣本， D來複製判別這個樣本是來自真實資料還是來自偽造資料。 Goodfellow給GAN中的判別器設計了如下的損失函數（lost function）， 盡可能將真實樣本判為正例， 生成樣本判為負例：
第一項不依賴於生成器G, 此式也可以定義GAN中的生成器的損失函數。
在訓練中， 判別器D和生成器G交替學習， 最終達到納什均衡（零和遊戲），
優點GAN具有非常重要的優越性。 當真實數據的概率分佈不可計算的時候， 傳統依賴於資料內在解釋的生成模型無法直接應用。 但是GAN依然可以使用， 這是因為GAN引入了內部對抗的訓練機制， 能夠逼近一下難以計算的概率分佈。 更為重要的， Yann LeCun一直積極宣導GAN， 因為GAN為無監督學習提供了一個強有力的演算法框架， 而無監督學習被廣泛認為是通往人工智慧重要的一環。
缺點原始GAN形式具有致命缺陷：判別器越好， 生成器的梯度消失越嚴重。 我們固定生成器G來優化判別器D。 考察任意一個樣本， 其對判別器損失函數的貢獻是
兩邊對求導， 得到最優判別器函數
代入生成器損失函數，
在這種情況下（判別器最優）， 如果的支撐集合（support）交集為零測度， 則生成器的損失函數恒為0， 梯度消失。
改進本質上， JS散度給出了概率分佈之間的差異程度， 亦即概率分佈間的度量。 我們可以用其他的度量來替換JS散度。 Wasserstein距離就是一個好的選擇， 因為即便的支撐集合（support）交集為零測度， 它們之間的Wasserstein距離依然非零。 這樣， 我們就得到了Wasserstein GAN的模式【1】【2】。 Wasserstein距離的好處在於即便兩個分佈之間沒有重疊， Wasserstein距離依然能夠度量它們的遠近。
為此， 我們引入最優傳輸的幾何理論（Optimal Mass Transportation）， 這個理論視覺化了W-GAN的關鍵概念， 例如概率分佈， 概率生成模型（生成器）， Wasserstein距離。 更為重要的， 這套理論中， 所有的概念， 原理都是透明的。 例如， 對於概率生成模型，
最優傳輸理論梗概
給定歐氏空間中的一個區域， 上面定義有兩個概率測度和， 滿足
我們尋找一個區域到自身的同胚映射（diffeomorphism）， , 滿足兩個條件：保持測度和極小化傳輸代價。
保持測度對於一切波賴爾集,
換句話說映射T將概率分佈映射成了概率分佈， 記成 。 直觀上， 自映射， 帶來體積元的變化， 因此改變了概率分佈。 我們用和來表示概率密度函數， 用來表示映射的雅克比矩陣（Jacobian matrix）， 那麼保持測度的微分方程應該是：,
這被稱為是雅克比方程（Jacobian Equation）。
最優傳輸映射自映射的傳輸代價（Transportation Cost）定義為
在所有保持測度的自映射中， 傳輸代價最小者被稱為是最優傳輸映射（Optimal Mass Transportation Map）， 亦即：
最優傳輸映射的傳輸代價被稱為是概率測度和概率測度之間的Wasserstein距離，記為。
在這種情形下，Brenier證明存在一個凸函數，其梯度映射
就是唯一的最優傳輸映射。這個凸函數被稱為是Brenier勢能函數（Brenier potential）。
由Jacobian方程，我們得到Brenier勢滿足蒙日-安培方程，梯度映射的雅克比矩陣是Brenier勢能函數的海森矩陣（Hessian Matrix），
蒙日-安培方程解的存在性、唯一性等價於經典的凸幾何中的亞歷山大定理（Alexandrov Theorem）。
圖2. 亞歷山大定理。
亞歷山大定理 如圖2所示，給定平面凸區域，考察一個開放的凸多面體，選定一個面，的法向量記為，的投影和相交的面積記為，則總投影面積滿足
凸多面體可以被確定。亞歷山大定理對任意維凸多面體都成立。
後面，我們可以看到，這個凸多面體就是Brenier勢能函數，其梯度映射將一個概率分佈映到另外一個概率分佈，並且這兩個概率分佈之間的Wasserstein 距離對偶於此凸多面體決定的體積。理論上，這個凸多面體可以作為W-GAN模型中的生成器G。
W-GAN中關鍵概念視覺化
Wasserstein-GAN模型中，關鍵的概念包括概率分佈（概率測度），概率測度間的最優傳輸映射（生成器），概率測度間的Wasserstein距離。下面，我們詳細解釋每個概念所對應的構造方法，和相應的幾何意義。
概率分佈GAN模型中有兩個至關重要的概率分佈（probability measure），一個是真實資料的概率分佈，一個是生成資料的概率分佈。另外，生成器的輸入隨機變數，滿足標準概率分佈（高斯、均勻分佈）。
圖3. 由保角變換（conformal mapping）誘導的圓盤上概率測度。
概率測度可以看成是一種推廣的面積（或者體積）。我們可以用幾何變換隨意構造一個概率測度。如圖3所示，我們用三維掃描器獲取一張人臉曲面，那麼人臉曲面上的面積就是一個概率測度。我們縮放變換人臉曲面，使得總曲面等於。然後，我們用保角變換將人臉曲面映射到平面圓盤。如圖3所示，保角變換將人臉曲面上的無窮小圓映到平面上的無窮小圓，但是，小圓的面積發生了變化。每對小圓的面積比率定義了平面圓盤上的概率密度函數。
我們可以將以上的描述嚴格化。人臉曲面記為，其上具有黎曼度量。平面圓盤記為，平面座標為，平面的歐氏度量為。保角映射記為
則，這裡面積變換率函數給出了概率密度函數。誘導了圓盤上的一個概率測度。
圖4. 兩個概率測度之間的最優傳輸映射。
最優傳輸映射 圓盤上本來有均勻分佈，又有保角變換誘導的概率分佈，則存在唯一的最優傳輸映射。圖4顯示了這個映射，中間幀到右幀的映射就是最優傳輸映射。我們看到，鼻尖周圍的區域被壓縮，概率密度提高。
圖5. 離散最優傳輸。
離散最優傳輸映射 最優傳輸映射的數值計算非常幾何化，因此可以直接被視覺化。我們將目標概率測度離散化，表示成一族離散點，；每點被賦予一個狄拉克測度，，滿足。然後，我們求得單位圓盤的一個胞腔分解，，每個胞腔映到相應的目標點，。映射保持概率測度，胞腔的面積等於目標測度，
同時極小化傳輸代價，
圖6. 離散Brenier勢能函數，離散最優傳輸映射。
離散Brenier勢能離散最優傳輸映射是離散Brenier勢能函數的梯度映射。對於每一個目標離散點，我們構造一個平面 ，這裡平面的截距是未知變數。這些平面的上包絡（upper envelope）構成一個開放的凸多面體，恰為離散Brenier勢能函數的圖（Graph）,
圖6左側顯示了離散Briener勢能函數。凸多面體在平面上的投影構成了平面的胞腔分解，凸多面體的每個面被映成了一個胞腔；每個面的梯度都是，因此Brenier勢能函數的梯度映射就是。
根據保測度性質，每個胞腔的面積應該等於指定面積。由此，我們調節平面的截距以滿足這個限制。根據亞歷山大定理，這種截距存在，並且本質上唯一。
離散Wasserstein距離我們和丘成桐先生建立了變分法來求取平面的截距。給定截距向量，平面族為，其上包絡構成的Briener勢能函數為 , 上包絡的投影生成了平面的胞腔分解, 胞腔的面積記為。我們定義的能量為，
這個能量在子空間 上是嚴格凹的，其唯一的全域最大點就給出了滿足保測度條件的截距。這個能量的非線性項，實際上是上包絡截出的柱體體積，
圖7給出了柱體體積的視覺化，柱體體積是凸函數。
圖7. 離散Brenier勢能函數的圖截出的柱體體積
體積函數和Wasserstein距離之間相差一個勒讓德變換（Legendre Transformation）。勒讓德變換非常幾何化，我們可以將其視覺化。給定一個定義在實數軸上的二階光滑凸函數，其圖是一條凸曲線，這條凸曲線由其所有的切線包絡而成。如果，在任意一點，函數的切線的斜率為y，則此切線的截距滿足
這被稱為是函數的勒讓德變換。以切線的斜率為參數，以切線的截距為函數值。
圖8.凸函數的圖像由其切線包絡而成，切線集合被表示成原函數的勒讓德對偶。
因為的凸性，映射是微分同胚，記為。那麼，原函數和勒讓德變換後的函數滿足關係：
這裡c,d是常數。原函數和其勒讓德變換的直觀圖解由圖9給出。我們在xy-平面上畫出曲線，曲線下面的面積是，曲線上面的面積是勒讓德變換。
圖9. 圖解勒讓德變換。
勒讓德變換的幾何圖景對任意維都對。我們下面來考察體積函數的勒讓德變換。根據定義，
假如我們變動截距，或者等價地變動胞腔面積，考察兩個胞腔交界處，
p本來屬於，變化後屬於，所有這種點的總面積為。則為Wasserstein距離帶來的變化是：
因此，總的Wasserstein距離的變化是
由此我們看到Wasserstein距離等於
其非線性部分是柱體積的勒讓德變換。
總結
通過以上討論，我們看到給定兩個概率分佈，則存在唯一的一個凸函數（Brenier 勢函數），其梯度映射把一個概率分佈映成了另外一個概率分佈。這個最優傳輸映射的傳輸代價就給出了兩個概率分佈之間的Wasserstein距離。Brenier勢能函數，Wasserstein距離都有明晰的幾何解釋。
在Wasserstein-GAN模型中，通常生成器和判別器是用深度神經網路來實現的。根據最優傳輸理論，我們可以用Briener勢函數來代替深度神經網路這個黑箱，從而使得整個系統變得透明。在另一層面上，深度神經網路本質上是在訓練概率分佈間的傳輸映射，因此有可能隱含地在學習最優傳輸映射，或者等價地Brenier勢能函數。對這些問題的深入瞭解，將有助於我們看穿黑箱。
圖10. 基於二維最優傳輸映射計算的曲面保面積參數化（area preserving parameterization），蘇政宇作。
圖11. 基於三維最優傳輸映射計算的保體積參數化 （volume preserving parameterization），蘇科華作。
參考資料
[1]Arjovsky, M. & Bottou, L.eon (2017) Towards Principled Methods for Training Generative Adversarial Networks
[2] Arjovsky, M., Soumith, C. & Bottou, L.eon (2017) Wasserstein GAN.
[3] Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles forMinkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-AmpereEquations, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.
亦即：最優傳輸映射的傳輸代價被稱為是概率測度和概率測度之間的Wasserstein距離，記為。
在這種情形下，Brenier證明存在一個凸函數，其梯度映射
就是唯一的最優傳輸映射。這個凸函數被稱為是Brenier勢能函數（Brenier potential）。
由Jacobian方程，我們得到Brenier勢滿足蒙日-安培方程，梯度映射的雅克比矩陣是Brenier勢能函數的海森矩陣（Hessian Matrix），
蒙日-安培方程解的存在性、唯一性等價於經典的凸幾何中的亞歷山大定理（Alexandrov Theorem）。
圖2. 亞歷山大定理。
亞歷山大定理 如圖2所示，給定平面凸區域，考察一個開放的凸多面體，選定一個面，的法向量記為，的投影和相交的面積記為，則總投影面積滿足
凸多面體可以被確定。亞歷山大定理對任意維凸多面體都成立。
後面，我們可以看到，這個凸多面體就是Brenier勢能函數，其梯度映射將一個概率分佈映到另外一個概率分佈，並且這兩個概率分佈之間的Wasserstein 距離對偶於此凸多面體決定的體積。理論上，這個凸多面體可以作為W-GAN模型中的生成器G。
W-GAN中關鍵概念視覺化
Wasserstein-GAN模型中，關鍵的概念包括概率分佈（概率測度），概率測度間的最優傳輸映射（生成器），概率測度間的Wasserstein距離。下面，我們詳細解釋每個概念所對應的構造方法，和相應的幾何意義。
概率分佈GAN模型中有兩個至關重要的概率分佈（probability measure），一個是真實資料的概率分佈，一個是生成資料的概率分佈。另外，生成器的輸入隨機變數，滿足標準概率分佈（高斯、均勻分佈）。
圖3. 由保角變換（conformal mapping）誘導的圓盤上概率測度。
概率測度可以看成是一種推廣的面積（或者體積）。我們可以用幾何變換隨意構造一個概率測度。如圖3所示，我們用三維掃描器獲取一張人臉曲面，那麼人臉曲面上的面積就是一個概率測度。我們縮放變換人臉曲面，使得總曲面等於。然後，我們用保角變換將人臉曲面映射到平面圓盤。如圖3所示，保角變換將人臉曲面上的無窮小圓映到平面上的無窮小圓，但是，小圓的面積發生了變化。每對小圓的面積比率定義了平面圓盤上的概率密度函數。
我們可以將以上的描述嚴格化。人臉曲面記為，其上具有黎曼度量。平面圓盤記為，平面座標為，平面的歐氏度量為。保角映射記為
則，這裡面積變換率函數給出了概率密度函數。誘導了圓盤上的一個概率測度。
圖4. 兩個概率測度之間的最優傳輸映射。
最優傳輸映射 圓盤上本來有均勻分佈，又有保角變換誘導的概率分佈，則存在唯一的最優傳輸映射。圖4顯示了這個映射，中間幀到右幀的映射就是最優傳輸映射。我們看到，鼻尖周圍的區域被壓縮，概率密度提高。
圖5. 離散最優傳輸。
離散最優傳輸映射 最優傳輸映射的數值計算非常幾何化，因此可以直接被視覺化。我們將目標概率測度離散化，表示成一族離散點，；每點被賦予一個狄拉克測度，，滿足。然後，我們求得單位圓盤的一個胞腔分解，，每個胞腔映到相應的目標點，。映射保持概率測度，胞腔的面積等於目標測度，
同時極小化傳輸代價，
圖6. 離散Brenier勢能函數，離散最優傳輸映射。
離散Brenier勢能離散最優傳輸映射是離散Brenier勢能函數的梯度映射。對於每一個目標離散點，我們構造一個平面 ，這裡平面的截距是未知變數。這些平面的上包絡（upper envelope）構成一個開放的凸多面體，恰為離散Brenier勢能函數的圖（Graph）,
圖6左側顯示了離散Briener勢能函數。凸多面體在平面上的投影構成了平面的胞腔分解，凸多面體的每個面被映成了一個胞腔；每個面的梯度都是，因此Brenier勢能函數的梯度映射就是。
根據保測度性質，每個胞腔的面積應該等於指定面積。由此，我們調節平面的截距以滿足這個限制。根據亞歷山大定理，這種截距存在，並且本質上唯一。
離散Wasserstein距離我們和丘成桐先生建立了變分法來求取平面的截距。給定截距向量，平面族為，其上包絡構成的Briener勢能函數為 , 上包絡的投影生成了平面的胞腔分解, 胞腔的面積記為。我們定義的能量為，
這個能量在子空間 上是嚴格凹的，其唯一的全域最大點就給出了滿足保測度條件的截距。這個能量的非線性項，實際上是上包絡截出的柱體體積，
圖7給出了柱體體積的視覺化，柱體體積是凸函數。
圖7. 離散Brenier勢能函數的圖截出的柱體體積
體積函數和Wasserstein距離之間相差一個勒讓德變換（Legendre Transformation）。勒讓德變換非常幾何化，我們可以將其視覺化。給定一個定義在實數軸上的二階光滑凸函數，其圖是一條凸曲線，這條凸曲線由其所有的切線包絡而成。如果，在任意一點，函數的切線的斜率為y，則此切線的截距滿足
這被稱為是函數的勒讓德變換。以切線的斜率為參數，以切線的截距為函數值。
圖8.凸函數的圖像由其切線包絡而成，切線集合被表示成原函數的勒讓德對偶。
因為的凸性，映射是微分同胚，記為。那麼，原函數和勒讓德變換後的函數滿足關係：
這裡c,d是常數。原函數和其勒讓德變換的直觀圖解由圖9給出。我們在xy-平面上畫出曲線，曲線下面的面積是，曲線上面的面積是勒讓德變換。
圖9. 圖解勒讓德變換。
勒讓德變換的幾何圖景對任意維都對。我們下面來考察體積函數的勒讓德變換。根據定義，
假如我們變動截距，或者等價地變動胞腔面積，考察兩個胞腔交界處，
p本來屬於，變化後屬於，所有這種點的總面積為。則為Wasserstein距離帶來的變化是：
因此，總的Wasserstein距離的變化是
由此我們看到Wasserstein距離等於
其非線性部分是柱體積的勒讓德變換。
總結
通過以上討論，我們看到給定兩個概率分佈，則存在唯一的一個凸函數（Brenier 勢函數），其梯度映射把一個概率分佈映成了另外一個概率分佈。這個最優傳輸映射的傳輸代價就給出了兩個概率分佈之間的Wasserstein距離。Brenier勢能函數，Wasserstein距離都有明晰的幾何解釋。
在Wasserstein-GAN模型中，通常生成器和判別器是用深度神經網路來實現的。根據最優傳輸理論，我們可以用Briener勢函數來代替深度神經網路這個黑箱，從而使得整個系統變得透明。在另一層面上，深度神經網路本質上是在訓練概率分佈間的傳輸映射，因此有可能隱含地在學習最優傳輸映射，或者等價地Brenier勢能函數。對這些問題的深入瞭解，將有助於我們看穿黑箱。
圖10. 基於二維最優傳輸映射計算的曲面保面積參數化（area preserving parameterization），蘇政宇作。
圖11. 基於三維最優傳輸映射計算的保體積參數化 （volume preserving parameterization），蘇科華作。
參考資料
[1]Arjovsky, M. & Bottou, L.eon (2017) Towards Principled Methods for Training Generative Adversarial Networks
[2] Arjovsky, M., Soumith, C. & Bottou, L.eon (2017) Wasserstein GAN.
[3] Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles forMinkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-AmpereEquations, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.