新智元編譯
新智元327技術大會愛奇藝回播視頻連結， 請點擊閱讀原文。
本講結構：
概要
退火重要性採樣（AIS）
用於無向圖模型的反向 AIS Estimator
無監督學習→ 非概率模型、概率（生成）模型
Directed vs. Undirected Models
左：Helmholtz Machine / 變分自編碼器
右：深度玻爾茲曼機
瑪律可夫隨機場
圖模型：是用於表示隨機變數之間依賴關聯式結構的強大框架。
受限玻爾茲曼機
模型選擇
生成模型
一般來說， 我們應該怎樣選擇模型？
簡單重要性採樣
退火重要性採樣
退火重要性採樣的運行
AIS 是重要性採樣
具有幾何平均值的RBM
Undirected Model 存在的問題
激勵：RBM 抽樣
運行瑪律可夫鏈（吉布斯採樣）
展開的RBM作為深度定向生成模型
Reverse AIS Estimator（RAISE）
MNIST
在 MNIST 上訓練有 500 個隱藏單元的 RBM
初始分佈均勻
Omniglot 資料集
在 Omniglot 上訓練有 500 個隱藏單元的 RBM
MNIST 和 Omniglot 的結果
DBM（深度玻爾茲曼機）和 DBN（深度置信網路）
Decoder-Based 模型：將樣本從簡單分佈轉換為資料流程
Directed vs. Undirected 模型
變分自編碼器（VAE）
VAE：概率有向圖模型， 使用被稱為編碼器網路的近似推理模型。
GANs 和 GMMNs
GAN：是解碼器和鑒別器網路之間的博弈訓練的生成模型。
GMMN：採用最大平均差異（MMD）作為訓練目標。
退火重要性採樣（AIS）
AIS：通過引入一個中間分佈序列來彌補先驗和後驗之間的差距。
兩個架構， 三個模型：VAE、GAN、GMMN
AIS 的驗證：KDE vs. AIS
在類比資料上的結果（KDE 使用100萬樣本）
MNIST 結果
VAE 得到的對數似然性比 GAN 或 GMMN 更高。
KDE 誤差與模型之間的差異具有相同的數量級， 不能用於可靠地比較對數似然性。
視覺上無法分辨出3個模型間的區別。
在我們的簡單實驗中， GAN 和 GMMN 沒有過擬合。
新智元327技術大會愛奇藝回播視頻連結， 請點擊閱讀原文。