資源｜多倫多大學“神經網路與機器學習導論”2017年課程表
翻譯 | AI科技大本營（rgznai100）
Hinton大神獨步天下的人工智慧課程——多倫多大學“神經網路與機器學習導論”，
你可能沒學過這門課，但瞭解機器學習的你一定有聽過這門課的大名。今年冬季學期，這門課將交由多倫多大學助理教授Roger Grosse主講。
如果你還不知道這位教授，請一定要瞭解一下他在Google Brain實習的本科學生Aidan Gomez，AI100對此做過專門報導：牛！他本科沒畢業就進入Google Brain，還發表了最火的深度學習頂級論文... 你呢？
閒話少說，我們直接來看 CSC321 "Intro to Neural Networks and Machine Learning" 的課程表：
http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/
第1課：導論
什麼是機器學習，什麼是神經網路，它們能夠做什麼？
監督式學習、非監督式學習、以及強化學習呢？
本課程的組織安排。
第2課：線性回歸
線性回歸，一種監督式學習模型，通過它你可以預測得到一個目標值。
以最優化問題的形式呈現它，並且通過直接求解方程或者梯度下降演算法進行求解。
向量。特徵映射和多項式回歸。泛化：過擬合、欠擬合、驗證。
第3課：線性分類
二元線性分類。線性分類器視覺化。感知器演算法。線性分類器的局限性。
第4課：分類器學習
二元分類器損失函數比較。
交叉熵損失、Logistic啟動函數、Logistic回歸。
Hinge 損失。多向分類。凸損失函數。梯度檢驗。
第5課：多層感知機
多層感知機。啟動函數比較。
把深度神經網路視為函數和特徵學習。
線性神經網路的局限性和非線性網路的普適性。
第6課：反向傳播演算法
反向傳播演算法，一種用於計算梯度的方式，
第7課：優化
如何使用反向傳播演算法得到的梯度。
損失函數特徵：局部最優解，鞍點，平頂，低谷。
隨機梯度下降演算法和momentum演算法。
第8課：自動微分法
由助理教授David Duvenaud授課
第9課：泛化
偏差/方差分解，資料增強，限制模型複雜度，提起結束，權重衰減，集成演算法，隨機正則化，超參數優化。
第10課：分散式表徵
語言模型，n-gram模型，神經網路語言模型（一種分散式表徵），
第11課：卷積神經網路
卷積操作。卷積層和池化層。等變異數和不變性。
卷積神經網路的反向傳播演算法規則。
第12課：圖像分類
卷積神經網路架構在手寫數位和物體分類方面的應用。
卷積神經網路大小的測量。
第13課：玩轉卷積網路
卷積神經網路視覺化：導向型反向傳播演算法，輸入資料梯度下降。
Deep Dream。神經網路風格遷移。
第14課：遞迴神經網路
遞迴神經網路。
遞迴神經網路在語言模型和機器翻譯中的應用。
第15課：梯度爆炸和消失
為什麼遞迴神經網路梯度會爆炸或者消失，從兩個角度進行分析：第一，反向傳播機制；第二，遞迴神經網路計算的函數。
對應的措施：梯度裁剪、輸入反轉、LSTM
第16課：ResNet與Attention
深度殘差網路。
基於Attention模型在機器翻譯和字幕生成方面的應用。
神經網路圖靈機。
第17課：學習概率模型
最大似然估計。貝葉斯參數估計基礎和最大化後驗估計。
第18課：混合模型
K-means。混合模型：後驗推斷和參數學習
第19課：玻爾茲曼機
玻爾茲曼機：定義；邊緣和條件概率；參數學習。受限玻爾茲曼機。
第20課：自編碼機
主成分分析；自編碼機；逐層訓練；將自編碼機應用於檔和圖像的獲取
第21課：貝葉斯超參數優化
貝葉斯線性回歸；貝葉斯優化
第22課：對抗學習
對抗學習案例；生成式對抗網路（GANs）
第23課：圍棋
“AlphaGo人機對戰”
怎麼樣，看到最後一節AlphaGo有沒有眼前一亮的感覺？這就是緊跟技術發展的國外課程，跟國內不一樣的地方。
當然，如果你還是懷念Hinton大神的親自講授，你總是可以找到他的Coursera頁面：https://www.coursera.org/learn/neural-networks
第18課：混合模型
K-means。混合模型：後驗推斷和參數學習
第19課：玻爾茲曼機
玻爾茲曼機：定義；邊緣和條件概率；參數學習。受限玻爾茲曼機。
第20課：自編碼機
主成分分析；自編碼機；逐層訓練；將自編碼機應用於檔和圖像的獲取
第21課：貝葉斯超參數優化
貝葉斯線性回歸；貝葉斯優化
第22課：對抗學習
對抗學習案例；生成式對抗網路（GANs）
第23課：圍棋
“AlphaGo人機對戰”
怎麼樣，看到最後一節AlphaGo有沒有眼前一亮的感覺？這就是緊跟技術發展的國外課程，跟國內不一樣的地方。
當然，如果你還是懷念Hinton大神的親自講授，你總是可以找到他的Coursera頁面：https://www.coursera.org/learn/neural-networks