翻譯 | AI科技大本營（rgznai100）
Hinton大神獨步天下的人工智慧課程——多倫多大學“神經網路與機器學習導論”， 2017年課程表上線了。
你可能沒學過這門課，
如果你還不知道這位教授， 請一定要瞭解一下他在Google Brain實習的本科學生Aidan Gomez， AI100對此做過專門報導：牛！他本科沒畢業就進入Google Brain， 還發表了最火的深度學習頂級論文... 你呢？
閒話少說， 我們直接來看 CSC321 "Intro to Neural Networks and Machine Learning" 的課程表：
http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/
第1課：導論
什麼是機器學習， 什麼是神經網路， 它們能夠做什麼？
監督式學習、非監督式學習、以及強化學習呢？
本課程的組織安排。
第2課：線性回歸
線性回歸， 一種監督式學習模型， 通過它你可以預測得到一個目標值。
以最優化問題的形式呈現它， 並且通過直接求解方程或者梯度下降演算法進行求解。
向量。 特徵映射和多項式回歸。
第3課：線性分類
二元線性分類。 線性分類器視覺化。 感知器演算法。 線性分類器的局限性。
第4課：分類器學習
二元分類器損失函數比較。
交叉熵損失、Logistic啟動函數、Logistic回歸。
Hinge 損失。 多向分類。 凸損失函數。 梯度檢驗。
第5課：多層感知機
多層感知機。 啟動函數比較。
把深度神經網路視為函數和特徵學習。
線性神經網路的局限性和非線性網路的普適性。
第6課：反向傳播演算法
反向傳播演算法， 一種用於計算梯度的方式， 在整個課程中我們都會用到它。
第7課：優化
如何使用反向傳播演算法得到的梯度。
損失函數特徵：局部最優解， 鞍點， 平頂， 低谷。
隨機梯度下降演算法和momentum演算法。
第8課：自動微分法
由助理教授David Duvenaud授課
第9課：泛化
偏差/方差分解， 資料增強， 限制模型複雜度， 提起結束， 權重衰減， 集成演算法， 隨機正則化， 超參數優化。
第10課：分散式表徵
語言模型， n-gram模型， 神經網路語言模型（一種分散式表徵）， skip-grams （另一種分散式表徵）
第11課：卷積神經網路
卷積操作。 卷積層和池化層。 等變異數和不變性。
卷積神經網路的反向傳播演算法規則。
第12課：圖像分類
卷積神經網路架構在手寫數位和物體分類方面的應用。
卷積神經網路大小的測量。
第13課：玩轉卷積網路
卷積神經網路視覺化：導向型反向傳播演算法， 輸入資料梯度下降。
Deep Dream。 神經網路風格遷移。
第14課：遞迴神經網路
遞迴神經網路。 時間軸上的反向傳播。
遞迴神經網路在語言模型和機器翻譯中的應用。
第15課：梯度爆炸和消失
為什麼遞迴神經網路梯度會爆炸或者消失， 從兩個角度進行分析：第一， 反向傳播機制；第二， 遞迴神經網路計算的函數。
對應的措施：梯度裁剪、輸入反轉、LSTM
第16課：ResNet與Attention
深度殘差網路。
基於Attention模型在機器翻譯和字幕生成方面的應用。
神經網路圖靈機。
第17課：學習概率模型
最大似然估計。 貝葉斯參數估計基礎和最大化後驗估計。
第18課：混合模型
K-means。 混合模型：後驗推斷和參數學習
第19課：玻爾茲曼機
玻爾茲曼機：定義；邊緣和條件概率；參數學習。 受限玻爾茲曼機。
第20課：自編碼機
主成分分析；自編碼機；逐層訓練；將自編碼機應用於檔和圖像的獲取
第21課：貝葉斯超參數優化
貝葉斯線性回歸；貝葉斯優化
第22課：對抗學習
對抗學習案例；生成式對抗網路（GANs）
第23課：圍棋
“AlphaGo人機對戰”
怎麼樣， 看到最後一節AlphaGo有沒有眼前一亮的感覺？這就是緊跟技術發展的國外課程， 跟國內不一樣的地方。
當然， 如果你還是懷念Hinton大神的親自講授， 你總是可以找到他的Coursera頁面：https://www.coursera.org/learn/neural-networks