構建能夠從高維數據中提取有意義表示的智能機器是解決許多AI相關任務的核心。在過去的幾年裏，許多不同領域的研究人員，從應用統計學到工程學，計算機科學和神經科學，已經提發出深度(層次)模型——這些模型由多層非線性處理組成。這些模型的一個重要特性是，它們可以通過重用和組合中間概念來學習有用的表示，從而允許這些模型成功地應用於各種領域，包括視覺對象識別、信息檢索、自然語言處理和語音感知。這是一門高級研究生課程，專為碩士和博士水平的學生設計，並將假定一個合理的數學成熟度。本課程的目標是向學生介紹各種深度學習方法的最新和令人興奮的發展。

本課程涵蓋了深度學習的一些理論和方法。所涉及的初步專題包括:

介紹

• 背景:線性代數，分布，概率規則。
• 回歸、分類。
• 前饋神經網絡，反向傳播算法。介紹流行的優化和正則化技術。
• 卷積模型及其在計算機視覺中的應用。

深度學習

• 圖模型:有向和無向。
• 線性因子模型，PPCA, FA, ICA，稀疏編碼及其擴展。
• 自動編碼器及其擴展。基於能量的模型, RBM。
• 蒙特卡羅方法。
• 學習與推理: 對比發散(CD)，隨機最大似然估計，分數匹配，比率匹配，偽似然估計，噪聲-對比估計。
• 退火重要性抽樣，分區函數估計。
• 深度生成模型: 深度信念網絡，深度玻爾茲曼機，Helmholtz霍茲機，變分自編碼器，重要性加權自編碼器，喚醒-睡眠算法。
• 生成對抗網絡(GANs)，生成矩匹配網絡，神經自回歸密度估計(NADE)。

額外的話題

• 更多關於深度網絡正則化和優化的內容。
• 序列建模: 循環神經網絡。序列到序列的架構，注意力模型。
• 深度強化學習。

地址：https://deeplearning-cmu-10707-2022spring.github.io/