本課程涵蓋了深度學習的一些理論和方法。所涉及的初步專題包括:

介紹

深度學習

額外的話題

地址: https://deeplearning-cmu-10707-2022spring.github.io/

"> 不可錯過!CMU最新《深度學習》2022春季課程,Ruslan Salakhutdinov教授主講 - 專知VIP

構建能夠從高維數據中提取有意義表示的智能機器是解決許多AI相關任務的核心。在過去的幾年裏,許多不同領域的研究人員,從應用統計學到工程學,計算機科學和神經科學,已經提發出深度(層次)模型——這些模型由多層非線性處理組成。這些模型的一個重要特性是,它們可以通過重用和組合中間概念來學習有用的表示,從而允許這些模型成功地應用於各種領域,包括視覺對象識別、信息檢索、自然語言處理和語音感知。這是一門高級研究生課程,專為碩士和博士水平的學生設計,並將假定一個合理的數學成熟度。本課程的目標是向學生介紹各種深度學習方法的最新和令人興奮的發展。

本課程涵蓋了深度學習的一些理論和方法。所涉及的初步專題包括:

介紹

  • 背景:線性代數,分布,概率規則。
  • 回歸、分類。
  • 前饋神經網絡,反向傳播算法。介紹流行的優化和正則化技術。
  • 卷積模型及其在計算機視覺中的應用。

深度學習

  • 圖模型:有向和無向。
  • 線性因子模型,PPCA, FA, ICA,稀疏編碼及其擴展。
  • 自動編碼器及其擴展。基於能量的模型, RBM。
  • 蒙特卡羅方法。
  • 學習與推理: 對比發散(CD),隨機最大似然估計,分數匹配,比率匹配,偽似然估計,噪聲-對比估計。
  • 退火重要性抽樣,分區函數估計。
  • 深度生成模型: 深度信念網絡,深度玻爾茲曼機,Helmholtz霍茲機,變分自編碼器,重要性加權自編碼器,喚醒-睡眠算法。
  • 生成對抗網絡(GANs),生成矩匹配網絡,神經自回歸密度估計(NADE)。

額外的話題

  • 更多關於深度網絡正則化和優化的內容。
  • 序列建模: 循環神經網絡。序列到序列的架構,注意力模型。
  • 深度強化學習。

地址:https://deeplearning-cmu-10707-2022spring.github.io/

成為VIP會員查看完整內容
19
45
0

相關內容

Ruslan Salakhutdinov,卡內基梅隆大學教授,蘋果首任AI總監,加拿大統計機器學習研究主席,微軟學者和斯隆獎獲得者,主要研究領域為深度學習概率圖模型和大規模優化,師從Geoffrey Hinton,是剪枝、深度編碼等著名學習方法的提出者。他於2009年獲得多倫多大學的博士學位,隨後又在麻省理工大學開展了為期兩年的博士後研究。2016年,入職卡內基梅隆大學,同年獲得英偉達人工智能先驅獎,並加入蘋果公司擔任AI研究總監。目前Ruslan已累計發表學術論文300多篇,是深度學習領域年輕一代領軍科學家,主要的研究方向為:語音識別、計算機視覺、推薦係統、語言理解、藥物研發及生物圖像分析。
專知會員服務
59+閱讀 · 2021年6月12日
不可錯過!CMU《深度學習導論》2020課程,附課件與視頻
專知會員服務
62+閱讀 · 2020年10月27日
專知會員服務
44+閱讀 · 2020年10月11日
紐約大學《深度學習》2021課程全部放出,LeCun主講!
機器學習與推薦算法
1+閱讀 · 2021年11月16日
國家自然科學基金
1+閱讀 · 2018年6月30日
國家自然科學基金
1+閱讀 · 2017年6月30日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2010年12月31日
國家自然科學基金
0+閱讀 · 2008年12月31日
Arxiv
13+閱讀 · 2020年7月21日
小貼士
相關基金
國家自然科學基金
1+閱讀 · 2018年6月30日
國家自然科學基金
1+閱讀 · 2017年6月30日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2010年12月31日
國家自然科學基金
0+閱讀 · 2008年12月31日
微信掃碼谘詢專知VIP會員
Top