https://cimsnyu.hosted.panopto.com/Panopto/Pages/Viewer.aspx?id=7e6db4d7-d642-41f2-97a0-ab510100db5e

"> 【NYU-WESLEY MADDOX】貝葉斯神經網絡教程,83頁ppt - 專知VIP

現代深度學習方法為研究人員和工程師們提供了強大的工具,來解決以前似乎不可能解決的問題。然而,由於深度學習方法像黑匣子一樣運行,與它們預測相關的不確定性往往難以量化。貝葉斯統計提供了一種形式主義來理解和量化與深度神經網絡預測相關的不確定性。本文為使用機器學習,特別是深度學習的研究人員和科學家提供了教程,概述了相關文獻,並提供了一套完整的工具集來設計、實現、訓練、使用和評估貝葉斯神經網絡。

https://cimsnyu.hosted.panopto.com/Panopto/Pages/Viewer.aspx?id=7e6db4d7-d642-41f2-97a0-ab510100db5e

成為VIP會員查看完整內容
0
38
1

相關內容

不確定性的概念在機器學習中是非常重要的,並且構成了現代機器學習方法論的一個關鍵元素。近年來,由於機器學習與實際應用的相關性越來越大,它的重要性也越來越大,其中許多應用都伴隨著安全要求。在這方麵,機器學習學者們發現了新的問題和挑戰,需要新的方法發展。事實上,長期以來,不確定性幾乎被視為標準概率和概率預測的同義詞,而最近的研究已經超越了傳統的方法,也利用了更一般的形式主義和不確定性計算。例如,不確定性的不同來源和類型之間的區別,例如任意不確定性和認知不確定性,在許多機器學習應用中被證明是有用的。講習班將特別注意這方麵的最新發展。

綜述論文:

不確定性的概念在機器學習中是非常重要的,並且構成了機器學習方法的一個關鍵元素。按照統計傳統,不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而,由於機器學習與實際應用和安全要求等相關問題的相關性穩步上升,機器學習學者最近發現了新的問題和挑戰,而這些問題可能需要新的方法發展。特別地,這包括區分(至少)兩種不同類型的不確定性的重要性,通常被稱為任意的和認知的。在這篇論文中,我們提供了機器學習中的不確定性主題的介紹,以及到目前為止在處理一般不確定性方麵的嚐試的概述,並特別將這種區別形式化。

//www.webtourguide.com/paper/8329095368761f81a7849fe5457949ed

成為VIP會員查看完整內容
0
62
0

本教程對基於模型的強化學習(MBRL)領域進行了廣泛的概述,特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——並且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法,如何有效地使用這些模式來做出更好的決策,以及規劃和學習之間的關係。我們還強調了在典型的RL設置之外利用世界模型的方式,以及在設計未來的MBRL係統時,從人類認知中可以得到什麼啟示。

https://sites.google.com/view/mbrl-tutorial

近年來,強化學習領域取得了令人印象深刻的成果,但主要集中在無模型方法上。然而,社區認識到純無模型方法的局限性,從高樣本複雜性、需要對不安全的結果進行抽樣,到穩定性和再現性問題。相比之下,盡管基於模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力,但在機器學習社區中,這些方法的開發還不夠充分(但發展迅速)。它們提供了一係列獨特的優勢和挑戰,以及互補的數學工具。本教程的目的是使基於模型的方法更被機器學習社區所認可和接受。鑒於最近基於模型的規劃的成功應用,如AlphaGo,我們認為對這一主題的全麵理解是非常及時的需求。在教程結束時,觀眾應該獲得:

  • 數學背景,閱讀並跟進相關文獻。
  • 對所涉及的算法有直觀的理解(並能夠訪問他們可以使用和試驗的輕量級示例代碼)。
  • 在應用基於模型的方法時所涉及到的權衡和挑戰。
  • 對可以應用基於模型的推理的問題的多樣性的認識。
  • 理解這些方法如何適應更廣泛的強化學習和決策理論,以及與無模型方法的關係。
成為VIP會員查看完整內容
0
77
3

近年來,神經網絡已成為分析複雜和抽象數據模型的有力工具。然而,它們的引入本質上增加了我們的不確定性,即分析的哪些特征是與模型相關的,哪些是由神經網絡造成的。這意味著,神經網絡的預測存在偏差,無法與數據的創建和觀察的真實本質區分開來。為了嚐試解決這些問題,我們討論了貝葉斯神經網絡:可以描述由網絡引起的不確定性的神經網絡。特別地,我們提出了貝葉斯統計框架,它允許我們根據觀察某些數據的根深蒂固的隨機性和我們缺乏關於如何創建和觀察數據的知識的不確定性來對不確定性進行分類。在介紹這些技術時,我們展示了如何從原理上獲得神經網絡預測中的誤差,並提供了描述這些誤差的兩種常用方法。我們還將描述這兩種方法在實際應用時如何存在重大缺陷,並強調在使用神經網絡時需要其他統計技術來真正進行推理。

成為VIP會員查看完整內容
0
109
2

【導讀】紐約大學的Andrew Gordon Wilson和Pavel Izmailov在論文中從概率角度的泛化性對貝葉斯深度學習進行了探討。貝葉斯方法的關鍵區別在於它是基於邊緣化,而不是基於最優化的,這為它帶來了許多優勢。

貝葉斯方法的關鍵區別是邊緣化,而不是使用單一的權重設置。貝葉斯邊緣化可以特別提高現代深度神經網絡的準確性和校準,這是典型的不由數據完全確定,可以代表許多令人信服的但不同的解決方案。我們證明了深度集成為近似貝葉斯邊緣化提供了一種有效的機製,並提出了一種相關的方法,通過在沒有顯著開銷的情況下,在吸引域邊緣化來進一步改進預測分布。我們還研究了神經網絡權值的模糊分布所隱含的先驗函數,從概率的角度解釋了這些模型的泛化性質。從這個角度出發,我們解釋了那些對於神經網絡泛化來說神秘而獨特的結果,比如用隨機標簽來擬合圖像的能力,並證明了這些結果可以用高斯過程來重現。最後,我們提供了校正預測分布的貝葉斯觀點。

成為VIP會員查看完整內容
0
58
2

教程簡介:最近AI對話技術的飛躍式發展,無疑與越來越複雜的深度學習算法有關,而深度學習算法所捕捉到的模式是由各種數據收集機製生成的。因此,本教程的目標是雙重的。首先,它旨在讓學術界熟悉基於統計學的對話係統算法設計的最新進展,其中包括開放性領域和基於任務的對話範例。本教程的重點是介紹對話係統端到端的學習機製,以及它們與更加常見的模塊係統之間的關聯。從理論上講,從數據中學習端到端可以為對話係統提供無縫的、空前的可移植性,有著非常廣闊的應用前景。從實踐的角度來看,該領域仍然存在大量的研究挑戰和機會:在本教程中,我們會分析理論和實踐之間的差異,並介紹當前端到端對話學習的主要優勢和實踐中的局限性。

目錄:

  • 理解數據(帶注釋和不帶注釋的)收集對AI對話係統的重要性。
  • 介紹最新的關於AI對話係統的數據收集範式。
  • 闡述大規模無結構的對話數據在對話係統預訓練方麵的可用性。
  • 提供端到端數據驅動在AI對話學習模型的概述。
  • 討論數據和算法選擇之間的重要性。
  • 關於當前(任務導向)AI對話在實際操作中的一個行業視角。

下載鏈接:https://pan.baidu.com/s/1qV4uQItQSZj0kWsXa4QgPg提取碼: kk3v

成為VIP會員查看完整內容
0
48
0
小貼士
相關主題
相關VIP內容
專知會員服務
39+閱讀 · 2月12日
專知會員服務
14+閱讀 · 2020年11月22日
專知會員服務
62+閱讀 · 2020年10月18日
專知會員服務
53+閱讀 · 2020年8月22日
專知會員服務
73+閱讀 · 2020年8月15日
專知會員服務
66+閱讀 · 2020年8月4日
專知會員服務
77+閱讀 · 2020年7月20日
專知會員服務
109+閱讀 · 2020年6月3日
【EMNLP2019教程】端到端學習對話人工智能,附237頁PPT下載
專知會員服務
48+閱讀 · 2019年11月25日
相關論文
Andrzej Odrzywolek
0+閱讀 · 6月8日
Takuya Hasumi,Tomohiko Nakamura,Norihiro Takamune,Hiroshi Saruwatari,Daichi Kitamura,Yu Takahashi,Kazunobu Kondo
0+閱讀 · 6月7日
Wide Network Learning with Differential Privacy
Huanyu Zhang,Ilya Mironov,Meisam Hejazinia
0+閱讀 · 6月4日
Yuqing Kong
0+閱讀 · 6月3日
A Survey of Methods for Low-Power Deep Learning and Computer Vision
Abhinav Goel,Caleb Tung,Yung-Hsiang Lu,George K. Thiruvathukal
10+閱讀 · 2020年3月24日
Kemal Oksuz,Baris Can Cam,Sinan Kalkan,Emre Akbas
21+閱讀 · 2020年3月11日
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Guiliang Liu,Oliver Schulte
4+閱讀 · 2018年7月11日
Qi Dou,Cheng Ouyang,Cheng Chen,Hao Chen,Pheng-Ann Heng
10+閱讀 · 2018年4月29日
Yingwei Pan,Zhaofan Qiu,Ting Yao,Houqiang Li,Tao Mei
3+閱讀 · 2018年4月23日
Chris Cremer,Xuechen Li,David Duvenaud
3+閱讀 · 2018年1月10日
Top