卡內基梅隆大學張坤老師進行主旨報告,主要討論以下問題:

我們為何在意因果關係? 因果關係和因果思維有何用處? 如何從觀測數據中學習因果關係? 如何自動從數據中發現有因果意義的隱變量以及它們之間的因果關係? 如何自動的實現遷移學習?遷移學習一定需要因果表述麼? 還有哪些機器學習任務會受益於因果思維?

……

張坤是卡內基梅隆大學哲學係副教授(並在機器學習係兼職)。他的研究領域是因果關係、機器學習以及通用人工智能。他在自動 因果發現領域提出了一係列模型和算法,並與合作者一起開創了從因果思維的角度來理解和解決複雜的機器學習問題的研究方向。他長期擔任一係 列機器學習和人工智能會議的領域主席、資深領域主席或程序委員會主 席,包括UAI、NeurlPS. ICML. CLeaR、IJCAI和AISTATS等會議。

成為VIP會員查看完整內容
5
60
0

相關內容

來自微軟亞洲研究院的劉暢博士講述《因果基礎》教程,涵蓋因果基礎、發現與推理。

https://changliu00.github.io/

成為VIP會員查看完整內容
1
33
0

在因果關係領域,我們想要了解一個係統在幹預(例如基因剔除實驗)下是如何反應的。這些問題超出了統計上的依賴,因此不能用標準的回歸或分類技術來回答。在本教程中,你將學習因果推理的有趣問題和該領域的最新發展。不需要事先了解因果關係。

第一部分: 我們引入結構化的因果模型和形式化的幹預分布。我們定義因果效應,並說明如果因果結構已知,如何計算它們。

第二部分: 我們提出了三個可以用來從數據中推斷因果結構的想法:(1)發現數據中的(條件)獨立性,(2)限製結構方程模型和(3)利用因果模型在不同環境中保持不變的事實。

第三部分: 如果時間允許,我們將展示因果概念如何在更經典的機器學習問題中使用。

https://stat.mit.edu/news/four-lectures-causality/

成為VIP會員查看完整內容
2
46
0

主題簡介:通過數據分析發現因果關係是個很重要的研究課題。目前研究界在嚐試回答下述問題:什麼時候應該使用因果知識,什麼時候知道關聯信息足夠充分?如何通過分析觀察到的數據找到變量之間的因果趨勢?在邁向強人工智能之路,因果信息將起到很大的作用。本次講座將介紹如何通過觀察數據學習因果關係的相關技術,如何通過因果的角度實現自適應的預測和更高層次的人工智能,並闡述一些相關應用。

個人簡介:張坤博士畢業於香港中文大學。研究方向為通用人工智能和因果關係。曾獲UAI最佳學生論文,入圍CVPR最佳論文,因果挑戰最佳基準挑戰獎。他是機器學習等頂會NeurIPS, ICML, UAI, IJCAI和AISTATS的資深領域主席或領域主席。

成為VIP會員查看完整內容
1
78
0

因果學習

因果推理在許多領域都很重要,包括科學、決策製定和公共政策。確定因果關係的金標準方法使用隨機控製擾動實驗。然而,在許多情況下,這樣的實驗是昂貴的、耗時的或不可能的。從觀察數據中獲得因果信息是可替代的一種選擇,也就是說,從通過觀察感興趣係統獲得的數據中獲得而不使其受到幹預。在這次演講中,我將討論從觀察數據中進行因果學習的方法,特別關注因果結構學習和變量選擇的結合,目的是估計因果效果。我們將用例子來說明這些概念。

成為VIP會員查看完整內容
6
125
0

本課程的教材是從機器學習的角度寫的,是為那些有必要先決條件並對學習因果關係基礎感興趣的人而開設的。我盡我最大的努力整合來自許多不同領域的見解,利用因果推理,如流行病學、經濟學、政治學、機器學習等。

有幾個主要的主題貫穿全課程。這些主題主要是對兩個不同類別的比較。當你閱讀的時候,很重要的一點是你要明白書的不同部分適合什麼類別,不適合什麼類別。

統計與因果。即使有無限多的數據,我們有時也無法計算一些因果量。相比之下,很多統計是關於在有限樣本中解決不確定性的。當給定無限數據時,沒有不確定性。然而,關聯,一個統計概念,不是因果關係。在因果推理方麵還有更多的工作要做,即使在開始使用無限數據之後也是如此。這是激發因果推理的主要區別。我們在這一章已經做了這樣的區分,並將在整本書中繼續做這樣的區分。

識別與評估。因果效應的識別是因果推論所獨有的。這是一個有待解決的問題,即使我們有無限的數據。然而,因果推理也與傳統統計和機器學習共享估計。我們將主要從識別因果效應(在第2章中,4和6)之前估計因果效應(第7章)。例外是2.5節和節4.6.2,我們進行完整的例子估計給你的整個過程是什麼樣子。

介入與觀察。如果我們能進行幹預/實驗,因果效應的識別就相對容易了。這很簡單,因為我們可以采取我們想要衡量因果效應的行動,並簡單地衡量我們采取行動後的效果。觀測數據變得更加複雜,因為數據中幾乎總是引入混雜。

假設。將會有一個很大的焦點是我們用什麼假設來得到我們得到的結果。每個假設都有自己的框來幫助人們注意到它。清晰的假設應該使我們很容易看到對給定的因果分析或因果模型的批評。他們希望,清晰地提出假設將導致對因果關係的更清晰的討論。

成為VIP會員查看完整內容
6
119
0

【導讀】機器學習暑期學校(MLSS)係列開始於2002年,致力於傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自德國人工智能教授 Bernhard Schölkopf教授講述《因果性》,177頁ppt係統性講述了機器學習中的因果性,非常幹貨。

由Judea Pearl開創的圖因果推理起源於人工智能(AI)的研究,在很長一段時間內與機器學習領域幾乎沒有聯係。本文認為,機器學習和人工智能的硬開放問題本質上與因果關係有關,並解釋了該領域是如何開始理解它們的。

近年來,機器學習社區對因果關係的興趣顯著增加。我對因果關係的理解是由Judea Pearl和許多合作者和同事所啟發的,其中的大部分內容來自與Dominik Janzing和Jonas Peters合著的一本書(Peters et al., 2017)。我已經在各種場合談論過這個話題,其中一些正在進入機器學習的主流,特別是因果建模可以提升機器學習模型的魯棒性。因果性和機器學習的交叉的發展令人興奮。這篇報告不僅能夠對討論因果思維對AI的重要性有所幫助,而且還可以為機器學習的觀眾介紹一些圖或結構因果模型的相關概念。

盡管最近取得了諸多成功,但如果我們將機器學習的能力與動物的能力進行比較,我們會發現,在一些動物擅長的關鍵技能上,前者相當糟糕。這包括遷移到新問題,任何形式的泛化,不是從一個數據點到下一個從相同的分布(采樣),而是從一個問題到下一個——都被稱為泛化。這個缺點並不是太令人吃驚,因為機器學習經常忽略生物大量使用的信息: 世界幹預、領域遷移、時間結構。最後,機器學習也不擅長思考,在康拉德洛倫茨的意義上,即,在想象的空間中行動。我認為,因果性關注建模和推理,可以對理解和解決這些問題做出實質性的貢獻,從而將該領域帶入下一個層次。

視頻:https://www.youtube.com/watch?v=btmJtThWmhA&feature=youtu.be

目錄內容:

  • 背景介紹
  • 結構化因果模型
  • 獨立機製與解纏分解
  • 做微積分
  • 混淆
  • 因果發現:兩變量情況
  • 因果機器學習
  • 時間序列
成為VIP會員查看完整內容
5
86
0

機器學習應用在高風險領域(如刑事判決、醫學測試、在線廣告等)的流行,至關重要的是要確保這些決策支持係統不會傳播曆史數據中可能存在的現有偏見或歧視。一般來說,在算法公平文獻中有兩個關於公平的中心概念。第一個是個體公平,它要求公平的算法以相似的方式對待相似的個體。然而,在實踐中,通常很難找到或設計一個社會可接受的距離度量來捕獲個體之間關於特定任務的相似性。相反,在這篇博客文章中,我們關注的是公平的第二個概念,群體公平,更具體地說是統計上的平等,這本質上要求預測器的結果在不同的子群體中是平等的。

成為VIP會員查看完整內容
2
23
0

題目: Learning Causality and Learning with Causality: A Road to Intelligence

摘要: 吸煙會引起癌症嗎?通過分析兩個變量的觀測值,我們能否找到它們之間的因果關係?在我們的日常生活和科學中,人們經常試圖回答此類因果問題,目的是正確理解和操縱係統。在過去的幾十年中,為了回答這些問題,在機器學習,統計和哲學等領域取得了有趣的進步。此外,我們還經常關注如何在複雜的環境中進行機器學習。例如,我們如何在非平穩環境中做出最佳預測?有趣的是,最近發現因果信息可以促進理解和解決各種機器學習問題,包括遷移學習和半監督學習。這篇演講回顧了因果關係研究中的基本概念,並側重於如何從觀察數據中學習因果關係,以及因果關係為何以及如何幫助機器學習和其他任務。最後,我將討論為什麼因果表達很重要以便實現通用人工智能。

報告人: 張坤 博士 美國卡內基梅隆大學,也是德國馬克斯·普朗克智能係統研究所的高級研究科學家。他的研究興趣在於機器學習和人工智能,尤其是因果發現,基於因果關係的學習和通用人工智能。他從因果關係的角度開發了用於自動發現因果關係的方法,從因果關係角度研究學習問題,尤其是轉移學習,概念學習和深度學習,並研究了因果關係和各種機器學習任務的哲學基礎。他曾擔任大型機器學習或人工智能會議的區域主席或高級程序委員會成員,包括NeurIPS,UAI,ICML,AISTATS,AAAI和IJCAI。他組織了各種學術活動,以促進因果關係的跨學科研究。

成為VIP會員查看完整內容
26
92
0

報告主題:Learning Causality and Learning with Causality: A Road to Intelligence

報告摘要

吸煙會引起癌症嗎?通過分析兩個變量的觀測值,我們能否找到它們之間的因果關係?在我們的日常生活和科學中,人們經常試圖回答此類因果問題,目的是正確理解和操縱係統。在過去的幾十年中,為了回答這些問題,在機器學習,統計和哲學等領域取得了有趣的進步。此外,我們還經常關注如何在複雜的環境中進行機器學習。例如,我們如何在非平穩環境中做出最佳預測?有趣的是,最近發現因果信息可以促進理解和解決各種機器學習問題,包括遷移學習和半監督學習。這篇演講回顧了因果關係研究中的基本概念,並側重於如何從觀察數據中學習因果關係,以及因果關係為何以及如何幫助機器學習和其他任務。最後,我將討論為什麼因果表達很重要以便實現通用人工智能。

邀請嘉賓:美國卡耐基梅隆大學張坤博士

嘉賓簡介

張坤博士是卡內基梅隆大學哲學係的助理教授和機器學習係的副教授,也是德國馬克斯·普朗克智能係統研究所的高級研究科學家。他的研究興趣在於機器學習和人工智能,尤其是因果發現,基於因果關係的學習和通用人工智能。他從因果關係的角度開發了用於自動發現因果關係的方法,從因果關係角度研究學習問題,尤其是轉移學習,概念學習和深度學習,並研究了因果關係和各種機器學習任務的哲學基礎。他曾擔任大型機器學習或人工智能會議的區域主席或高級程序委員會成員,包括NeurIPS,UAI,ICML,AISTATS,AAAI和IJCAI。他組織了各種學術活動,以促進因果關係的跨學科研究。

成為VIP會員查看完整內容
5
56
0

課程介紹

在人工智能、統計學、計算機係統、計算機視覺、自然語言處理和計算生物學等許多領域中的問題,都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這些普遍問題提供了統一的視角解決方案,支持在具有大量屬性和龐大數據集的問題中進行有效的推理、決策和學習。本研究生課程將為您運用圖模型到複雜的問題和解決圖模型的核心研究課題提供堅實的基礎。

課程大綱

  • 模塊1 - 簡介,表示形式和精確推斷
  • 模塊2 - 近似推斷
  • 模塊3 - 深度學習和生成模型
  • 模塊4 - 通過GM中的推理進行強化學習和控製
  • 模塊5 - 非參數方法
  • 模塊6 - 模塊化和可擴展的算法和係統

講師:邢波

講師簡介

邢波,卡耐基梅隆大學教授,曾於2014年擔任國際機器學習大會(ICML)主席。主要研究興趣集中在機器學習和統計學習方法論及理論的發展,和大規模計算係統和架構的開發。他創辦了Petuum 公司,這是一家專注於人工智能和機器學習的解決方案研發的公司,騰訊曾投資了這家公司。

個人主頁

http://www.cs.cmu.edu/~epxing/

成為VIP會員查看完整內容
8
50
0
小貼士
相關主題
微信掃碼谘詢專知VIP會員
Top