因果性是現在機器學習關注的焦點之一。倫敦大學學院和牛津大學的學者發布了《因果機器學習》綜述,非常值得關注!
因果機器學習(CausalML)是將數據生成過程形式化為結構因果模型(SCM)的機器學習方法的總稱。這使得人們可以對這一過程的變化的影響(即幹預)和事後會發生什麼(即反事實)進行推理。根據他們所解決的問題,我們將CausalML中的工作分為五組:(1)因果監督學習,(2) 因果生成模型,(3) 因果解釋,(4) 因果公平,(5) 因果強化學習。對每一類方法進行了係統的比較,並指出了有待解決的問題。此外,我們回顧了特定模式在計算機視覺、自然語言處理和圖形表示學習中的應用。最後,我們提供了因果基準的概述,並對這一新興領域的狀態進行了批判性的討論,包括對未來工作的建議。
引言
機器學習(ML)技術今天擅長在獨立和同分布(i.i.d)數據中尋找關聯。一些基本原則,包括經驗風險最小化、反向傳播和架構設計中的歸納偏差,已經為解決計算機視覺、自然語言處理、圖表示學習和強化學習等領域的問題帶來了巨大的進步。然而,在將這些模型部署到現實環境中時,出現了新的挑戰。這些挑戰包括: (1) 當數據分布轉移[1]時泛化性能大幅下降,(2) 生成模型[2]樣本缺乏細粒度控製,(3) 有偏見的預測強化了某些子種群的不公平歧視[3,4],(4) 可解釋性[5]的概念過於抽象和問題獨立,(5)強化學習方法對真實世界問題[6]的不穩定轉換。
許多工作認為,這些問題的部分原因在於現代ML係統缺乏因果形式主義[7,8,9,10,11]。隨後,研究社區對因果機器學習(CausalML)的興趣激增,這是利用關於被建模係統的因果知識的方法本調查涵蓋了因果關係如何被用來解決開放式ML問題。簡而言之,因果推理提供了一種語言,通過結構因果模型(SCMs)[12]將關於數據生成過程(DGP)的結構知識形式化。使用SCM,我們可以估計在對數據生成過程進行更改(稱為幹預)後,數據會發生什麼變化。更進一步,它們還允許我們在事後模擬變化的後果,同時考慮實際發生的情況(稱為反事實)。我們將在第2章中更詳細地介紹這些概念,假設沒有因果關係的先驗知識。
盡管在設計各種類型的CausalML算法方麵做了大量的工作,但仍然缺乏對其問題和方法論的明確分類。我們認為,部分原因在於CausalML通常涉及對大部分ML不熟悉的數據的假設,這些假設在不同的問題設置之間聯係起來通常很棘手,這使得很難衡量進展和適用性。這些問題是本次綜述的動機。
**1. 我們對完全獨立的因果關係中的關鍵概念進行了簡單的介紹(第2章)。**我們不假設對因果關係有任何先驗知識。在整個過程中,我們給出了如何應用這些概念來幫助進一步的地麵直覺的例子。
2. 我們將現有的CausalML工作分類為因果監督學習(第3章)、因果生成模型(第4章)、因果解釋(第5章)、因果公平(第6章)、因果強化學習(第7章)。對於每個問題類,我們比較現有的方法,並指出未來工作的途徑。
3.我們回顧了特定模式在計算機視覺、自然語言處理和圖表示學習中的應用(第8章),以及因果基準(第9章)。
4. 我們討論了好的、壞的和醜陋的:我們關於與非因果ML方法相比,因果ML可以給我們帶來哪些好處的觀點(好的),人們必須為這些方法付出什麼代價(壞的),以及我們警告從業者要防範哪些風險(醜陋的)(第10章)。
結論發現**