目錄內容:

Part 1: 深度學習模型複雜度 Deep Learning Model Complexity

Part 2: 表示容量 Expressive Capacity

Part 3: 有效性複雜度 Effective Complexity

Part 4: 應用實例 Application Examples

Part 5: Conclusion

https://www.sfu.ca/~huxiah/sdm21_tutorial.html

"> 裴健等SDM2021「深度學習模型複雜性」教程,100頁PPT闡述深度學習模型框架、模型規模、優化過程和數據複雜性 - 專知VIP

深度學習在許多應用中具有破壞性,主要是由於其優越的性能。與此同時,關於深度學習的許多基本問題仍未得到解答。深度神經網絡的模型複雜度就是其中之一。模型複雜性是指一個深度模型能夠表達的問題有多複雜,以及具有給定參數的模型的函數有多非線性和複雜。

在機器學習、數據挖掘和深度學習中,模型複雜性一直是一個重要的基本問題。模型複雜度影響模型對特定問題和數據的可學習性,也影響模型對未知數據的泛化能力。此外,學習模型的複雜性不僅受到模型體係結構本身的影響,還受到數據分布、數據複雜性和信息量的影響。近年來,模型複雜性已成為一個越來越活躍的方向,並在模型體係結構搜索、圖表示、泛化研究和模型壓縮等許多領域發展了理論指導意義。

我們提出這個教程來概述關於深度學習模型複雜性的最新研究。本文將模型複雜性研究分為模型表達能力和有效模型複雜性兩個方向,並對這兩個方向的最新進展進行了綜述。此外,我們還介紹了深度學習模型複雜性的一些應用實例,以說明其實用性。

目錄內容:

Part 1: 深度學習模型複雜度 Deep Learning Model Complexity

Part 2: 表示容量 Expressive Capacity

Part 3: 有效性複雜度 Effective Complexity

Part 4: 應用實例 Application Examples

Part 5: Conclusion

https://www.sfu.ca/~huxiah/sdm21_tutorial.html

成為VIP會員查看完整內容
0
23
0

相關內容

本文將介紹華為諾亞推薦與搜索實驗室和上海交通大學APEX實驗室的聯合研究成果,關於深度點擊率預估模型的綜述。本論文是第一篇係統性介紹深度點擊率預估模型的綜述,且被IJCAI 2021 Survey Track收錄。

論文:Deep Learningfor Click-Through Rate Estimation,https://arxiv.org/abs/2104.10584(點擊底部左下角“閱讀原文”可直接進入)

點擊率預估問題背景

點擊率預估 (CTR estimation) 是在線信息係統的核心模塊之一,廣泛應用於推薦係統、付費廣告、搜索引擎等產品和業務中。隨著深度學習的廣泛應用,深度點擊率預估模型被廣泛用於工業界的線上係統中,並取得了顯著的業務效果提升。

本文首先回顧淺層模型到深度CTR模型的演化過程,之後重點介紹近年來深度CTR模型發展主要集中的三個方麵:深度特征交互模型、深度行為模型和AutoML在深度CTR模型中的應用。我們從模型capacity和對特征工程的需求程度這兩個維度總結了CTR模型的發展脈絡,如圖1。一方麵,從淺層模型到深度模型,由於模型建模能力的增強,對於特征工程的需求在下降,不再需要對特征工程進行過多的人工幹預。而另一方麵,隨著模型複雜度的增加以及設計更複雜模型帶來的邊際收益減小,開始有工作重新將注意力集中到如何設計和抽取更有效的特征,並通過可學習的方式自動進行特征工程。將複雜模型與更好的特征工程融合是目前深度CTR模型發展的重要趨勢。

圖1:CTR預測模型發展趨勢

從淺層CTR模型到早期深度CTR模型

早期的淺層模型以LR為起點,通過線性函數建模特征。POLY2 [1]在一階特征之外引入二階特征,但無法較好地處理二階特征稀疏性帶來的問題。FM[2]及其各種變體(如FFM、HOFM、FwFM等)在POLY2的基礎上將交互特征建模為低維的稠密向量的乘積,較好地解決了高階特征交互稀疏的問題。

隨著深度學習的興起,DNN開始被應用於CTR任務中。早期的深度CTR模型將稀疏特征表達為低維稠密向量(feature embedding)並在拚接後直接輸入DNN。Wide&Deep [3]、DeepCross [4]等模型為這個時期的代表工作。雖然這些工作取得了顯著的效果提升,但是一些研究工作[5, 6]發現DNN並不能很好地學習到特征交互的模式。因此,我們在第三章討論深度特征交互模型,第四章討論深度行為模型,第五章討論自動網絡搜索模型。這三類模型的關係為:(1) 特征交互的學習主要聚焦於在同一條樣本的特征之間挖掘交互模式,(2) 用戶行為建模探索同一個用戶不同樣本之間的依賴關係,(3) 而自動網絡搜索模型嚐試去自動化地設計上述兩類模型結構。

深度特征交互模型

特征交互建模對CTR模型的預測能力至關重要,但是僅僅依靠DNN很難有效學習複雜的特征交互 [5, 6]。因此很多工作探索DNN結合不同的算子顯式建模特征交互來提升DNN的建模能力。

圖2:三種典型的特征交互算子

典型的用於特征交互建模的算子可以分為三類:乘積算子,卷積算子和注意力算子,如圖2所示。PNN [7]、DeepFM[8]等工作采用乘積算子如內積、外積等來顯式建模特征交互;CCPM [9]、FGCNN [10]等工作采用歐式空間或圖上的卷積來建模特征交互;AFM [11]、FiBiNET [12]則聚焦於采用注意力算子給特征交互賦予不同的注意力權重以提升推薦性能。

特征交互的算子除了類型的不同之外,它們和DNN的結合模式也得到了大量的研究。根據結合方式的不同,已有的工作可以分為兩類:單塔網絡和雙塔網絡,如圖3所示。單塔網絡將特征交互算子和DNN串行放置,雙塔網絡將特征交互算子和DNN並行放置。一般來說,單塔網絡的模型capacity更大,但雙塔網絡訓練更平穩,實際性能更好。

圖3:單塔和雙塔CTR網絡結構

深度行為模型

深度行為模型重點學習用戶的行為模式,通過對用戶曆史行為的建模預測其未來的行為,捕捉用戶興趣隨時間的變化。如圖4所示,用戶的行為特征是一個多值特征,深度行為模型通過各種不同的結構將用戶行為學習為一個統一的表達並與其他特征拚接在一起進行CTR預測。

圖4:用戶行為模型的通用框架

對於深度行為CTR模型,按照技術路線的不同,可以大致分為三類。第一類是基於注意力機製的模型,典型代表為DIN [13]、DIEN [14]、BST、DSIN等。注意力機製主要用來對不同的用戶行為賦予不同的重要性。第二類是基於記憶神經網絡的模型,這類模型重點建模超長序列的用戶行為,典型代表如HPMN [15],MIMN [16]等。第三類是基於檢索的行為模型,這類方法根據預測目標的不同,動態地從用戶長時間的曆史序列中檢索出合適的行為輔助CTR預測,這類模型主要包括UBR4CTR [17]與SIM [18]等。用戶行為建模是深度CTR模型發展中的一個重要路線。

自動網絡搜索模型

自動網絡搜索模型通過AutoML技術,對深度推薦模型的各個部分進行自動化的設計。根據應用在不同分不分,這些自動網絡搜索模型可以分為三類。第一類是為每個特征自動化設計feature embedding的維度。其中,有的工作 [19, 20]將這項任務建模成離散選擇過程,通過強化學習 (RL) 來進行搜索;有的工作將這項任務建模成連續選擇過程,通過hardselection [21, 22]或者soft selection [23, 24]方式來找到合適的embedding維度。第二類是自動化地篩選或者生成有效的特征交互。其中,AutoFIS[25]自動化地篩選有效的特征交互,SIF [26]、AutoFeature[27] 自動為不同的特征交互設計不同的交互函數,AutoGroup [28]自動化地生成有效的特征集合。第三類是對整個網絡架構的自動搜索,AutoCTR [29]自動探索多種子模塊之間關係以生成網絡架構,AMER [30]同時自動探索有效的特征交互和有效的用戶行為建模方式。

盡管深度CTR模型近年來飛速發展,取得了巨大的成功,但是這個領域依然麵臨一些挑戰。第一,盡管許多深度CTR模型被提出,但是很少有工作研究這些模型的深度學習理論。第二,預訓練技術在深度CTR模型中沒有被很好的研究。第三,多模態特征在深度CTR模型中沒有得到很好的應用。第四,沒有將數據預處理和特征選取過程與深度CTR模型的訓練結合起來。

相關文獻

[1] Yin-Wen Chang, Cho-Jui Hsieh, Kai-WeiChang, Michael Ringgaard, and Chih-Jen Lin. Training and testing low-degree polynomial data mappings via linear svm. Journal of Machine Learning Research,11(4), 2010.

[2] Steffen Rendle. Factorization machines.In ICDM, 2010.

[3] Heng-Tze Cheng, Levent Koc, Jeremiah Harmsen, Tal Shaked, Tushar Chandra, Hrishi Aradhye, Glen Anderson, Greg Corrado, Wei Chai, Mustafa Ispir, et al. Wide & deep learning for recommender systems. In 1st DLRS workshop, pages 7–10, 2016.

[4] Ying Shan, T Ryan Hoens, Jian Jiao,Haijing Wang, Dong Yu, and JC Mao. Deep crossing: Webscale modeling without manually crafted combinatorial features. In KDD, pages 255–262, 2016.

[5] Yanru Qu, Bohui Fang, Weinan Zhang, Ruiming Tang, Minzhe Niu, Huifeng Guo, Yong Yu, and Xiuqiang He.Product-based neural networks for user response prediction over multi-field categorical data. TOIS, 37(1):1–35, 2018.

[6] Steffen Rendle, Walid Krichene, Li Zhang, and John Anderson. Neural collaborative filtering vs. matrix factorization revisited. In RecSys, 2020.

[7] Yanru Qu, Han Cai, Kan Ren, Weinan Zhang, Yong Yu, Ying Wen, and Jun Wang. Product-based neural networks for user response prediction. In ICDM, pages 1149–1154, 2016.

[8] Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, and Xiuqiang He. Deepfm: a factorization-machine based neural network for ctr prediction. IJCAI,2017.

[9] Qiang Liu, Feng Yu, Shu Wu, and Liang Wang. A convolutional click prediction model. In CIKM, 2015.

[10] Bin Liu, Ruiming Tang, Yingzhi Chen,Jinkai Yu, Huifeng Guo, and Yuzhou Zhang. Feature generation by convolutional neural network for click-through rate prediction. In WWW, pages 1119–1129,2019.

[11] Jun Xiao, Hao Ye, Xiangnan He,Han-wang Zhang, Fei Wu, and Tat-Seng Chua. Attentional factorization machines: Learning the weight of feature interactionsvia attention networks. IJCAI, 2017.

[12] Tongwen Huang, Zhiqi Zhang, andJun-lin Zhang. Fibinet: combining feature importance and bilinear feature interaction for click-through rate prediction. InRecSys, pages 169–177, 2019.

[13] Guorui Zhou, Xiaoqiang Zhu, ChenruSong, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai.Deep interest network for click- through rate prediction. In KDD, 2018.

[14] Guorui Zhou, Na Mou, Ying Fan, Qi Pi,Weijie Bian, Chang Zhou, Xiaoqiang Zhu, and Kun Gai. Deep interest evolution network for click-through rate pre- diction. In AAAI, volume 33, pages5941–5948, 2019.

[15] Kan Ren, Jiarui Qin, Yuchen Fang, WeinanZhang, Lei Zheng, Weijie Bian, Guorui Zhou, Jian Xu, Yong Yu, Xiaoqiang Zhu, etal. Lifelong sequential modeling with personalized memorization for user response prediction. In SIGIR, 2019.

[16] Qi Pi, Weijie Bian, Guorui Zhou,Xiaoqiang Zhu, and Kun Gai. Practice on long sequential user behavior modeling for click-through rate prediction. In KDD, 2019.

[17] Jiarui Qin, W. Zhang, Xin Wu, Jiarui Jin, Yuchen Fang, and Y. Yu. User behavior retrieval for click- through rate prediction. In SIGIR, 2020.

[18] Pi Qi, Xiaoqiang Zhu, Guorui Zhou,Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan, and Kun Gai. Search-based user interest modeling with lifelong sequential behavior data for click-through rate prediction. In CIKM, 2020.

[19] Manas R. Joglekar, Cong Li, Mei Chen,Taibai Xu, Xiaoming Wang, Jay K. Adams, Pranav Khaitan, Jiahui Liu, and Quoc V. Le. Neural input search for large scale recommendation models. In KDD, 2020.

[20] Haochen Liu, Xiangyu Zhao, Chong Wang,Xiaobing Liu, and Jiliang Tang. Automated embedding size search in deep recommender systems. In SIGIR, pages 2307–2316, 2020.

[21] Weiyu Cheng, Yanyan Shen, and Linpeng Huang. Differentiable neural input search for recommender systems. CoRR,abs/2006.04466, 2020.

[22] Siyi Liu, Chen Gao, Yihong Chen, Depeng Jin, and Yong Li. Learnable embedding sizes for recommender systems. CoRR,abs/2101.07577, 2021.

[23] Xiangyu Zhao, Haochen Liu, Hui Liu,Jiliang Tang, Weiwei Guo, Jun Shi, Sida Wang, Huiji Gao, and Bo Long.Memory-efficient embedding for recommendations. CoRR, abs/2006.14827, 2020.

[24] Xiangyu Zhao, Chong Wang, Ming Chen,Xudong Zheng, Xiaobing Liu, and Jiliang Tang.Autoemb: Automated embedding dimensionality search in streaming recommendations. CoRR, abs/2002.11252, 2020.

[25] Bin Liu, Chenxu Zhu, Guilin Li, Weinan Zhang, Jincai Lai, Ruiming Tang, Xiuqiang He, Zhenguo Li, and Yong Yu. Autofis:Automatic feature interaction selection in factorization models for click-through rate prediction. In KDD, pages 2636–2645, 2020.

[26] Quanming Yao, Xiangning Chen, James T.Kwok, Yong Li, and Cho-Jui Hsieh. Efficient neural interaction function searchfor collaborative filtering. In WWW, pages 1660–1670, 2020.

[27] Farhan Khawar, Xu Hang, Ruiming Tang,Bin Liu, Zhenguo Li, and Xiuqiang He. Autofeature: Searching for feature interactions and their architectures for click-through rate prediction. InCIKM, 2020.

[28] Bin Liu, Niannan Xue, Huifeng Guo,Ruiming Tang, Stefanos Zafeiriou, Xiuqiang He, and Zhenguo Li. Autogroup:Automatic feature grouping for modelling explicit high-order feature interactions in ctr prediction. In SIGIR, pages 199–208, 2020.

[29] Qingquan Song, Dehua Cheng, Hanning Zhou, Jiyan Yang, Yuandong Tian, and Xia Hu. Towards automated neural interaction discovery for click-through rate prediction. In KDD, pages 945–955,2020.

[30] Pengyu Zhao, Kecheng Xiao, Yuanxing Zhang, Kaigui Bian, and Wei Yan. AMER: automatic behavior modeling and interaction exploration in recommender system. CoRR, abs/2006.05933, 2020.

成為VIP會員查看完整內容
0
19
0

社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法,促進下遊任務的完成,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由於其強大的表示學習能力,GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來,它已成為一個熱門的研究課題,越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題,包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基於GNNs的應用程序。

目錄內容:

  • 引言 Introduction
  • 基礎 Foundations
  • 模型 Models
  • 應用 Applications

https://cse.msu.edu/~wangy206/tutorials/sdm2021/

成為VIP會員查看完整內容
0
35
0

推薦係統在我們的日常生活中發揮著越來越重要的作用,特別是在許多以用戶為導向的在線服務中,推薦係統在緩解信息過載問題方麵發揮著重要作用。推薦係統的目標是通過利用用戶和物品的交互來提高匹配的準確性,識別出一組最符合用戶顯性或隱性偏好的對象(即物品)。

隨著深度神經網絡(DNNs)在過去幾十年的快速發展,推薦技術已經取得了良好的性能。然而,現有的基於DNN的方法在實踐中存在一些缺陷。更具體地說,他們認為推薦過程是一個靜態的過程,並按照一個固定的貪心策略進行推薦; 現有的大多數基於DNN的推薦係統都是基於手工製作的超參數和深度神經網絡架構;它們將每個交互視為單獨的數據實例,而忽略了實例之間的關係。

在本教程中,我們將全麵介紹深度推薦係統中解決上述問題的先進技術的最新進展,包括深度強化學習(DRL)、自動機器學習(AutoML)和圖神經網絡(GNN)。

通過這種方式,我們希望這三個領域的研究人員能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進推薦技術的發展。

https://deeprs-tutorial.github.io/

成為VIP會員查看完整內容
0
75
1

模型複雜性是深度學習的一個基本問題。

本文對深度學習中模型複雜性的最新研究進行了係統的綜述。深度學習的模型複雜度可分為表達能力和有效模型複雜度。

從模型框架、模型規模、優化過程和數據複雜性四個方麵回顧了現有的研究成果。我們還討論了深度學習模型複雜性的應用,包括理解模型泛化能力、模型優化、模型選擇和設計。

最後,我們提出幾個有趣的未來方向。

//www.webtourguide.com/paper/f7c683dfd6eb2f07eba0ed31d337345c

引言

主要由於其優越的性能,深度學習在許多應用中具有破壞性,如計算機視覺[40]、自然語言處理[55]和計算金融[91]。然而,與此同時,關於深度學習模型的一係列基本問題仍然存在,如為什麼深度學習的表達能力比經典機器學習模型有很大提高,如何理解和量化深度模型的泛化能力,如何理解和改進優化過程等。深度學習的模型複雜性是一個核心問題,與許多基礎性問題有關。

深度學習的模型複雜性關注的是,對於某種深度學習體係結構,深度學習模型能夠表達多複雜的問題[15,44,70,89]。理解深度模型的複雜性是準確理解模型的能力和局限性的關鍵。探索模型複雜性不僅是理解深度模型本身的必要條件,也是研究許多其他相關基本問題的必要條件。例如,從統計學習理論的觀點來看,利用模型的表達能力來限製泛化誤差[69]。最近一些研究提出了基於範數的模型複雜度[60]和基於靈敏度的模型複雜度[76,81]來探討深度模型的泛化能力。此外,在訓練過程中檢測模型複雜性的變化可以為理解和提高模型優化和正則化的性能提供見解[44,74,89]。

對機器學習模型複雜性的研究可以追溯到幾十年前。20世紀90年代的一係列早期研究討論了經典機器學習模型的複雜性[16,20,21,98]。其中具有代表性的模型是決策樹[19],其複雜性總是通過樹的深度[20]和葉節點數量[16]來度量的。模型複雜性分析的另一個常見課題是邏輯回歸,它是大量參數化模型的基礎。從Vapnik-Chervonenicks理論[26,96]、Rademacher複雜性[46]、Fisher信息矩陣[21]和[6]模型的razor等角度研究logistic回歸模型的複雜性。在這裏,模型剃刀是一個理論指標,比較一個參數模型家族的真實分布的複雜性。然而,深度學習模型與幾十年前討論的經典機器學習模型有很大的不同[70]。經典機器學習模型的複雜性分析不能直接應用或直接推廣到深度模型。

近年來,深度學習中的模型複雜性受到了越來越多的關注[13,60,70,78,81,89]。然而,據我們所知,目前還沒有關於深度學習中模型複雜性的研究。缺乏對這一新興和重要課題的調研促使我們對最新研究進行調查。在本文中,我們交替使用術語“深度學習模型”和“深度神經網絡”。幾十年前就有大量關於經典機器學習模型複雜性的研究,優秀的研究綜述了這些研究[20,21,61,93]。在本節中,我們將非常簡要地回顧幾個典型模型的複雜性,包括決策樹、邏輯回歸和貝葉斯網絡模型。討論了深度神經網絡的模型複雜度與其他模型的不同之處。

深度學習模型在結構上與傳統的機器學習模型不同,具有更多的參數。深度學習模型總是比傳統模型複雜得多。因此,以往對傳統機器學習模型的複雜性建模方法不能直接應用於深度學習模型,以獲得有效的複雜性測度。例如,用樹的深度[20,98]和葉節點數[16,61]來衡量決策樹的複雜性顯然不適用於深度學習模型。通過[46]可訓練參數的數量來衡量模型的複雜性對深度學習模型的影響非常有限,因為深度學習模型往往過於參數化。

本次綜述的其餘部分組織如下。

在第2節中,我們介紹了深度學習模型的複雜性以及這兩類模型的表達能力和有效模型複雜性。

在第3節中,我們回顧了關於深度學習模型表達能力的現有研究。

在第4節中,我們綜述了關於深度學習模型有效複雜性的現有研究。

在第5節中,我們將討論深度學習模型複雜性的應用。

在第6節中,我們總結了這一研究並討論了一些未來的方向。

成為VIP會員查看完整內容
0
35
0

摘要:

域泛化(DG),即分布外泛化,近年來引起了越來越多的關注。領域泛化處理一個具有挑戰性的設置,其中給出了一個或幾個不同但相關的領域,目標是學習一個可以泛化到看不見的測試領域的模型。近年來,取得了很大的進展。本文首次綜述了領域泛化的最新進展。首先,我們給出了領域泛化的形式化定義,並討論了幾個相關的領域。接下來,我們對領域泛化的相關理論進行了全麵的回顧,並對泛化背後的理論進行了仔細的分析。然後,我們將最近出現的算法分為三類,分別是數據操作、表示學習和學習策略,每一類都包含了一些流行的算法。第三,介紹了常用的數據集及其應用。最後,對已有文獻進行了總結,並提出了未來的研究方向。

//www.webtourguide.com/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

機器學習(ML)在計算機視覺、自然語言處理和醫療保健等各個領域都取得了顯著的成功。ML的目標是設計一個可以從訓練數據中學習通用和預測性知識的模型,然後將該模型應用於新的(測試)數據。

傳統的ML模型訓練基於i.i.d.假設,訓練數據和測試數據是相同的,獨立分布的。然而,這種假設在現實中並不總是成立的。當訓練數據和測試數據的概率分布不同時,由於域分布的差異,ML模型的性能往往會下降。收集所有可能領域的數據來訓練ML模型是昂貴的,甚至是不可能的。因此,提高ML模型的泛化能力具有重要的工業和學術意義。

與廣義相關的研究課題有很多,如領域適應、元學習、遷移學習、協變量轉移等。近年來,領域泛化(DG)受到了廣泛的關注。如圖1所示,領域泛化的目標是從一個或幾個不同但相關的領域(即不同的訓練數據集)學習模型,這些領域將在看不見的測試領域上很好地泛化。

圖片

近年來,領域泛化在計算機視覺、自然語言處理等領域取得了長足的進展。除此之外,目前還沒有一項關於該領域的調查能夠全麵介紹和總結其主要思想、學習算法等相關問題,為未來的研究提供見解。

本文首先介紹了領域泛化的研究概況,重點介紹了領域泛化的公式、理論、算法、數據集、應用以及未來的研究方向。希望本研究能為相關研究者提供一個全麵的回顧,並對相關領域的研究有所啟發。

本文的結構組織如下。我們將在第2節中闡述領域概括並討論其與現有研究領域的關係。第3節介紹了領域泛化的相關理論。在第4節中,我們詳細描述了有代表性的DG方法。第5節介紹了應用程序,第6節介紹了DG的基準數據集。我們在第7節中總結了現有工作的見解,並提出了一些可能的未來方向。最後,在第8節對本文進行總結。

方法體係

領域泛化方法是我們的核心。本文將已有的領域泛化方法按照數據操作、表示學習、學習策略分為三大方麵,如下圖所示。

數據操作,指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表示學習,指的是學習領域不變特征(Domain-invariant representation learning)以使得模型對不同領域都能進行很好地適配。領域不變特征學習方麵主要包括四大部分:核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致,我們將其單獨作為一大類進行介紹。 學習策略,指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基於集成學習和元學習的方法。同時,我們還會介紹其他方法,例如自監督方法在領域泛化中的應用。

成為VIP會員查看完整內容
0
25
0

社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法,促進下遊任務的完成,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由於其強大的表示學習能力,GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來,它已成為一個熱門的研究課題,越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題,包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基於GNNs的應用程序。

目錄內容: 引言 Introduction 基礎 Foundations 模型 Models 應用 Applications

http://cse.msu.edu/~mayao4/tutorials/aaai2021/

成為VIP會員查看完整內容
0
87
0

地址:

https://book-wright-ma.github.io/

本書涵蓋了用於高維數據分析的新的數學原理(統計和幾何)、可擴展(凸和非凸)優化方法,以及重要的應用,如科學成像、寬帶通信、人臉識別、3D視覺和深度網絡。這本書將被用作數據科學、信號處理、優化和機器學習領域的研究生入門教科書。它已被用於課程EECS 290(伯克利)和ELEN 6886(哥倫比亞)。

在過去的二十年裏,高維空間中低維結構的研究有了巨大的發展。在很大程度上,具有代表性的低維模型(如稀疏和低秩以及它們的變體和擴展)的幾何和統計特性現在已經很好地理解了。在何種條件下,這些模型可以有效地和高效地從(最小采樣量)數據中恢複,已經清楚地描述了。為了從高維數據中恢複低維模型,已經開發了許多高效和可擴展的算法。對這些算法的工作條件和計算複雜性也進行了詳細的描述。這些新理論結果和算法已經徹底改變了科學和信號處理的實踐數據, 並對傳感、成像和信息處理產生了重要的影響。在科學成像、圖像處理、計算機視覺、生物信息學、信息檢索和機器學習等領域,我們已取得了顯著的技術進步。正如我們將從本書中介紹的應用程序中看到的,其中一些發展似乎違背了傳統智慧。

見證了這一曆史性的進步,我們認為,現在是全麵研究這一新知識體係並在統一的理論和計算框架下組織這些豐富成果的時候了。關於壓縮感知和稀疏模型的數學原理,已有許多優秀的書籍。然而,本書的目標是通過真正有效的計算,彌合低維模型在高維數據分析中的原理和應用之間的差距:

本書結構

這本書的主體包括三個相互關聯的部分: 原理、計算和應用(PCA)。本書還對相關的背景知識做了附錄。

第一部分: 原理(2-7章)提出了稀疏、低秩和一般低維模型的基本性質和理論結果。它描述了在保證正確性或精度的情況下,恢複這種低維結構的逆問題變得易於處理並且能夠有效地解決的條件。

第二部分: 計算(第8章和第9章)介紹了凸和非凸優化的方法,以開發用於恢複低維模型的實用算法。這些方法展示了如何係統地提高算法效率和降低整體計算複雜度,從而使生成的算法快速、可擴展到大尺寸和高維數據的強大思想。

第三部分: 應用(10到16章)演示了如何前麵兩部分的原理和計算方法可能價格不能提高解決各種現實問題和實踐。這些應用還指導如何適當地定製和擴展本書中介紹的理想化的模型和算法,以包含關於應用的其他領域特定知識(先驗或約束)。

最後的附錄(A-E)在書的最後是為了使這本書很大程度上是獨立的。

成為VIP會員查看完整內容
0
49
1

深度學習係統在許多任務中都取得了顯著的性能,但要確保生成的模型服從硬約束(在許多控製應用程序中可能經常需要這樣做),常常是出了名的困難。在這次演講中,我將介紹一些最近的關於在深度學習係統中加強不同類型的約束的工作。具體來說,我將重點介紹最近的一些工作,包括將一般的凸優化問題集成為深網絡中的層次,研究保證表示凸函數的學習網絡,以及研究增強非線性動力學的全局穩定性的深層動力係統。在所有情況下,我們都強調我們可以設計網絡結構來編碼這些隱性偏見的方式,這種方式可以讓我們輕鬆地執行這些硬約束。

成為VIP會員查看完整內容
0
30
0
小貼士
相關論文
Fangbing Liu,Qing Wang
1+閱讀 · 6月17日
Lars Diening,Johannes Storn
0+閱讀 · 6月16日
SeongKu Kang,Junyoung Hwang,Wonbin Kweon,Hwanjo Yu
7+閱讀 · 6月16日
Yuzhou Chen,Ignacio Segovia-Dominguez,Yulia R. Gel
8+閱讀 · 5月10日
Lichao Sun,Jianwei Qian,Xun Chen,Philip S. Yu
4+閱讀 · 2020年7月31日
Mi Luo,Fei Chen,Pengxiang Cheng,Zhenhua Dong,Xiuqiang He,Jiashi Feng,Zhenguo Li
4+閱讀 · 2020年2月13日
A Modern Introduction to Online Learning
Francesco Orabona
14+閱讀 · 2019年12月31日
CornerNet-Lite: Efficient Keypoint Based Object Detection
Hei Law,Yun Teng,Olga Russakovsky,Jia Deng
3+閱讀 · 2019年4月18日
Top