https://neu-spiral.github.io/LearningFromComparisons/

Parametric models: Bradley-Terry, Plackett-Luce, Thurstone. Non-parametric Models: noisy-permutation model, Mallows model, matrix factorization methods. Maximum Likelihood Estimation and spectral algorithms. Ranking regression and variational inference methods applied to comparisons. Sample complexity guarantees for ranking regression. Deep neural network models and accelerated learning methods. Active learning from comparisons.

"> WWW21最新「比較學習」教程,135頁PPT闡述從排名數據中學習 - 專知VIP

人類生成的類別標簽通常是嘈雜的,因為從多個專家收集的數據在不同標簽之間表現出不一致。為了改善這一效果,一種方法是要求標記者對樣本進行比較或排序:當類別標簽被排序時,麵對兩個或更多樣本的標記者可以根據類別的從屬關係對它們按w.r.t.的相對順序進行排序。比較比類別標簽更能提供信息,因為它們捕捉了類別之間和類別內部的關係;後者並不僅僅通過類別標簽來揭示。此外,在實踐中,比較標簽的可變性減少了:這在許多領域的實驗中都觀察到了,這是因為人們經常發現做出相對判斷比做出絕對判斷更容易。

然而,從比較中學習帶來了計算上的挑戰回歸排名特征是一個計算密集型任務。從樣本之間的成對比較中學習對應於對(^2)比較標簽的推理。更一般地,從大小為K的樣本子集的排名中學習對應於對(^K)標簽的推理。這需要顯著改善性能,例如,最大似然估計(MLE)算法在這樣的數據集。最後,收集排名也是勞動密集型的。這正是因為要標記的勢集的大小為K的空間的大小為(^K)。

本教程將回顧經典的和最近的方法來解決從比較中學習的問題,更廣泛地說,從排名數據中學習。將特別關注排名回歸設置,即排名是從樣本特征回歸。

https://neu-spiral.github.io/LearningFromComparisons/

Parametric models: Bradley-Terry, Plackett-Luce, Thurstone. Non-parametric Models: noisy-permutation model, Mallows model, matrix factorization methods. Maximum Likelihood Estimation and spectral algorithms. Ranking regression and variational inference methods applied to comparisons. Sample complexity guarantees for ranking regression. Deep neural network models and accelerated learning methods. Active learning from comparisons.

成為VIP會員查看完整內容
0
34
0

相關內容

現代數據分析方法被期望處理大量的高維數據,這些數據被收集在不同的領域。這種數據的高維性帶來了許多挑戰,通常被稱為“維數災難”,這使得傳統的統計學習方法在分析時不切實際或無效。為了應對這些挑戰,人們投入了大量精力來開發幾何數據分析方法,這些方法對處理數據的固有幾何形狀進行建模和捕獲,而不是直接對它們的分布進行建模。在本課程中,我們將探討這些方法,並提供他們使用的模型和算法的分析研究。我們將從考慮監督學習開始,並從後驗和似然估計方法中區分基於幾何原則的分類器。接下來,我們將考慮聚類數據的無監督學習任務和基於密度估計的對比方法,這些方法依賴於度量空間或圖結構。最後,我們將考慮內在表示學習中更基本的任務,特別關注降維和流形學習,例如,使用擴散圖,tSNE和PHATE。如果時間允許,我們將包括與本課程相關的研究領域的客座演講,並討論圖形信號處理和幾何深度學習的最新發展。

目錄內容:

Topic 01 - Intoduction (incl. curse of dimensionality & overiew of data analysis tasks)

Topic 02 - Data Formalism ((incl. summary statistics, data types, preprocessing, and simple visualizations)

Topic 03 - Bayesian Classification (incl. decision boundaries, MLE, MAP, Bayes error rate, and Bayesian belief networks)

Topic 04 - Decision Trees (incl. random forests, random projections, and Johnson-Lindenstrauss lemma)

Topic 05 - Principal Component Analysis (incl. preprocessing & dimensionality reduction)

Topic 06 - Support Vector Machines (incl. the "kernel trick" & mercer kernels)

Topic 07 - Multidimensional Scaling (incl. spectral theorem & distance metrics)

Topic 08 - Density-based Clustering (incl. intro. to clustering & cluster eval. with RandIndex)

Topic 09 - Partitional Clustering (incl. lazy learners, kNN, voronoi partitions)

Topic 10 - Hierarchical Clustering (incl. large-scale & graph partitioning)

Topic 11 - Manifold Learning (incl. Isomap & LLE)

Topic 12 - Diffusion Maps

成為VIP會員查看完整內容
0
28
2

因果學習

因果推理在許多領域都很重要,包括科學、決策製定和公共政策。確定因果關係的金標準方法使用隨機控製擾動實驗。然而,在許多情況下,這樣的實驗是昂貴的、耗時的或不可能的。從觀察數據中獲得因果信息是可替代的一種選擇,也就是說,從通過觀察感興趣係統獲得的數據中獲得而不使其受到幹預。在這次演講中,我將討論從觀察數據中進行因果學習的方法,特別關注因果結構學習和變量選擇的結合,目的是估計因果效果。我們將用例子來說明這些概念。

成為VIP會員查看完整內容
0
82
2

來自台灣國立清華大學吳尚鴻副教授主講的《大規模機器學習》教程,內容包括深度學習概述與學習理論。

本課程介紹深度學習的概念和實踐。課程由三個部分組成。在第一部分中,我們快速介紹了經典機器學習,並回顧了一些需要理解深度學習的關鍵概念。在第二部分中,我們將討論深度學習與經典機器學習的不同之處,並解釋為什麼它在處理複雜問題如圖像和自然語言處理時是有效的。我們將介紹各種CNN和RNN模型。在第三部分,我們介紹了深度強化學習及其應用。

本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用並詳細解釋。

本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用並詳細解釋。

目錄內容:

  • Introduction 引言
  • Linear Algebra 線性代數
  • Data Exploration & PCA (Bonus) 數據探索
  • Probability & Information Theory 概率與信息理論
  • Decision Trees & Random Forest (Bonus) 決策樹與隨機森林
  • 數值優化 Numerical Optimization
  • 感知器 Perceptron & Adaline (Bonus)
  • 回歸 Regression (Bonus)
  • 學習理論與正則 Learning Theory & Regularization
  • 正則化 Regularization
  • 概率模型 Probabilistic Models
  • 線性回歸與度量 Logistic Regression & Metrics
  • 非參數方法 Non-Parametric Methods & SVMs (Suggested Reading)
  • 支持向量機 SVMs & Scikit-Learn Pipelines (Bonus)
  • 交叉驗證 Cross Validation & Ensembling (Suggested Reading)
  • 集成 CV & Ensembling (Bonus)
  • 預測 Predicting News Popularity
  • 大規模機器學習 Large-Scale Machine Learning
  • 深度神經網絡設計 Neural Networks: Design
  • 神經網絡 Neural Networks from Scratch (No Assignment)
  • TensorFlow 101 (No Assignment)
  • 神經網絡 Neural Networks: Optimization & Regularization
  • Word2Vec
  • 卷積神經網絡 Convolutional Neural Networks
  • Convolutional Neural Networks & Data Pipelines
  • 循環神經網絡 Recurrent Neural Networks
成為VIP會員查看完整內容
0
38
3

不確定性的概念在機器學習中是非常重要的,並且構成了現代機器學習方法論的一個關鍵元素。近年來,由於機器學習與實際應用的相關性越來越大,它的重要性也越來越大,其中許多應用都伴隨著安全要求。在這方麵,機器學習學者們發現了新的問題和挑戰,需要新的方法發展。事實上,長期以來,不確定性幾乎被視為標準概率和概率預測的同義詞,而最近的研究已經超越了傳統的方法,也利用了更一般的形式主義和不確定性計算。例如,不確定性的不同來源和類型之間的區別,例如任意不確定性和認知不確定性,在許多機器學習應用中被證明是有用的。講習班將特別注意這方麵的最新發展。

綜述論文:

不確定性的概念在機器學習中是非常重要的,並且構成了機器學習方法的一個關鍵元素。按照統計傳統,不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而,由於機器學習與實際應用和安全要求等相關問題的相關性穩步上升,機器學習學者最近發現了新的問題和挑戰,而這些問題可能需要新的方法發展。特別地,這包括區分(至少)兩種不同類型的不確定性的重要性,通常被稱為任意的和認知的。在這篇論文中,我們提供了機器學習中的不確定性主題的介紹,以及到目前為止在處理一般不確定性方麵的嚐試的概述,並特別將這種區別形式化。

//www.webtourguide.com/paper/8329095368761f81a7849fe5457949ed

成為VIP會員查看完整內容
0
54
0

這門課程是Pr Biau關於統計學習課程的補充,這在兩個方麵:

  1. 它處理了監督學習和非監督學習;
  2. 提出了一種算法的觀點。

這解釋了為什麼一些主要的方法,如k近鄰,決策樹和隨機森林

這些課堂講稿由三章組成:

第一章:詳細介紹了幾種分類方法,快速填補了兩者之間的差距

分類回歸:

線性和二次判別分析(LDA, QDA); Fisher判別分析(FDA); 核Fisher判別分析(KFDA); 多類線性判別分析; 邏輯回歸; Adaboost和梯度推進; 分類(SVC)和回歸(SVR)的支持向量機(SVM)。

第2章:我們考慮了未觀察到的標簽問題,並給出了一些生成的劃分方法 輸入空間: 高斯混合的期望-最大化(軟k均值); k - means算法; 譜聚類; 層次聚類 基於密度的噪聲應用的空間聚類(DBSCAN)。

第三章:維數災難 降維技術 (線性或非線性)給出: 主成分分析(PCA); 隨機預測; 核主成分分析(KPCA); 多維標度(MDS)。

成為VIP會員查看完整內容
0
32
0

http://www.math.arizona.edu/∼hzhang/math574.html

隨著信息技術的飛速發展,在各個領域產生了大量的科學和商業數據。例如,人類基因組數據庫項目已經收集了千兆字節的人類遺傳密碼數據。萬維網提供了另一個例子,它擁有由數百萬人使用的文本和多媒體信息組成的數十億Web頁麵。

本課程涵蓋了現代數據科學技術,包括基本的統計學習理論及其應用。將介紹各種數據挖掘方法、算法和軟件工具,重點在概念和計算方麵。將涵蓋生物信息學、基因組學、文本挖掘、社交網絡等方麵的應用。

本課程著重於現代機器學習的統計分析、方法論和理論。它是為學生誰想要實踐先進的機器學習工具和算法,也了解理論原理和統計性質的算法。主題包括回歸、分類、聚類、降維和高維分析。

成為VIP會員查看完整內容
0
40
0

報告摘要:構建統計機器學習方法進行圖上預測是很多應用的基礎問題,例如知識圖譜的半監督節點分類和鏈接預測。傳統的統計關聯學習方法和近年來發展起來的圖神經網絡都對這類問題進行了廣泛的研究。在這次演講中,將介紹結合這兩個領域的優勢來進行圖預測和推理所做的努力。以及結合條件隨機域和semi-supervised節點的神經網絡分類(圖馬爾可夫神經網絡,ICML 19)和最近的研究在結合馬爾可夫邏輯網絡和知識圖譜嵌入(概率邏輯神經網絡)的推理。

在這次報告中,作者將介紹今年的ICML2019論文(GMNN: Graph Markov Neural Networks)。研究了關係數據中的半監督對象分類問題,這是關係數據建模中的一個基本問題。這個問題在統計相關學習(如關聯馬爾科夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中得到了廣泛的研究。統計相關學習方法可以通過條件隨機域對對象標簽的依賴關係進行有效的建模,實現集體分類,而圖神經網絡則通過端到端訓練來學習有效的對象表示,實現分類。在這篇論文中,他們提出了結合這兩個領域的優勢的圖馬爾可夫神經網絡(GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模,利用變分EM算法對其進行有效訓練。 在E-step中,一個圖神經網絡學習有效的對象表示來近似對象標簽的後驗分布。 在M -步驟中,使用另一個圖神經網絡對局部標簽依賴關係進行建模 。在目標分類、鏈路分類和無監督節點表示學習等方麵的實驗表明,該算法取得了較好的效果。

嘉賓介紹:唐建博士自2017年12月起擔任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度圖表示學習,在知識圖譜、藥物發現和推薦係統等領域有著廣泛的應用。他是密歇根大學和卡內基梅隆大學的研究員。他在北京大學獲得博士學位,並在密歇根大學做了兩年的訪問學者。他在微軟亞洲研究院做了兩年的研究員。他在圖表示學習(如LINE、LargeVis和RotatE)方麵的工作得到了廣泛的認可。他獲得了ICML ' 14的最佳論文獎和WWW ' 16的最佳論文提名。個人主頁

報告部分綱要:

  • 圖結構數據
  • 關聯預測與推理
  • 統計關聯學習
  • 圖表示學習
  • 知識圖譜
  • 馬爾科夫邏輯網絡
成為VIP會員查看完整內容
0
57
8
小貼士
相關主題
相關VIP內容
專知會員服務
28+閱讀 · 2020年12月18日
專知會員服務
82+閱讀 · 2020年12月12日
專知會員服務
54+閱讀 · 2020年10月18日
專知會員服務
32+閱讀 · 2020年10月17日
專知會員服務
40+閱讀 · 2020年8月30日
專知會員服務
49+閱讀 · 2020年8月22日
專知會員服務
59+閱讀 · 2020年8月4日
專知會員服務
56+閱讀 · 2020年6月22日
相關資訊
Meta-Learning 元學習:學會快速學習
專知
23+閱讀 · 2018年12月8日
246 頁《統計機器學習與凸優化》教程 PPT 下載
新智元
10+閱讀 · 2018年9月21日
學會這10種機器學習算法,你才算入門(附教程)
七月在線實驗室
4+閱讀 · 2018年4月13日
TensorFlow圖像分類教程
機器學習研究會
33+閱讀 · 2017年12月29日
TensorFlow實現深度學習算法的教程彙集:代碼+筆記
數據挖掘入門與實戰
7+閱讀 · 2017年12月10日
機器學習(16)之支持向量機原理(二)軟間隔最大化
機器學習算法與Python學習
6+閱讀 · 2017年9月8日
相關論文
Taehee Lee,Lorraine E. Lisiecki,Devin Rand,Geoffrey Gebbie,Charles E. Lawrence
0+閱讀 · 6月13日
Eric V. Strobl,Thomas A. Lasko
0+閱讀 · 6月12日
Yi Ren,Donald Goldfarb
0+閱讀 · 6月5日
Magda Amiridi,Nikos Kargas,Nicholas D. Sidiropoulos
0+閱讀 · 6月5日
Roman Vygon,Nikolay Mikhaylovskiy
0+閱讀 · 6月4日
Alberto Bietti,Alekh Agarwal,John Langford
0+閱讀 · 6月4日
Ali Ramezani-Kebrya,Fartash Faghri,Ilya Markov,Vitalii Aksenov,Dan Alistarh,Daniel M. Roy
0+閱讀 · 5月3日
Meng Qu,Jian Tang
5+閱讀 · 2019年6月20日
Xiaotong Zhang,Han Liu,Qimai Li,Xiao-Ming Wu
7+閱讀 · 2019年6月4日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
17+閱讀 · 2018年6月27日
Top