【導讀】機器學習模型經常被批評是技術黑箱:隻要輸入數據就能得到正確答案,但卻無法對其進行解釋。Christoph Molnar在其新書中呼籲大家當前是時候停止將機器學習模型視為黑盒子,在學會運用模型的同時更應去學會分析模型如何做出決策,並給出了將黑盒變得具有可解釋性的討論。

機器學習領域在過去十年中發生了顯著的變化。從一個純粹的學術和研究領域方向開始,我們已經看到了機器學習在各個領域都有著廣泛的應用,如零售,技術,醫療保健,科學等等。在21世紀,數據科學和機器學習的重要目標已經轉變為解決現實問題,自動完成複雜任務,讓我們的生活變得更加輕鬆,而不僅僅是在實驗室做實驗發表論文。機器學習,統計學或深度學習模型工具已基本成型。像Capsule Networks這樣的新模型在不斷地被提出,但這些新模型被工業采用卻需要幾年時間。因此,在工業界中,數據科學或機器學習的主要焦點更多在於應用,而不是理論。最重要的是能夠解決複雜的現實問題。 


機器學習模型本質上就是一種算法,該算法試圖從數據中學習潛在模式和關係,而不是通過代碼構建一成不變的規則。所以,解釋一個模型是如何在商業中起作用總會遇到一係列挑戰。在某些領域,特別是在金融領域,比如保險、銀行等,數據科學家們通常最終不得不使用更傳統更簡單的機器學習模型(線性模型或決策樹)。原因是模型的可解釋性對於企業解釋模型的每一個決策至關重要。然而,這常常導致在性能上有所犧牲。複雜模型像如集成學習和神經網絡通常表現出更好更精準的性能(因為真實的關係在本質上很少可以通過線性劃分的),然而,我們最終無法對模型決策做出合適的解釋。

成為VIP會員查看完整內容
2
66
6
“機器學習是近20多年興起的一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。機器學習理論主要是設計和分析一些讓可以自動“學習”的算法。機器學習算法是一類從數據中自動分析獲得規律,並利用規律對未知數據進行預測的算法。因為學習算法中涉及了大量的統計學理論,機器學習與統計推斷學聯係尤為密切,也被稱為統計學習理論。算法設計方麵,機器學習理論關注可以實現的,行之有效的學習算法。很多推論問題屬於無程序可循難度,所以部分的機器學習研究是開發容易處理的近似算法。” ——中文維基百科

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

《2021年人工智能全景報告》目前已進入第四年,由行業和研究領域的人工智能從業者進行評審,並邀請了一係列知名和嶄露頭角的公司和研究團體做出貢獻。本報告考慮了以下主要方麵:

研究方向: 技術突破和能力。 人才: 人工智能人才的供給、需求和集中度。 所屬行業: 人工智能商業應用領域及其商業影響。 政治: 人工智能的監管、其經濟影響和正在興起的人工智能地緣政治。 預測: 我們認為會發生什麼,以及讓我們保持誠實的業績評估。

https://www.stateof.ai/

今年,我們看到人工智能在從藥物研發到電網等關鍵任務基礎設施等各個領域取得突破方麵變得越來越關鍵。

我和我的朋友Ian Hogarth合作製作了今年的人工智能全景報告,它指出了我們在過去12個月裏在NLP、計算機視覺和生物學方麵看到的現實世界的性能突破。

雖然人工智能對社會和經濟的影響越來越明顯,但我們的報告強調,對人工智能安全性和影響的研究仍落後於其快速的商業、民用和軍事部署。這一點,以及其他突出的偏見問題,讓我們有理由思考如何最好地繪製能力迅速提升的人工智能係統的進展。

今年的報告特別關注了Transformer 技術的出現,這種技術將機器學習算法聚焦於數據點之間的重要關係,以更全麵地提取意義,以便更好地預測,最終幫助解鎖了我們一直強調的許多關鍵突破。

該報告還闡明了生物學領域的一個分水嶺,在這個分水嶺上,人工智能優先方法繼續顯示出它們完全改變藥物發現和醫療保健的潛力。我個人很期待在蛋白質折疊和RNA分子結構方麵的重大突破之後,接下來會發生什麼。

關鍵的信息。我們希望這份報告對從人工智能研究到政治的所有人都有意義:

  • 人工智能正在以更具體的方式發展:人工智能正越來越多地應用於關鍵任務基礎設施,如國家電網和流行病期間超市倉儲自動化計算。然而,對於該行業的成熟是否已經趕上其日益增長的部署規模,仍存在疑問。人工智能正日益以數據為中心,而不是以模型為中心。

  • 人工智能優先的方法已經席卷了生物學領域: 人工智能能夠更快地模擬人類的細胞機製(蛋白質和RNA),這有可能改變藥物發現和醫療保健。

  • Transformers已經成為機器學習的通用架構: 在包括自然語言處理(NLP)、計算機視覺甚至蛋白質結構預測在內的許多領域擊敗了最先進的技術。

  • 投資者已經注意到: 今年,我們看到人工智能初創企業獲得了創紀錄的融資,以人工智能為先導的藥物研發公司進行了兩次首次公開募股(ipo),數據基礎設施和網絡安全公司的ipo也引起了轟動,這些公司幫助企業重組以適應人工智能時代。

  • 中國在研究質量上的提升是值得注意的: 中國的大學從1980年沒有發表人工智能研究成果,迅速發展到今天發表了數量最多的高質量人工智能研究成果。

成為VIP會員查看完整內容
0
59
0

在過去的十年裏,人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說,這些領域旨在“學習一些有用的東西”,了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段,類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述,但許多都有,它是圖模型的框架(圖和概率論的結合),使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上,現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方麵。當然,沒有人說這種方法是正確的,也沒有人說這是唯一有用的方法。事實上,有人可能會反駁說,這是沒有必要的,因為“生物有機體不使用概率論”。無論情況是否如此,不可否認的是,圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚,貝葉斯觀點並不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。

http://www0.cs.ucl.ac.uk/staff/d.barber/brml/

本書結構

本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生麵臨的一個特別困難是有限的正規微積分和線性代數訓練,這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理係統的一種形式開始時,我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是,計算機科學的學生熟悉的概念,算法為核心。然而,在機器學習中更常見的做法是將模型視為核心,而如何實現則是次要的。從這個角度來看,理解如何將一個數學模型轉換成一段計算機代碼是核心。

第二部分介紹了理解連續分布所需的統計背景,以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然,當一些讀者看到他們最喜歡的統計話題被列在機器學習下麵時,他們會感到驚訝。統計學和機器學習之間的一個不同觀點是,我們最終希望構建什麼樣的係統(能夠完成“人類/生物信息處理任務的機器),而不是某些技術。因此,我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式,這有助於強調模型是什麼,而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術,包括隨機(蒙特卡羅)和確定性(變分)技術。

成為VIP會員查看完整內容
0
44
1

摘要

金融AI泛指人工智能技術在金融業務中的應用。幾十年來,隨著經典和現代人工智能技術被應用到金融、經濟和社會等越來越廣泛的領域,這一領域一直備受關注。與討論特定人工智能技術,特別是新一代人工智能和數據科學(AIDS)領域所帶來的金融問題、方麵和機遇,或回顧應用特定技術解決特定金融問題的進展相比,這篇綜述提供了一個全麵而密集的路線圖,概述了過去幾十年金融領域人工智能研究麵臨的巨大挑戰、技術和機遇。本文首先概述了金融業務和數據的前景和挑戰,然後對金融領域數十年的人工智能研究進行了全麵分類和密集概述。然後,我們構建和說明數據驅動的分析和學習的金融業務和數據。以下是對經典和現代金融AI技術的比較、批評和討論。最後,討論了未來人工智能授權金融和財務驅動的人工智能研究的未決問題和機遇。

//www.webtourguide.com/paper/094883565e2f0985d3812fed429af2fe

引言

幾十年來,金融領域的人工智能(AI)一直是人們非常感興趣的研究領域。傳統金融市場、交易、銀行、保險、風險、監管和營銷等經典的人工智能金融和經濟,已經演變為新一代金融科技(或金融科技,即全麵的金融技術),實現智能數字貨幣、貸款、支付、資產和財富管理,風險和監管管理,以及會計和審計[13,14,32,33,58,119,136]。在這裏,金融指的是廣泛的領域,包括資本市場、交易、銀行、保險、領先/貸款、投資、資產/財富管理、風險管理、市場營銷、合規和監管、支付、合同、審計、會計、金融基礎設施、區塊鏈、金融運營、金融服務、金融安全、和金融倫理。此外,經濟和金融(簡稱EcoFin,下文也指EcoFin方麵)彼此之間以及與廣泛的人工智能家族之間的協同作用日益增強。

金融服務、經濟、技術、媒體、傳播和社會轉型與綜合。輔助係統包括 (1) 經典技術,包括邏輯、規劃、知識表示、統計建模、數學建模、優化、自主係統、多智能體係統、專家係統(ES)、決策支持係統(DSS)、仿真、複雜性科學、模式識別、圖像處理、自然語言處理(NLP);(2)現代技術,如表示學習、機器學習、優化、數據分析、數據挖掘和知識發現、計算智能、事件分析、行為信息學、社交媒體/網絡分析,以及最近的深度學習、認知計算和量子計算等方麵的最新進展。如[33]所述,AIDS在很大程度上定義了EcoFin和FinTech新時代的目標、產品和服務,並培育了EcoFin向越來越積極主動、個性化、智能化、互聯化、安全可信的產品和服務轉型的浪潮,形成了智能FinTech(如圖[33]中的圖2所示)。

圖1連接了主要的AIDS技術(上鰭)、EcoFin業務(下鰭)和它們的協同作用(如圖脊所示)。共生體(金融科技魚)培育了“智能金融科技”家族的多個合成領域: (1)智能金融核心業務,如智能銀行、智能保險、智能貸款、智能交易、智能財富、智能區塊鏈、智能支付和智能營銷; (2) 經營、服務、決策智能化,如智慧監管、智慧風險、智慧安全、智慧會計、智慧審計、智慧治理、智慧運營、智慧管理; (3) 實現更智能的金融科技期貨,如創造更智能的設計、規劃和創新。我們開發了相應的輔助技術,以實現和自動化這些領域的“智能”,進一步產生相應的金融科技技術譜係:BankingTech、LendTech、WealthTech、tratech、PayTech、InsurTech、RiskTech和RegTech等。這些構成了“智能金融科技”的概念和家族。有興趣的讀者可以參考[32,33]和其他相關參考文獻,了解這些不斷發展的領域和技術。本文回顧的AIDS技術直接使上述智能金融科技業務轉化為相應的智能金融科技技術。

文獻中的許多評論參考文獻或多或少都與金融領域的人工智能有關,本文引用的35篇左右的論文就說明了這一點。現有綜述集中在(1)特定技術或方法的應用,如時間序列分析、文本挖掘、自然語言處理、數據挖掘、經典機器學習、進化計算、計算智能、量子計算或深度學習和(2)特定業務問題的應用。如市場趨勢預測、股價預測、信用評分、欺詐檢測、財務報告分析、定價與套期保值、市場營銷、消費者行為分析、算法交易、社交商務、互聯網金融等。據我們所知,沒有全麵的評估涉及技術和企業的整個生態係統及其協同效應,這是一個雄心勃勃的但具有挑戰性的任務。[33]從金融應用的角度全麵總結了幾十年來金融領域的人工智能研究,這似乎是第一次對應用生態係統的構建、分析和評論進行全麵的綜述。本文對這篇綜述進行了補充,但從技術角度進一步總結、結構、分析、比較和評論金融對AIDS的基本業務和數據挑戰,以及數據驅動理解和解決金融問題的AIDS技術,以及未來金融領域人工智能研究的技術差距和機遇。這似乎是首次嚐試對金融領域的人工智能技術生態係統進行全麵但高度密集的概述。

成為VIP會員查看完整內容
0
44
0

摘要

人工智能(AI)技術的發展使各種應用係統得以應用於現實世界,影響著人們的日常生活。然而,目前很多人工智能係統被發現容易受到無形的攻擊,對弱勢群體存在偏見,缺乏對用戶隱私的保護等,這不僅降低了用戶體驗,也侵蝕了社會對所有人工智能係統的信任。在這篇綜述中,我們努力為人工智能從業者提供一個全麵的指南,以構建可信賴的人工智能係統。我們首先介紹了人工智能可信度的重要方麵的理論框架,包括穩健性、泛化性、可解釋性、透明度、再現性、公平性、隱私保護、與人類價值觀的一致性和問責性。然後我們調研了行業中在這些方麵的領先方法。為了統一目前零散的人工智能方法,我們提出了一種係統的方法,考慮人工智能係統的整個生命周期,從數據采集到模型開發,到開發和部署,最後到持續監測和治理。在這個框架中,我們向從業者和社會利益相關者(如研究人員和監管機構)提供具體的行動項目,以提高人工智能的可信度。最後,我們確定可信賴的人工智能係統未來發展的關鍵機遇和挑戰,我們確定需要向全麵可信賴的人工智能係統轉變範式。

//www.webtourguide.com/paper/00386996069b8168827d03f0c809a462

引言

人工智能(AI)的快速發展給人類社會帶來了巨大的經濟和社會前景。隨著人工智能在交通、金融、醫療、安全、娛樂等領域的廣泛應用,越來越多的社會意識到,我們需要這些係統是可信的。這是因為,考慮到這些人工智能係統的普遍性,違背利益相關者的信任可能會導致嚴重的社會後果。相比之下,人工智能從業者,包括研究人員、開發人員、決策者等,傳統上一直追求係統性能(也就是準確性)作為他們工作流程的主要指標。這一指標遠遠不足以反映對人工智能可信度的要求。除了係統性能外,人工智能係統的各個方麵都應該被仔細考慮,以提高其可信度,包括但不限於健壯性、算法公平性、可解釋性、透明度等方麵。

雖然最活躍的關於人工智能可信度的學術研究集中在模型的算法屬性上,但我們發現,單靠算法研究的發展不足以構建可信的人工智能產品。從行業角度看,人工智能產品的生命周期包括數據準備、算法設計、開發、部署、運營、監控、治理等多個階段。要在任何一個方麵(如健壯性)獲得可信賴性,需要在係統生命周期的多個階段進行努力,如數據淨化、健壯算法、異常監控、風險審計等。另一方麵,任何一個環節或任何一個方麵的信任違約都可能破壞整個係統的可信賴性。因此,應該在人工智能係統的整個生命周期中建立和係統地評估人工智能的可信度。

除了通過在不同的可信賴性方麵建立可信賴的要求來追求人工智能的可信賴性,這些方麵之間的交互是現實世界值得信賴的人工智能係統中一個重要且有待探索的話題。例如,對數據隱私的需求可能會幹擾詳細解釋係統輸出的願望,而對算法公平性的追求可能會不利於某些群體體驗到的準確性和穩健性。因此,僅僅貪婪地追求這些不同的方麵並不一定會產生通向更可靠的AI係統的最佳解決方案。值得信賴的人工智能應該通過權衡和聯合優化多個值得信賴的方麵來建立。以上事實表明,有必要采取係統的方法來改變目前的人工智能範式,以獲得可信賴性。這需要多學科相關者的意識和合作,相關者在係統生命周期的不同可信方麵和不同階段工作。為了幫助開發這種係統方法,我們以一種可訪問的方式組織多學科知識,讓人工智能從業者了解人工智能的可信賴性,並為構建可信賴的人工智能係統提供操作和係統的指導。我們的主要貢獻包括:

  • 我們調研和擴大在最近討論關於AI可信賴性,建立值得信賴的AI係統的迫切需要得到我們的東西從工業的角度來看,包括魯棒性、泛化,可解釋性、透明度、複現性、公平、隱私保護、價值一致和責任(第2節)。

  • 我們廣泛回顧了各種利益相關者為實現這些需求所做的努力,包括積極的學術研究、工業發展技術以及治理和管理機製。這種多樣化和全麵的方法集合有助於提供人工智能可信度的整體圖景,並彌合來自不同背景的從業者之間的知識鴻溝(第3節)。

  • 我們剖析了工業應用中人工智能係統的整個開發和部署生命周期,並討論了從數據到人工智能模型,從係統部署到操作的每個階段如何提高人工智能的可信度。我們提出了一個係統框架來組織值得信賴的人工智能的多學科和碎片化方法,並進一步提出將人工智能值得信賴作為一個連續的工作流,在人工智能係統生命周期的每個階段納入反饋。我們也分析了在實踐中不同可信度方麵之間的關係(相互增強,有時是權衡)。因此,我們的目標是為研究人員、開發人員、操作人員和法律專家等人工智能從業者提供一個可訪問的、全麵的指南,以快速理解通向人工智能可信度的方法(第4節)。

  • 我們討論了值得信賴的人工智能的突出挑戰,在不久的將來,研究社區和行業從業者應該專注於解決這些挑戰。我們確定了幾個關鍵問題,包括需要對人工智能可信度的幾個方麵(如健壯性、公平性和可解釋性)有更深層次的基礎理解,用戶意識的重要性,以及促進跨學科和國際合作(第5節)。

成為VIP會員查看完整內容
0
40
0

這本書的目的是提供一個從零開始全麵的貝葉斯優化介紹,並細致闡述所有關鍵的想法。目標受眾是機器學習、統計和相關領域的研究生和研究人員。然而,我也希望來自其他領域的從業者和研究人員能在這裏找到一些用處。

https://bayesoptbook.com/

本書分為三個主要部分,包括:

  • 高斯過程建模的理論與實踐,
  • Bayesian方法用於序列決策
  • 實現切實有效的優化策略。

還包括一些其他的主題:

  • 理論收斂結果的概述,
  • 一項關於引人注目的擴展的調研,
  • 貝葉斯優化的全麵曆史
  • 應用的帶注釋的參考書目。

目錄內容: Introduction Gaussian Processes Modeling with Gaussian Processes Model Assessment, Selection, and Averaging Decision Theory for Optimization Utility Functions for Optimization Common Bayesian Optimization Policies Computing Policies with Gaussian Processes Implementation Theoretical Analysis Extensions and Related Settings A Brief History of Bayesian Optimization

引言概述

在機器學習的背景下,貝葉斯優化是一個古老的想法。盡管貝葉斯優化的曆史已經很長,但在過去的十年裏,它經曆了一段複興和快速發展的時期。這種複興的主要驅動力是計算方麵的進步,這使得貝葉斯建模和推理的工具越來越複雜。

這本書的目的是提供一個從零開始的全麵的貝葉斯優化介紹,並細致闡述所有的關鍵思想。這種自下而上的方法允許我們在貝葉斯優化算法中確定統一的主題,這些主題可能在以往的調研文獻時丟失。

這本書分為三個主要部分。第2-4章涵蓋了高斯過程建模的理論和實踐方麵。這類模型是貝葉斯優化文獻中最受歡迎的,其中包含的材料對接下來的幾章至關重要。

第5-7章介紹了序列決策理論及其在優化中的應用。雖然這個理論需要一個目標函數的模型和我們對它的觀察,介紹是不可知的模型的選擇,可以獨立地閱讀前幾章的高斯過程。這些內容是在第8-10章中介紹的,討論了使用高斯過程模型的貝葉斯優化的細節。第8-9章討論了計算和實現的細節,第10章討論了貝葉斯優化算法的理論性能界限,其中大多數結果密切依賴於目標函數的高斯過程模型或相關的重新生成核希爾伯特空間。

一些應用的細微差別需要修改基本序列優化方案(這是前幾章的重點),第11章介紹了對這一基本設置的幾個值得注意的擴展。每一個都是通過貝葉斯決策理論的統一視角係統地呈現出來的,以說明一個人在麵對新情況時應該如何處理。最後,第12章提供了一個簡單和獨立的貝葉斯曆史介紹。

成為VIP會員查看完整內容
0
38
0

本文針對圖上的異常檢測代表性論文做了講解。

成為VIP會員查看完整內容
0
34
1

自2002年美國Dr.Michael Grieves第一次提出數字孿生概念以來,數字孿生技術已經在城市建設、航空航天、生產車間等多個行業成功應用,並在2017年到2019年,連續三年入選Gartner十大戰略技術,並預計未來五年將跨越新型技術成熟度曲線的低穀達到成熟應用的平台期。

隨著“智慧泛在、數字孿生”的6G願景成為業界共識,數字孿生技術也將在未來網絡演進中發揮重要作用。結合數字孿生技術的數字孿生網絡(Digital Twin Network)是實現未來自治網絡的重要支撐,有望改變現有網絡規、建、維、優的既定規則,成為6G“重塑世界”的關鍵技術。

本白皮書在業界首次係統闡述了數字孿生網絡(DTN)總體架構、關鍵技術和分級體係,明確數字孿生網絡在解決當前網絡困境以及滿足未來網絡演進需求中的重要作用,並從技術需求角度,描述了數字孿生網絡在幾個典型場景中的應用。

成為VIP會員查看完整內容
1
34
0

深度學習的研究在許多機器學習任務上產生了最先進的結果。大多數的進步都是由直覺和通過試驗和錯誤進行的大規模探索推動的。因此,目前理論落後於實踐。ML社區並不完全理解為什麼最好的方法是有效的。來自UIUC Matus Telgarsky教授撰寫了關於深度學習理論筆記,值得關注。

地址:https://mjt.cs.illinois.edu/dlt/

這些筆記的哲學。兩個關鍵的觀點決定了到目前為止所包含的內容。

我的目標是對文獻中出現的東西提供簡化的證明,理想情況下,把困難的東西簡化成適合一節課的東西。

我主要關注通過標準(通常是ReLU)前饋網絡實現IID數據的二進製分類的低測試誤差。

內容組織:

近似 (從第1節開始): 給定一個分類問題,存在一個深度網絡,在分布上實現低誤差。

優化 (從第9節開始): 對於一個分類問題,給定一個有限的訓練集,存在尋找低訓練誤差和低複雜度的預測器的算法。

泛化 (從第16節開始): 對於低複雜度的網絡,訓練和測試誤差之間的差距很小。

成為VIP會員查看完整內容
0
34
0

推薦係統通常從用戶項目偏好數據(如評級和點擊)中學習。這種信息在本質上是稀疏的,即,觀察到的用戶-項目偏好通常隻代表可能的交互的不到5%。緩解數據稀疏性的一個有希望的方向是利用輔助信息,這些輔助信息可能編碼關於用戶如何消費商品的額外線索。這類數據(稱為模態)的例子包括社交網絡、商品的描述性文本、產品圖片。本教程的目的是全麵回顧最近的進展,以表示、轉換和合並不同的模態到推薦模型中。此外,通過實際操作,我們考慮跨模態比較,以調研不同方法和模態的重要性。實際操作將通過Cornac (https://cornac.preferred.ai)進行,這是一個多模態推薦係統的比較框架。

本教程的結構如下。在概述了偏好模型的重要家族之後,我們將討論如何將多模態推薦係統與代表特定模態的模型(用戶-項目偏好之外的輔助數據)結合起來設計。隨後,我們深入研究三個主要的感興趣的模態,即:文本、圖像和圖形,同時識別在每個模態下的相關算法。接下來是對跨模態使用的調研,包括應該依賴哪個模態,為一種模態設計的模型是否可以與另一種模態工作,以及為給定模態使用哪個模型。

本教程適用於尋求應用經驗的實踐者,以及對多模態推薦係統近期和未來研究方向感興趣的研究人員。要求具備Python和機器學習的基本知識。雖然熟悉推薦係統是加分項,但不是必須的。請帶上你自己的筆記本電腦。

目錄內容:

推薦係統概述 Brief overview of recommender systems (20 minutes) 多模態推薦係統導論 Introduction to multimodal recommender systems (20 minutes) Hands-on: Starting with the Cornac framework (10 minutes) 模態探究 Exploration into each modality (90 minutes):

  • Text modality
  • Image modality
  • Network modality

跨模態利用 Cross-modal utilization (30 minutes) Future directions (10 minutes)

成為VIP會員查看完整內容
0
34
0

自然語言處理技術試圖用計算機模擬人類語言,解決從自動翻譯到問答等各種各樣的問題。CS11-711高級自然語言處理(在卡耐基梅隆大學的語言技術研究所)是一門自然語言處理的入門級研究生課程,目標是有興趣在該領域進行前沿研究的學生。其中,我們描述了自然語言處理的基本任務,如句法、語義和篇章分析,以及解決這些任務的方法。本課程著重於使用神經網絡的現代方法,並涵蓋基本的建模和學習所需的算法。課程以一個項目結束,在這個項目中,學生試圖在他們選擇的主題中重新實施和改進一篇研究論文。

http://phontron.com/class/anlp2021/schedule.html

高級自然語言處理是一門關於自然語言處理的入門級研究生課程,麵向有誌於在該領域進行前沿研究的學生。其中,我們描述了自然語言處理的基本任務,如句法、語義和篇章分析,以及解決這些任務的方法。本課程著重於使用神經網絡的現代方法,並涵蓋基本的建模和學習所需的算法。課程以一個項目結束,在這個項目中,學生試圖在他們選擇的主題中重新實施和改進一篇研究論文。

目錄內容:

引言

Intro 1 - NLP 概述 Overview of NLP (8/31/2021) Intro 2 - 文本分類 Text Classification (9/2/2021) Intro 3 - 語言建模 Language Modeling and NN Basics (9/7/2021) Intro 4 - 神經網絡基礎 Neural Network Basics and Toolkit Construction (9/9/2021)

建模

Modeling 1 - 循環神經網絡 Recurrent Networks (9/14/2021) Modeling 2 - 條件生成 Conditioned Generation (9/16/2021) Modeling 3 - 注意力機製 Attention (9/21/2021)

表示

Representation 1 - 預訓練方法 Pre-training Methods (9/23/2021) Representation 2 - 多任務多領域Multi-task, Multi-domain, and Multi-lingual Learning (9/28/2021) Representation 3 - 提示學習Prompting + Sequence-to-sequence Pre-training (9/30/2021) Representation 4 - Interpreting and Debugging NLP Models (10/5/2021) Modeling 4 - 序列標注 Sequence Labeling (10/7/2021)

分析

Analysis 1 - Word Segmentation and Morphology (10/12/2021) Break -- No Class! (10/14/2021) Analysis 2 - Syntactic Parsing (10/19/2021) Analysis 3 - Semantic Parsing (10/21/2021) Analysis 4 - Discourse Structure and Analysis (10/26/2021)

應用

Applications 1 - 機器閱讀Machine Reading QA (10/28/2021) Applications 2 - Dialog (11/02/2021) Applications 3 - Computational Social Science, Bias and Fairness (11/4/2021) Applications 4 - Information Extraction and Knowledge-based QA (11/9/2021)

學習

Learning 1 - Modeling Long Sequences (11/11/2021) Learning 2 - Structured Learning Algorithms (11/16/2021) Learning 3 - Latent Variable Models (11/18/2021) Learning 4 - Adversarial Methods for Text (11/23/2021) Thanksgiving -- No Class!! (11/25/2021) Poster Presentations (11/30/2021 and 12/2/2021)

成為VIP會員查看完整內容
0
30
3

這本書的第三版繼續演示如何應用概率論,以獲得洞察到真實的,日常統計問題和情況。這種方法最終導致了對統計程序和策略的直觀理解,最常用的是實踐工程師和科學家。這本書是為統計學或概率和統計的入門課程而寫的,為工程、計算機科學、數學、統計學和自然科學的學生而寫。因此,它假定你有初等微積分知識。

第一章簡要介紹統計學,介紹它的兩個分支,描述性統計和推理統計學,並簡要介紹該學科的曆史和一些人的早期工作為今天所做的工作奠定了基礎。描述性統計的主題將在第二章中討論。描述數據集的圖和表在本章中給出,以及用於總結數據集某些關鍵屬性的數量。要想從數據中得出結論,就必須了解數據的來源。例如,通常假設數據是來自某些總體的“隨機樣本”。為了準確理解這意味著什麼,以及將樣本數據屬性與總體屬性相關聯的結果是什麼,有必要對概率有一些了解,這是第三章的主題。本章介紹了概率實驗的思想,解釋了事件概率的概念,並給出了概率的公理。我們的概率研究將在第四章繼續,這一章涉及隨機變量和期望的重要概念,在第五章,考慮一些在應用中經常出現的特殊類型的隨機變量。給出了二項式、泊鬆、超幾何、正態、均勻、伽馬、卡方、t和F等隨機變量。在第6章中,我們研究了樣本均值和樣本方差等抽樣統計量的概率分布。我們將展示如何使用一個著名的概率理論結果,即中心極限定理,來近似樣本均值的概率分布。此外,我們還介紹了關節基礎數據來自正態分布總體的重要特殊情況下的樣本均值和樣本方差的概率分布。第7章展示了如何使用數據來估計感興趣的參數。第8章介紹了統計假設檢驗的重要主題,它涉及到使用數據來檢驗特定假設的可信性。第9章討論回歸的重要課題。簡單線性回歸(包括回歸到均值、殘差分析和加權最小二乘等子主題)和多元線性回歸都被考慮在內。第10章是方差分析。考慮了單向和雙向(有或沒有交互的可能性)問題。第11章是關於擬合優度檢驗,它可以用來檢驗所提出的模型是否與數據一致。文中給出了經典的卡方擬合優度檢驗,並將其應用於列聯表的獨立性檢驗。本章的最後一節介紹了Kolmogorov-Smirnov程序,用於測試數據是否來自特定的連續概率分布。第12章討論了非參數假設檢驗,當人們無法假設潛在的分布具有某些特定的參數形式(如正態分布)時,可以使用非參數假設檢驗。第13章考慮質量控製的主題,一個關鍵的統計技術在製造和生產過程。我們考慮了各種控製圖,不僅包括休哈特控製圖,還包括基於移動平均線和累積總和的更複雜的控製圖。第14章討論與壽命試驗有關的問題。在本章中,指數分布,而不是正態分布,起著關鍵作用。

成為VIP會員查看完整內容
0
31
1

近年來,神經網絡在解決許多問題方麵有了巨大的發展。不同類型的神經網絡被引入來處理不同類型的問題。然而,任何神經網絡的主要目標是將非線性可分的輸入數據轉換為更線性可分的抽象特征,使用層次結構。這些層是線性和非線性函數的組合。最流行和常見的非線性層是激活函數(AFs),如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。本文對深度學習神經網絡中的激活函數AFs進行了全麵的綜述和研究。不同類別的AFs,如Logistic Sigmoid和基於Tanh,基於ReLU,基於ELU,和基於Learning。指出了AFs的輸出範圍、單調性和平滑性等特點。並對18種最先進的AFs在不同網絡上的性能進行了比較。本文提出了AFs的見解,以幫助研究者進行進一步的研究,並幫助實踐者在不同的選擇中進行選擇。用於實驗比較的代碼。

近年來,深度學習在解決人臉分析[2][113]、預測評級[74]、情感分析[143]、[152]、高光譜圖像分析[144]、圖像合成和語義處理[1]、數字圖像增強[72]、圖像檢索[33]等具有挑戰性的問題方麵取得了巨大的增長。深度學習中已經發展了各種類型的神經網絡來從數據中學習抽象特征,如多層感知器(Multilayer Perceptron, MLP)[30],卷積神經網絡(CNN)[82],[73],循環神經網絡(RNN)[54],生成對抗網絡(Generative Adversarial networks, GAN)[12]。神經網絡的重要方麵包括權值初始化[104]、損失函數[130]、正則化[102]、過擬合控製[18]、激活函數[136]和優化[35]。

激活函數在神經網絡[36]中起著非常重要的作用,它通過非線性變換學習抽象的特征。AFs的一些共同性質如下: A)在優化中增加非線性曲率以提高網絡的訓練收斂性; B)它不應該廣泛地增加模型的計算複雜性; C)不妨礙訓練過程中的梯度流動;d)它應該保留數據的分布,以便更好地訓練網絡。近年來,為了實現上述特性,人們已經探索了幾種用於深度學習的AFs。本綜述致力於神經網絡中AFs領域的發展。不同AFs的見解和推理被提出,以使深度學習社區受益。這項綜述的主要貢獻概述如下:

  1. 本綜述為廣泛的AFs提供了詳細的分類。它還非常全麵地包括了AFs,包括Logistic Sigmoid/Tanh, Rectified Unit, Exponential Unit, 和Adaptive AFs。

  2. 本綜述從不同角度對AFs進行分析,為讀者提供最新的AFs。它特別涵蓋了用於深度學習的AFs的進展。

  3. 本綜述還通過簡要的重點和重要的討論總結了AFs,以描述其對不同類型數據的適用性(參見表VI)。

  4. 將本次綜述與現有綜述/分析進行比較,顯示其重要性(見表七)。

  5. 本文還介紹了使用18種最先進的AFs和不同類型網絡在4個不同模式的基準數據集上的性能比較(參見表VIII, IX和XI)。

成為VIP會員查看完整內容
0
28
2

摘要

作為一種比傳統機器學習方法更有效的訓練框架,元學習獲得了廣泛的歡迎。然而,在多模態任務等複雜任務分布中,其泛化能力尚未得到深入研究。近年來,基於多模態的元學習出現了一些研究。本綜述從方法論和應用方麵提供了基於多模態的元學習景觀的全麵概述。我們首先對元學習和多模態的定義進行了形式化的界定,並提出了這一新興領域的研究挑戰,如何豐富少樣本或零樣本情況下的輸入,以及如何將模型泛化到新的任務中。然後我們提出了一個新的分類係統,係統地討論了結合多模態任務的典型元學習算法。我們對相關論文的貢獻進行了調研,並對其進行了分類總結。最後,提出了該領域的研究方向。

//www.webtourguide.com/paper/3cf8fdad89ed44f7ea803ce6e0ab21b5

引言

深度學習方法在語音、語言和視覺領域取得了顯著進展[1,2,3]。然而,這些方法的性能嚴重依賴於大量標記數據的可用性,而在大多數應用中,獲取這些數據可能不切實際或成本高昂。僅使用有限的標記數據往往會導致過擬合問題,導致泛化到新數據[4]或完全不同的分布的不確定性。另一方麵,人類學習過程中使用的“學會學習”機製[5]使我們能夠從很少的樣本[6]中快速學習新的概念。已有證據表明,通過結合先驗知識和情境,人類可以在有限情景下獲得多個先驗任務的經驗,在有限情景下,習得的抽象經驗被一般化,以提高未來對新概念的學習表現。受此啟發,提出了一種名為元學習(meta-learning)的計算範式[7,8],用來模擬人類學習廣義任務經驗的能力,旨在讓機器從類似任務中獲取先驗知識,並快速適應新任務。通過在動態選擇中提取跨領域任務目標,元學習過程比傳統機器學習模型更具數據效率[9,10]。

由於元學習能夠泛化到新的任務,我們的目的是了解元學習如何發揮作用,當任務更複雜時,例如,數據源不再是單模態的,或原始模態中的數據是有限的。最近的研究集中在將元學習框架應用於複雜任務的分配上[11,12],但僅限於單一的模態。特別是,在多個應用[7]、學習優化步驟[13]的先驗知識、數據嵌入[14,15]或模型結構[16]的多任務和單任務場景中,元學習已經被證明是成功的。然而,在異構任務模態下,如何巧妙地利用元學習給研究人員帶來了獨特的挑戰。要在額外模態的幫助下從這些任務中學習新概念,示例應該以成對或多種方式提供,其中每個示例包含同一概念的兩個或多個項目,但在不同的模態。

首先在圖像分類的零樣本學習(ZSL) /廣義零樣本學習(GSZL)領域探討了不同模態的異質特征。語義模式被認為在模型訓練中提供強大的先驗知識和輔助視覺模式。為了更好地將知識從可見的類遷移到不可見的類,基於元的算法被廣泛引入來捕獲配對模態之間的屬性關係。然而,訓練過程大多將一個模態視為主要模態,並通過添加另一個模態來利用額外的信息。它不涉及在真實的複雜情景中對多種模態的分析,如未配對的模態、缺失的模態以及模態之間的關聯。因此,一些研究進一步將元學習方法應用於由其他模態構成的任務。具體來說,當不同任務的模態來自不同的數據分布,或者不同任務的模態被遺漏或不平衡時,通過充分利用元學習背景下的多模態數據,可以將不同模式的優勢整合到問題中,從而提高績效。另一方麵,元學習本身的訓練框架有助於提高原多模態學習者在新任務中的泛化能力。雖然對這兩個概念的跨學科研究聽起來很有前景,但目前的研究大多將元學習算法和多模態學習算法分開進行總結,導致多模態與元學習結合的研究存在差距。

最後,我們希望在本次綜述中對基於多模態的元學習算法進行係統而全麵的研究。我們旨在為不同的方法提供直觀的解釋,並有助於:

識別將元學習算法應用於多模態任務的挑戰; 提出一個新的分類,並為每個類別提供深刻的分析; 總結解決不同挑戰的具體貢獻,包括其方法和與其他方法的區別; 強調當前的研究趨勢和未來可能的方向。

本綜述的其餘部分組織如下。在第二節中,我們首先對元學習和多模態的定義進行了形式化界定,然後給出了基於多模態的元學習挑戰的總體範式。然後我們在第3節提出了一個基於元學習算法可以學習的先驗知識的新分類。我們分別在第4節、第5節和第6節對如何使原始元學習方法適應多模態數據的相關研究進行了考察,在第7節對這些工作進行了總結。最後,我們總結了目前的研究趨勢在第8節和可能的方向,未來的工作在第9節。

成為VIP會員查看完整內容
0
29
1

標準機器學習方法簡介。允許您找到適合您的應用程序的問題/方法。為更深入的學習提供必要的詞彙和工具。促進ML的良好實踐、解釋和重現性。

成為VIP會員查看完整內容
0
29
0

【導讀】機器學習深度學習頂會NeurIPS2021接收論文列表已公布,你的文章中了嗎?

今年 NeurIPS 共有 9122 篇有效論文投稿,總接收率 26%,隻有 3% 被接收為 Spotlight 論文。

作為當前全球最負盛名的 AI 學術會議,NeurIPS 是每年學界的重要事件。它的全稱是 Neural Information Processing Systems,神經信息處理係統大會,通常在每年 12 月由 NeurIPS 基金會主辦。大會討論的內容包含深度學習、計算機視覺、大規模機器學習、學習理論、優化、稀疏理論等眾多細分領域。

成為VIP會員查看完整內容
0
25
2

本章首先介紹雲計算起源、定義和分類等其本概念,接著重點闡述雲計算的關鍵技術,然後分別討論了穀歌雲、亞馬遜雲和阿裏雲的技術原理,並給出了一個其於亞馬遜雲的 大數據分析案例,讓讀者更深刻地理解如何利用公有雲來實現大數據分析應用。

成為VIP會員查看完整內容
0
28
0

摘要 近年來,湧現了很多高質量大規模的知識庫,基於知識庫的問答係統(Knowledge Base Question Answering,KBQA)隨著知識庫的發展而得到了快速發展.知識庫問答係統通過對自然語言問句進行理解和解析,進而利用知識庫中的事實來回答自然語言問題,使用戶在不了解知識庫數據結構的情況下快速、精準的得到有價值的知識或答案.本文對知識庫問答係統的研究方法進行了詳細介紹並對目前的研究進展進行了總結,包括基於模板的方法、基於語義解析的方法和基於深度學習的方法.通過對這些研究方法進行對比,指出了各方法中存在的問題和不足,進而對知識庫問答係統所麵臨的問題和挑戰進行了總結.

http://xwxt.sict.ac.cn/CN/abstract/abstract5907.shtml

成為VIP會員查看完整內容
1
27
0

教育評估、信貸、就業、醫療保健和刑事司法等高風險應用的決策越來越受到數據驅動,並由機器學習模型支持。機器學習模型也使關鍵的信息物理係統,如自動駕駛汽車和機器人手術成為可能。在過去的幾年裏,機器學習領域取得了驚人的進展。然而,即使這些技術越來越多地融入我們的生活,記者、活動家和學者仍發現了一些侵蝕這些係統可信度的特征。例如,據報道,一個支持法官審前拘留決定的機器學習模型對黑人被告存在偏見。同樣,據報道,一個支持在一家大型科技公司進行簡曆篩選的模型也對女性有偏見。研究表明,用於胸部x光片疾病計算機輔助診斷的機器學習模型更重視圖像中的標記,而不是患者的解剖細節。自動駕駛汽車的死亡事故發生在不同尋常的條件下,根本的機器學習算法沒有經過訓練。簡而言之,雖然每天都有機器學習算法在某些任務上取得超人成績的新故事,但這些驚人的結果隻是在一般情況下。我們在所有情況下信任這些算法所需要的可靠性、安全性和透明度仍然是難以捉摸的。因此,越來越多的人希望在這些係統中擁有更多的公平性、健壯性、可解釋性和透明度。

http://www.trustworthymachinelearning.com/

機器學習的當前狀態是什麼,我們如何讓它更值得信任? 天然成分、衛生製劑和防篡改包裝的類似物是什麼?機器學習的透明容器、工廠參觀和食品標簽是什麼?機器學習在造福社會方麵的作用是什麼?

這本書的目的是回答這些問題,並提出一個可靠的機器學習的統一觀點。有幾本從不同角度介紹機器學習的優秀書籍。也開始出現一些關於值得信賴的機器學習的個別主題的優秀文本,如公平性和可解釋性然而,據我所知,沒有一個獨立的資源可以定義值得信賴的機器學習,並帶領讀者了解它所涉及的所有不同方麵。如果我是一個在高風險領域工作的高級技術專家,不回避一些應用數學,我就會寫一本我想讀的書。其目標是傳授一種將安全性、開放性和包容性視為頭等大事的機器學習係統整合起來的思維方式。我們將開發一個概念性的基礎,會給你信心和起點,深入研究的話題。

第1部分的剩餘部分討論了本書的局限性,並討論了幾個對理解可靠機器學習概念很重要的初步主題: 在實踐中開發機器學習係統的角色和生命周期,以及在不確定性方麵量化安全概念。

第2部分是關於數據的討論,數據是進行機器學習的前提。除了提供不同數據模式和來源的簡短概述外,該部分還涉及與可信機器學習相關的三個主題: 偏見、同意和隱私。第3部分涉及到值得信賴的機器學習的第一個屬性: 基本性能。它描述了最優檢測理論和不同的有監督機器學習公式。它教授幾種不同的學習算法,如判別分析、naïve貝葉斯、k-最近鄰、決策樹和森林、邏輯回歸、支持向量機和神經網絡。最後總結了因果發現和因果推理的方法。第四部分是值得信賴的機器學習的第二個屬性:可靠性。這個屬性通過三個特定的主題來討論: 分布偏移、公平性和對抗魯棒性。這些主題的描述不僅定義了問題,而且還提供了檢測和緩解問題的解決方案。

第5部分是關於第三個屬性:人類與機器學習係統在兩個方向上的交互——理解係統並給它指令。第一部分從模型的可解釋性和可解釋性開始。它轉向了測試和記錄機器學習算法各個方麵的方法,然後可以通過公平性、問責製和透明度表(FAccTsheets)進行透明報告。本部分的最後一個主題是機器引出人們和社會的政策和價值觀來管理它的行為。第六部分討論了第四個屬性: 人們和社會的價值可能是什麼。它首先討論了機器學習在虛假信息中的惡意使用,以及機器學習在創建過濾氣泡時不必要的含義。接下來,它描述了在機器學習和人工智能中編碼期望值和應用的不同專業指南。最後,本文討論了如何將具有不同生活經驗的機器學習係統創造者納入其中,從而擴大機器學習的價值、目標和應用,在某些情況下,通過技術追求社會公益。

成為VIP會員查看完整內容
0
26
1

人工智能已應用於藥物設計的各種方麵,如藥物-蛋白質相互作用預測、藥物療效的發現、確保安全性生物標誌物。本綜述提供了在藥物開發的各個階段通過ML工具和技術發現藥物的可行文獻,以加速研究過程,降低臨床試驗的風險和支出。機器學習技術改進了在不同應用中的藥物數據決策,如QSAR分析、hit發現、從頭藥物架構檢索準確的結果。在本綜述中,靶點驗證、預後生物標誌物、數字病理學都被認為是存在問題的。ML挑戰必須適用於可解釋性結果不足的主要原因,這可能會限製藥物發現中的應用。在臨床試驗中,必須生成絕對數據和方法學數據,以解決在驗證ML技術、改進決策、提高ML方法的意識以及推斷藥物發現中的風險失敗方麵的許多難題。https://pubmed.ncbi.nlm.nih.gov/34393317/

成為VIP會員查看完整內容
0
25
0
Top