//www.webtourguide.com/paper/a392240897ea63228b548b0570a315d4

矩陣分解全景

矩陣分解已經成為統計學的核心技術(Banerjee和Roy, 2014;、優化(Gill et al., 2021)、機器學習(Goodfellow et al., 2016);而深度學習在很大程度上是由於反向傳播算法在擬合神經網絡和低秩神經網絡在高效深度學習中的發展。本調查的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹,以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而,我們清楚地認識到,我們無法涵蓋所有關於矩陣分解的有用和有趣的結果,並且給出了這種討論的範圍的缺乏,例如,歐氏空間、厄米特空間和希爾伯特空間的分離分析。我們建議讀者參考線性代數領域的文獻,以獲得相關領域的更詳細介紹。一些優秀的例子包括(Householder, 2006; Trefethen and Bau III, 1997; Strang, 2009; Stewart, 2000; Gentle, 2007; Higham, 2002; Quarteroni et al., 2010; Golub and Van Loan, 2013; Beck, 2017; Gallier and Quaintance, 2017; Boyd and Vandenberghe, 2018; Strang, 2019; van de Geijn and Myers, 2020; Strang, 2021)。最重要的是,本綜述將隻涵蓋矩陣分解方法存在性的緊湊證明。關於如何降低計算複雜度,在各種應用和例子中進行嚴格的討論,為什麼每種矩陣分解方法在實踐中都很重要,以及張量分解的初步研究,請參見(Lu, 2021c)。

矩陣分解是將一個複雜的矩陣分解成其組成部分的一種方法,這些組成部分的形式更簡單。全局矩陣計算方法的基本原則是,它不是業務矩陣的algorithmists解決特定的問題,但這是一個方法,可以簡化更複雜的矩陣運算,可以進行分解的部分而不是原始矩陣本身。

矩陣分解算法可以分為許多類。盡管如此,六個類別占據了中心,我們在這裏概括一下:

  1. 由高斯消去產生的因子分解包括LU分解和它的正定替代- Cholesky分解;
  2. 將矩陣的列或行正交化時得到的因式分解,使數據可以用標準正交基很好地解釋; 3.分解矩陣的骨架,使列或行的一個子集可以在一個小的重構誤差中表示整個數據,同時,矩陣的稀疏性和非負性保持原樣;
  3. 化簡為Hessenberg、三對角或雙對角形式,結果是,矩陣的性質可以在這些化簡矩陣中探索,如秩、特征值等;
  4. 因式分解是計算矩陣特征值的結果;
  5. 特別地,其餘的可以被轉換為一種特殊的分解,其中涉及到優化方法和高級思想,其中類別可能無法直接確定。
"> 如何深入理解矩陣?184頁《矩陣分解與應用》2022新書全麵闡述矩陣分解原理、體係與應用 - 專知VIP

1954年,Alston S. Householder發表了《數值分析原理》,這是矩陣分解的第一個現代處理方法,它支持(塊)LU分解——將矩陣分解為上三角矩陣和下三角矩陣的乘積。而現在,矩陣分解已經成為機器學習的核心技術,這在很大程度上是因為反向傳播算法在擬合神經網絡方麵的發展。本調研的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹,以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而,我們清楚地認識到,我們無法涵蓋所有關於矩陣分解的有用和有趣的結果,並且給出了這種討論的範圍的缺乏,例如,分離分析歐幾裏德空間、厄米特空間、希爾伯特空間和複域中的東西。我們建議讀者參考線性代數領域的文獻,以獲得相關領域的更詳細介紹。本綜述主要是對矩陣分解方法的目的、意義,以及這些方法的起源和複雜性進行了總結,並闡明了它們的現代應用。最重要的是,本文為分解算法的大多數計算提供了改進的過程,這可能會降低它們所引起的複雜性。同樣,這是一個基於分解的上下文,因此我們將在需要和必要時介紹相關的背景。在其他許多關於線性代數的教科書中,主要思想被討論,而矩陣分解方法是“副產品”。然而,我們將重點放在分解方法上,而主要思想將作為分解方法的基本工具。數學的先決條件是線性代數的第一門課程。除了這個適中的背景,發展是獨立的,提供了嚴格的證據。

//www.webtourguide.com/paper/a392240897ea63228b548b0570a315d4

矩陣分解全景

矩陣分解已經成為統計學的核心技術(Banerjee和Roy, 2014;、優化(Gill et al., 2021)、機器學習(Goodfellow et al., 2016);而深度學習在很大程度上是由於反向傳播算法在擬合神經網絡和低秩神經網絡在高效深度學習中的發展。本調查的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹,以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而,我們清楚地認識到,我們無法涵蓋所有關於矩陣分解的有用和有趣的結果,並且給出了這種討論的範圍的缺乏,例如,歐氏空間、厄米特空間和希爾伯特空間的分離分析。我們建議讀者參考線性代數領域的文獻,以獲得相關領域的更詳細介紹。一些優秀的例子包括(Householder, 2006; Trefethen and Bau III, 1997; Strang, 2009; Stewart, 2000; Gentle, 2007; Higham, 2002; Quarteroni et al., 2010; Golub and Van Loan, 2013; Beck, 2017; Gallier and Quaintance, 2017; Boyd and Vandenberghe, 2018; Strang, 2019; van de Geijn and Myers, 2020; Strang, 2021)。最重要的是,本綜述將隻涵蓋矩陣分解方法存在性的緊湊證明。關於如何降低計算複雜度,在各種應用和例子中進行嚴格的討論,為什麼每種矩陣分解方法在實踐中都很重要,以及張量分解的初步研究,請參見(Lu, 2021c)。

矩陣分解是將一個複雜的矩陣分解成其組成部分的一種方法,這些組成部分的形式更簡單。全局矩陣計算方法的基本原則是,它不是業務矩陣的algorithmists解決特定的問題,但這是一個方法,可以簡化更複雜的矩陣運算,可以進行分解的部分而不是原始矩陣本身。

矩陣分解算法可以分為許多類。盡管如此,六個類別占據了中心,我們在這裏概括一下:

  1. 由高斯消去產生的因子分解包括LU分解和它的正定替代- Cholesky分解;
  2. 將矩陣的列或行正交化時得到的因式分解,使數據可以用標準正交基很好地解釋; 3.分解矩陣的骨架,使列或行的一個子集可以在一個小的重構誤差中表示整個數據,同時,矩陣的稀疏性和非負性保持原樣;
  3. 化簡為Hessenberg、三對角或雙對角形式,結果是,矩陣的性質可以在這些化簡矩陣中探索,如秩、特征值等;
  4. 因式分解是計算矩陣特征值的結果;
  5. 特別地,其餘的可以被轉換為一種特殊的分解,其中涉及到優化方法和高級思想,其中類別可能無法直接確定。
成為VIP會員查看完整內容
13
93
0

相關內容

在線性代數的數學學科中,矩陣分解或矩陣分解是將一個矩陣分解成一個矩陣的乘積。有許多不同的矩陣分解;每種方法都適用於特定的一類問題。

概率圖模型將概率論與圖論相結合,是當前非常熱門的一個機器學習研究方向。《概率圖模型:原理與技術》詳細論述了有向圖模型(又稱貝葉斯網)和無向圖模型(又稱馬爾可夫網)的表示、推理和學習問題,全麵總結了人工智能這一前沿研究領域的新進展。為了便於讀者理解,書中包含了大量的定義、定理、證明、算法及其偽代碼,穿插了大量的輔助材料,如示例(examples)、技巧專欄(skill boxes)、實例專欄(case study boxes)、概念專欄(concept boxes)等。另外,在第 2章介紹了概率論和圖論的核心知識,在附錄中介紹了信息論、算法複雜性、組合優化等補充材料,為學習和運用概率圖模型提供了完備的基礎。

  《概率圖模型:原理與技術》可作為高等學校和科研單位從事人工智能、機器學習、模式識別、信號處理等方向的學生、教師和研究人員的教材和參考書。

https://mitpress.mit.edu/books/probabilistic-graphical-models

成為VIP會員查看完整內容
2
45
0

隨機矩陣理論自提出以來,在物理學、統計學和工程學等領域都有廣泛的應用。盡管早期的發展是由實際的實驗問題所推動的,但隨機矩陣現在被用於各種領域,如黎曼假設、隨機微分方程、凝聚態物理、統計物理、混沌係統、數值線性代數、神經網絡、多元統計、信息論、信號處理和小世界網絡。這篇文章提供了一個關於隨機矩陣的教程,它提供了理論的概述,並將最近獲得的最重要的結果彙集在一個來源中。在此基礎上,詳細介紹了隨機矩陣理論在無線通信信道基本極限中的應用。

https://www.nowpublishers.com/article/Details/CIT-001

成為VIP會員查看完整內容
0
31
0

這本第五版現代圖論之標準教科書糅合了經典著作的杈威及生動活潑的吸引風格;此風格 正是動態數學的標記。此書以簡潔而可靠的完整証明闡述圖論的核心內容;亦透過一兩個例子,配合詳盡證明其深入結果,讓讀者涉獵每一個領域 的高深方法。

這書可作為導論課程的可靠教科書,或研究生讀本及自修之用。

https://diestel-graph-theory.com/index.html

成為VIP會員查看完整內容
6
51
0

這本書的目的是提供一個從零開始全麵的貝葉斯優化介紹,並細致闡述所有關鍵的想法。目標受眾是機器學習、統計和相關領域的研究生和研究人員。然而,我也希望來自其他領域的從業者和研究人員能在這裏找到一些用處。

https://bayesoptbook.com/

本書分為三個主要部分,包括:

  • 高斯過程建模的理論與實踐,
  • Bayesian方法用於序列決策
  • 實現切實有效的優化策略。

還包括一些其他的主題:

  • 理論收斂結果的概述,
  • 一項關於引人注目的擴展的調研,
  • 貝葉斯優化的全麵曆史
  • 應用的帶注釋的參考書目。

目錄內容: Introduction Gaussian Processes Modeling with Gaussian Processes Model Assessment, Selection, and Averaging Decision Theory for Optimization Utility Functions for Optimization Common Bayesian Optimization Policies Computing Policies with Gaussian Processes Implementation Theoretical Analysis Extensions and Related Settings A Brief History of Bayesian Optimization

引言概述

在機器學習的背景下,貝葉斯優化是一個古老的想法。盡管貝葉斯優化的曆史已經很長,但在過去的十年裏,它經曆了一段複興和快速發展的時期。這種複興的主要驅動力是計算方麵的進步,這使得貝葉斯建模和推理的工具越來越複雜。

這本書的目的是提供一個從零開始的全麵的貝葉斯優化介紹,並細致闡述所有的關鍵思想。這種自下而上的方法允許我們在貝葉斯優化算法中確定統一的主題,這些主題可能在以往的調研文獻時丟失。

這本書分為三個主要部分。第2-4章涵蓋了高斯過程建模的理論和實踐方麵。這類模型是貝葉斯優化文獻中最受歡迎的,其中包含的材料對接下來的幾章至關重要。

第5-7章介紹了序列決策理論及其在優化中的應用。雖然這個理論需要一個目標函數的模型和我們對它的觀察,介紹是不可知的模型的選擇,可以獨立地閱讀前幾章的高斯過程。這些內容是在第8-10章中介紹的,討論了使用高斯過程模型的貝葉斯優化的細節。第8-9章討論了計算和實現的細節,第10章討論了貝葉斯優化算法的理論性能界限,其中大多數結果密切依賴於目標函數的高斯過程模型或相關的重新生成核希爾伯特空間。

一些應用的細微差別需要修改基本序列優化方案(這是前幾章的重點),第11章介紹了對這一基本設置的幾個值得注意的擴展。每一個都是通過貝葉斯決策理論的統一視角係統地呈現出來的,以說明一個人在麵對新情況時應該如何處理。最後,第12章提供了一個簡單和獨立的貝葉斯曆史介紹。

成為VIP會員查看完整內容
3
64
0

本教材介紹了線性代數的概念和技巧,為一年級或二年級的學生提供了高中代數的基本知識。課程內容有足夠的靈活性,既可以介紹傳統的入門課程,也可以提供更實用的課程。第1-4章為初學者提供一個學期的課程,而第5-9章為第二學期的課程(參見下麵的建議課程大綱)。這篇文章主要是關於在適當的時候提到複數的真實線性代數(在附錄A中複習)。總的來說,這篇文章的目的是在計算技能、理論和線性代數的應用之間取得平衡。微積分不是先決條件;提到它的地方可以省略。

線性代數在自然科學、工程、管理、社會科學以及數學中都有應用。因此,18個可選的“應用”部分包括在文本中介紹各種各樣的主題,如電力網絡,經濟模型,馬爾可夫鏈,線性遞歸,微分方程組,和有限域上的線性代碼。此外,還介紹了一些應用(例如線性動力係統和有向圖)。申請部分出現在相關章節的末尾,以鼓勵學生瀏覽。

https://math.emory.edu/~lchen41/teaching/2020_Fall/Nicholson-OpenLAWA-2019A.pdf

成為VIP會員查看完整內容
6
45
0

這本書的目的是全麵概述在算法的數學分析中使用的主要技術。涵蓋的材料從經典的數學主題,包括離散數學,基本的真實分析,和組合學,以及從經典的計算機科學主題,包括算法和數據結構。重點是“平均情況”或“概率”分析,但也涵蓋了“最壞情況”或“複雜性”分析所需的基本數學工具。我們假設讀者對計算機科學和實際分析的基本概念有一定的熟悉。簡而言之,讀者應該既能寫程序,又能證明定理。否則,這本書是自成一體的。

這本書是用來作為算法分析高級課程的教科書。它也可以用於計算機科學家的離散數學課程,因為它涵蓋了離散數學的基本技術,以及組合學和重要的離散結構的基本性質,在計算機科學學生熟悉的背景下。傳統的做法是在這類課程中有更廣泛的覆蓋麵,但許多教師可能會發現,這裏的方法是一種有用的方式,可以讓學生參與到大量的材料中。這本書也可以用來向數學和應用數學的學生介紹與算法和數據結構相關的計算機科學原理。

盡管有大量關於算法數學分析的文獻,但該領域的學生和研究人員尚未直接獲得廣泛使用的方法和模型的基本信息。本書旨在解決這種情況,彙集了大量的材料,旨在為讀者提供該領域的挑戰的欣賞和學習正在開發的先進工具以應對這些挑戰所需的背景知識。補充的論文從文獻,這本書可以作為基礎的介紹性研究生課程的算法分析,或作為一個參考或基礎的研究人員在數學或計算機科學誰想要獲得這個領域的文獻自學。

成為VIP會員查看完整內容
2
86
0

線性代數是計算和數據科學家的基本工具之一。這本書“高級線性代數:基礎到前沿”(ALAFF)是一個替代傳統高級線性代數的計算研究生課程。重點是數值線性代數,研究理論、算法和計算機算法如何相互作用。這些材料通過將文本、視頻、練習和編程交織在一起來保持學習者的參與性。

我們在不同的設置中使用了這些材料。這是我們在德克薩斯大學奧斯汀分校名為“數值分析:線性代數”的課程的主要資源,該課程由計算機科學、數學、統計和數據科學、機械工程以及計算科學、工程和數學研究生課程提供。這門課程也通過UT-Austin計算機科學碩士在線課程提供“高級線性代數計算”。最後,它是edX平台上名為“高級線性代數:基礎到前沿”的大規模在線開放課程(MOOC)的基礎。我們希望其他人可以將ALAFF材料重新用於其他學習設置,無論是整體還是部分。

為了退怕學習者,我們采取了傳統的主題的數字線性代數課程,並組織成三部分。正交性,求解線性係統,以及代數特征值問題。

  • 第一部分:正交性探討了正交性(包括規範的處理、正交空間、奇異值分解(SVD)和解決線性最小二乘問題)。我們從這些主題開始,因為它們是其他課程的先決知識,學生們經常與高等線性代數並行(甚至在此之前)進行學習。

  • 第二部分:求解線性係統集中在所謂的直接和迭代方法,同時也引入了數值穩定性的概念,它量化和限定了在問題的原始陳述中引入的誤差和/或在計算機算法中發生的舍入如何影響計算的正確性。

  • 第三部分:代數特征值問題,重點是計算矩陣的特征值和特征向量的理論和實踐。這和對角化矩陣是密切相關的。推廣了求解特征值問題的實用算法,使其可以用於奇異值分解的計算。本部分和本課程以在現代計算機上執行矩陣計算時如何實現高性能的討論結束。

成為VIP會員查看完整內容
11
134
0

自Goodfellow等人2014年開創性的工作以來,生成式對抗網(GAN)就受到了相當多的關注。這種關注導致了GANs的新思想、新技術和新應用的爆炸。為了更好地理解GANs,我們需要理解其背後的數學基礎。本文試圖從數學的角度對GANs進行概述。許多學數學的學生可能會發現關於GAN的論文更難以完全理解,因為大多數論文是從計算機科學和工程師的角度寫的。這篇論文的目的是用他們更熟悉的語言來介紹GANs。

成為VIP會員查看完整內容
0
59
0

本備忘單是機器學習手冊的濃縮版,包含了許多關於機器學習的經典方程和圖表,旨在幫助您快速回憶起機器學習中的知識和思想。

這個備忘單有兩個顯著的優點:

  1. 清晰的符號。數學公式使用了許多令人困惑的符號。例如,X可以是一個集合,一個隨機變量,或者一個矩陣。這是非常混亂的,使讀者很難理解數學公式的意義。本備忘單試圖規範符號的使用,所有符號都有明確的預先定義,請參見小節。

  2. 更少的思維跳躍。在許多機器學習的書籍中,作者省略了數學證明過程中的一些中間步驟,這可能會節省一些空間,但是會給讀者理解這個公式帶來困難,讀者會在中間迷失。

成為VIP會員查看完整內容
55
228
0

斯坦福大學Stephen Boyd教授與加州大學Lieven Vandenberghe教授合著的應用線性代數導論:向量、矩陣和最小二乘法《Introduction to Applied Linear Algebra – Vectors, Matrices, and Least Squares》在2018年由劍橋大學出版社發行,開源書包含19章,473頁pdf,這本書的目的是提供一個介紹向量,矩陣,最小二乘方法,應用線性代數的基本主題。目標是讓學生通俗易懂,入門學習。讓學習者了解在包括數據擬合、機器學習和人工智能,斷層、導航、圖像處理、金融、和自動控製係統的應用。是一本不可多得好教材。

Stephen P. Boyd是斯坦福大學電子工程Samsung 教授,信息係統實驗室電子工程教授,斯坦福大學電子工程係係主任。他在管理科學與工程係和計算機科學係任職,是計算與數學工程研究所的成員。他目前的研究重點是凸優化在控製、信號處理、機器學習和金融方麵的應用。https://web.stanford.edu/~boyd/

Lieven Vandenberghe,美國加州大學洛杉磯分校電子與計算機工程係和數學係教授

這本書的目的是提供一個介紹向量,矩陣,最小二乘方法,應用線性代數的基本主題。我們的目標是讓很少或根本沒有接觸過線性代數的學生快速學習,以及對如何使用它們在許多應用程序中, 包括數據擬合、機器學習和人工智能, 斷層、導航、圖像處理、金融、和自動控製係統。

讀者所需要的背景知識是熟悉基本的數學符號。我們隻在少數地方使用微積分,但它並不是一個關鍵的角色,也不是一個嚴格的先決條件。雖然這本書涵蓋了許多傳統上作為概率和統計的一部分來教授的話題,比如如何將數學模型與數據相匹配,但它並不需要概率和統計方麵的知識或背景。

這本書涉及的數學比應用線性代數的典型文本還少。我們隻使用線性代數中的一個理論概念,線性無關,和一個計算工具,QR分解;我們處理大多數應用程序的方法隻依賴於一種方法,即最小二乘(或某種擴展)。從這個意義上說,我們的目標是知識經濟:僅用一些基本的數學思想、概念和方法,我們就涵蓋了許多應用。然而,我們所提供的數學是完整的,因為我們仔細地證明了每一個數學命題。然而,與大多數介紹性的線性代數文本不同,我們描述了許多應用程序,包括一些通常被認為是高級主題的應用程序,如文檔分類、控製、狀態估計和組合優化。

這本書分為三部分。第一部分向讀者介紹向量,以及各種向量運算和函數,如加法、內積、距離和角度。我們還將描述如何在應用程序中使用向量來表示文檔中的字數、時間序列、病人的屬性、產品的銷售、音軌、圖像或投資組合。第二部分對矩陣也做了同樣的處理,最終以矩陣的逆和求解線性方程的方法結束。第三部分,關於最小二乘,是回報,至少在應用方麵。我們展示了近似求解一組超定方程的簡單而自然的思想,以及對這一基本思想的一些擴展,可以用來解決許多實際問題。

成為VIP會員查看完整內容
38
183
0
小貼士
相關主題
相關VIP內容
專知會員服務
45+閱讀 · 2月13日
專知會員服務
31+閱讀 · 2021年12月21日
專知會員服務
51+閱讀 · 2021年10月14日
專知會員服務
64+閱讀 · 2021年10月11日
專知會員服務
45+閱讀 · 2021年9月27日
專知會員服務
86+閱讀 · 2021年8月30日
專知會員服務
59+閱讀 · 2020年9月3日
機器學習速查手冊,135頁pdf
專知會員服務
228+閱讀 · 2020年3月15日
微信掃碼谘詢專知VIP會員
Top