1954年，Alston S. Householder發表了《數值分析原理》，這是矩陣分解的第一個現代處理方法，它支持(塊)LU分解——將矩陣分解為上三角矩陣和下三角矩陣的乘積。而現在，矩陣分解已經成為機器學習的核心技術，這在很大程度上是因為反向傳播算法在擬合神經網絡方麵的發展。本調研的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹，以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而，我們清楚地認識到，我們無法涵蓋所有關於矩陣分解的有用和有趣的結果，並且給出了這種討論的範圍的缺乏，例如，分離分析歐幾裏德空間、厄米特空間、希爾伯特空間和複域中的東西。我們建議讀者參考線性代數領域的文獻，以獲得相關領域的更詳細介紹。本綜述主要是對矩陣分解方法的目的、意義，以及這些方法的起源和複雜性進行了總結，並闡明了它們的現代應用。最重要的是，本文為分解算法的大多數計算提供了改進的過程，這可能會降低它們所引起的複雜性。同樣，這是一個基於分解的上下文，因此我們將在需要和必要時介紹相關的背景。在其他許多關於線性代數的教科書中，主要思想被討論，而矩陣分解方法是“副產品”。然而，我們將重點放在分解方法上，而主要思想將作為分解方法的基本工具。數學的先決條件是線性代數的第一門課程。除了這個適中的背景，發展是獨立的，提供了嚴格的證據。

//www.webtourguide.com/paper/a392240897ea63228b548b0570a315d4

矩陣分解全景

矩陣分解已經成為統計學的核心技術(Banerjee和Roy, 2014;、優化(Gill et al.， 2021)、機器學習(Goodfellow et al.， 2016);而深度學習在很大程度上是由於反向傳播算法在擬合神經網絡和低秩神經網絡在高效深度學習中的發展。本調查的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹，以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而，我們清楚地認識到，我們無法涵蓋所有關於矩陣分解的有用和有趣的結果，並且給出了這種討論的範圍的缺乏，例如，歐氏空間、厄米特空間和希爾伯特空間的分離分析。我們建議讀者參考線性代數領域的文獻，以獲得相關領域的更詳細介紹。一些優秀的例子包括(Householder, 2006; Trefethen and Bau III, 1997; Strang, 2009; Stewart, 2000; Gentle, 2007; Higham, 2002; Quarteroni et al., 2010; Golub and Van Loan, 2013; Beck, 2017; Gallier and Quaintance, 2017; Boyd and Vandenberghe, 2018; Strang, 2019; van de Geijn and Myers, 2020; Strang, 2021)。最重要的是，本綜述將隻涵蓋矩陣分解方法存在性的緊湊證明。關於如何降低計算複雜度，在各種應用和例子中進行嚴格的討論，為什麼每種矩陣分解方法在實踐中都很重要，以及張量分解的初步研究，請參見(Lu, 2021c)。

矩陣分解是將一個複雜的矩陣分解成其組成部分的一種方法，這些組成部分的形式更簡單。全局矩陣計算方法的基本原則是,它不是業務矩陣的algorithmists解決特定的問題,但這是一個方法,可以簡化更複雜的矩陣運算,可以進行分解的部分而不是原始矩陣本身。

矩陣分解算法可以分為許多類。盡管如此，六個類別占據了中心，我們在這裏概括一下:

1. 由高斯消去產生的因子分解包括LU分解和它的正定替代- Cholesky分解;
2. 將矩陣的列或行正交化時得到的因式分解，使數據可以用標準正交基很好地解釋; 3.分解矩陣的骨架，使列或行的一個子集可以在一個小的重構誤差中表示整個數據，同時，矩陣的稀疏性和非負性保持原樣;
3. 化簡為Hessenberg、三對角或雙對角形式，結果是，矩陣的性質可以在這些化簡矩陣中探索，如秩、特征值等;
4. 因式分解是計算矩陣特征值的結果;
5. 特別地，其餘的可以被轉換為一種特殊的分解，其中涉及到優化方法和高級思想，其中類別可能無法直接確定。