【幹貨書】數據科學中的信息理論方法

自1948年引入信息論以來，信息論已被證明在分析與壓縮、存儲和傳輸數據有關的問題方麵起著重要作用。例如，信息論允許分析數據通信和壓縮的基本限製，並在幾十年的實際通信係統設計中發揮了作用。近年來，在使用信息理論方法解決數據壓縮、數據通信和網絡之外的問題方麵出現了複興，例如壓縮感知、數據獲取、數據分析、機器學習、圖挖掘、社區檢測、隱私和公平。在這本書中，我們探索了信號處理、機器學習、學習理論和統計的接口上的一係列廣泛的問題，其中源自信息論的工具和方法可以提供類似的好處。幾十年來，信息論在這一界麵上的作用確實得到了承認。一個突出的例子是在1980年代使用互信息、度量熵和容量等信息理論量來建立估計的極大極小率。在這裏，我們打算探索這個界麵的現代應用，這些應用正在塑造21世紀的數據科學。

當然，標準信息理論工具與信號處理或數據分析方法之間有一些顯著的差異。從整體上說，信息論傾向於關注漸近極限，使用大的塊長度，並假設數據是由有限的比特數表示，並通過一個噪聲信道觀看。標準結果不關心複雜性，而是更多地關注通過可實現性和反向結果表征的基本限製。另一方麵，一些信號處理技術，如采樣理論，專注於離散時間表示，但不一定假設數據是量化的或係統中有噪聲。信號處理通常關注的是最優的具體方法，即達到開發的極限，並具有有限的複雜性。因此，很自然地將這些工具結合起來，以解決更廣泛的問題和分析，包括量化、噪聲、有限樣本和複雜性分析。

這本書的目的是為新興的數據科學問題的信息理論方法的最近的應用提供一個綜述。本書的潛在讀者可能是信息理論、信號處理、機器學習、統計學、應用數學、計算機科學或相關研究領域的研究人員，或尋求了解信息理論和數據科學並在此界麵上找出開放問題的研究生。本卷的特殊設計確保它可以作為研究人員和學生的教科書的最先進的參考。

這本書包含了16個不同的章節，由世界範圍內公認的領先專家撰寫，涵蓋了信號處理、數據科學和信息論界麵上的各種各樣的主題。本書以信息理論的介紹作為其餘章節的背景開始，也設置了貫穿全書使用的符號。接下來的章節被分為四類: 數據獲取(第2-4章)，數據表示和分析(第5-9章)，信息論和機器學習(第10和11章)，以及信息論、統計和壓縮(第12-15章)。最後一章，第16章，通過對範諾不等式在一係列數據科學問題中的調研，將本書的幾個主題聯係起來。章節是獨立的，涵蓋了各自主題的最新研究結果，並且可以彼此獨立地處理。