邱錫鵬教授的《神經網絡與深度學習》一書較全麵地介紹了神經網絡、機器學習和深度學習的基本概念、模型和方法，同時也涉及深度學習中許多最新進展．書後還提供了相關數學分支的簡要介紹，以供讀者需要時參考．
本書電子版已在 GitHub 上開放共享，得到廣泛好評，相信此書的出版可以給有意了解或進入這一頗有前途領域的讀者提供一本很好的參考書．基本的深度學習相當於函數逼近問題，即函數或曲麵的擬合，所不同的是，這裏用作基函數的是非線性的神經網絡函數，而原來數學中用的則是多項式、三角多項式、B-spline、一般spline以及小波函數等的線性組合．
由於神經網絡的非線性和複雜性（要用許多結構參數和連接權值來描述），它有更強的表達能力，即從給定的神經網絡函數族中可能找到對特定數據集擬合得更好的神經網絡．相信這正是深度學習方法能得到一係列很好結果的重要原因．直觀上很清楚，當你有更多的選擇時，你有可能作出更好的選擇．當然，要從非常非常多的選擇中找到那個更好的選擇並不容易．
這裏既涉及設計合適的神經網絡類型，也涉及從該類型的神經網絡中找出好的（即擬合誤差小的）特定神經網絡的方法．後者正是數學中最優化分支所研究的問題．從數學角度看，目前深度學習中所用的優化算法還是屬於比較簡單的梯度下降法．許多數學中已有的更複雜的算法，由於高維數問題都還沒有得到應用．本書中對這兩方麵都有很好的介紹．相信隨著研究的不斷發展，今後一定會提出更多新的神經網絡和新的優化算法．
章節內容
1 緒論ppt
2 機器學習概述ppt
3 線性模型ppt
4 前饋神經網絡ppt
5 卷積神經網絡ppt
6 循環神經網絡ppt
7 網絡優化與正則化ppt
8 注意力機製與外部記憶ppt
9 無監督學習ppt
10 模型獨立的學習方式ppt
11 概率圖模型ppt
12 深度信念網絡ppt
13 深度生成模型ppt
14 深度強化學習ppt
15 序列生成模型ppt
數學基礎
邱錫鵬，神經網絡與深度學習，機械工業出版社，https://nndl.github.io/, 2020.
Let $X_1,\dots,X_n$ be independent centered random vectors in $\mathbb{R}^d$. This paper shows that, even when $d$ may grow with $n$, the probability $P(n^{-1/2}\sum_{i=1}^nX_i\in A)$ can be approximated by its Gaussian analog uniformly in hyperrectangles $A$ in $\mathbb{R}^d$ as $n\to\infty$ under appropriate moment assumptions, as long as $(\log d)^5/n\to0$. This improves a result of Chernozhukov, Chetverikov & Kato [Ann. Probab. 45 (2017) 2309-2353] in terms of the dimension growth condition. When $n^{-1/2}\sum_{i=1}^nX_i$ has a common factor across the components, this condition can be further improved to $(\log d)^3/n\to0$. The corresponding bootstrap approximation results are also developed. These results serve as a theoretical foundation of simultaneous inference for high-dimensional models.
微信掃碼谘詢專知VIP會員
444頁pdf！邱錫鵬教授2021年5月18日新版《神經網絡與深度學習》
