人工神經網絡(Artificial Neural Network,即ANN ),是20世紀80 年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經元網絡進行抽象, 建立某種簡單模型,按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。神經網絡是一種運算模型,由大量的節點(或稱神經元)之間相互聯接構成。每個節點代表一種特定的輸出函數,稱為激勵函數(activation function)。每兩個節點間的連接都代表一個對於通過該連接信號的加權值,稱之為權重,這相當於人工神經網絡的記憶。網絡的輸出則依網絡的連接方式,權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近,也可能是對一種邏輯策略的表達。 最近十多年來,人工神經網絡的研究工作不斷深入,已經取得了很大的進展,其在模式識別、智能機器人、自動控製、預測估計、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題,表現出了良好的智能特性。

VIP內容

邱錫鵬教授的《神經網絡與深度學習》一書較全麵地介紹了神經網絡、機器學習和深度學習的基本概念、模型和方法,同時也涉及深度學習中許多最新進展.書後還提供了相關數學分支的簡要介紹,以供讀者需要時參考.

本書電子版已在 GitHub 上開放共享,得到廣泛好評,相信此書的出版可以給有意了解或進入這一頗有前途領域的讀者提供一本很好的參考書.基本的深度學習相當於函數逼近問題,即函數或曲麵的擬合,所不同的是,這裏用作基函數的是非線性的神經網絡函數,而原來數學中用的則是多項式、三角多項式、B-spline、一般spline以及小波函數等的線性組合.

由於神經網絡的非線性和複雜性(要用許多結構參數和連接權值來描述),它有更強的表達能力,即從給定的神經網絡函數族中可能找到對特定數據集擬合得更好的神經網絡.相信這正是深度學習方法能得到一係列很好結果的重要原因.直觀上很清楚,當你有更多的選擇時,你有可能作出更好的選擇.當然,要從非常非常多的選擇中找到那個更好的選擇並不容易.

這裏既涉及設計合適的神經網絡類型,也涉及從該類型的神經網絡中找出好的(即擬合誤差小的)特定神經網絡的方法.後者正是數學中最優化分支所研究的問題.從數學角度看,目前深度學習中所用的優化算法還是屬於比較簡單的梯度下降法.許多數學中已有的更複雜的算法,由於高維數問題都還沒有得到應用.本書中對這兩方麵都有很好的介紹.相信隨著研究的不斷發展,今後一定會提出更多新的神經網絡和新的優化算法.

章節內容
1 緒論ppt
2 機器學習概述ppt
3 線性模型ppt
4 前饋神經網絡ppt
5 卷積神經網絡ppt
6 循環神經網絡ppt
7 網絡優化與正則化ppt
8 注意力機製與外部記憶ppt
9 無監督學習ppt
10 模型獨立的學習方式ppt
11 概率圖模型ppt
12 深度信念網絡ppt
13 深度生成模型ppt
14 深度強化學習ppt
15 序列生成模型ppt
數學基礎

邱錫鵬,神經網絡與深度學習,機械工業出版社,https://nndl.github.io/, 2020.

成為VIP會員查看完整內容
37
59
0

最新內容

0
0
0

最新論文

Let $X_1,\dots,X_n$ be independent centered random vectors in $\mathbb{R}^d$. This paper shows that, even when $d$ may grow with $n$, the probability $P(n^{-1/2}\sum_{i=1}^nX_i\in A)$ can be approximated by its Gaussian analog uniformly in hyperrectangles $A$ in $\mathbb{R}^d$ as $n\to\infty$ under appropriate moment assumptions, as long as $(\log d)^5/n\to0$. This improves a result of Chernozhukov, Chetverikov & Kato [Ann. Probab. 45 (2017) 2309-2353] in terms of the dimension growth condition. When $n^{-1/2}\sum_{i=1}^nX_i$ has a common factor across the components, this condition can be further improved to $(\log d)^3/n\to0$. The corresponding bootstrap approximation results are also developed. These results serve as a theoretical foundation of simultaneous inference for high-dimensional models.

0
0
0
下載
預覽
微信掃碼谘詢專知VIP會員
Top