這本書的三個主要部分對應了論文從構思到出版的三個主要階段: 計劃、寫作和出版。在這本書的各個章節中,一些複雜的問題如“如何寫導言?”或“如何提交手稿?”,這些問題會被分解成更小、更容易處理的問題,然後以直接、對話的方式進行討論,提供輕鬆愉快的閱讀體驗。

以母語不是英語的科學家為目標,撰寫和發表科學論文,在該領域脫穎而出。在談到文體和語法問題的同時,這本書的主要目標是就溝通的首要原則提出建議。

這本書是一個極好的資源,任何學生或科學家希望了解更多關於科學出版過程和科學傳播。對於那些來自英語世界以外、想要尋找一本全麵的英文出版指南的人來說,這本書尤其有用。

成為VIP會員查看完整內容
0
59
1
自然語言處理(NLP)是語言學,計算機科學,信息工程和人工智能的一個子領域,與計算機和人類(自然)語言之間的相互作用有關,尤其是如何對計算機進行編程以處理和分析大量自然語言數據 。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

【導讀】佛羅裏達大學電子與計算機工程係教授Sean Meyn撰寫的新書稿《強化學習與控製係統》,重點講述了與強化學習最相關的控製基礎,以及基於這些基礎的RL算法設計的大量工具。

Sean Meyn,佛羅裏達大學電子與計算機工程係教授兼Robert C. Pittman傑出學者主席,認知與控製實驗室主任,佛羅裏達可持續能源研究所所長。Sean於1982年獲得加利福尼亞大學洛杉磯分校數學學士學位,於1987年獲得麥吉爾大學電子工程博士學位。他的學術研究興趣包括決策和控製的理論與應用,隨機過程和優化。他在這些主題上的研究獲得了許多獎項,並且是IEEE會士。

http://www.meyn.ece.ufl.edu/

為了定義強化學習(RL),首先需要定義自動控製。例如,在你的日常生活中,可能包括你的汽車巡航控製,你的空調恒溫器,冰箱和熱水器,以及現代的衣物烘幹機的決策規則。有收集數據的傳感器,有收集數據以了解世界狀態的計算機”(汽車以正確的速度行駛嗎?毛巾還濕嗎?),根據這些測量結果,由計算機驅動的算法會發出命令來調整需要調整的東西:油門、風扇速度、加熱盤管電流,或者……更令人興奮的例子包括太空火箭、人造器官和微型機器人來進行手術。RL的目標是真正自動的自動控製:沒有任何物理學或生物學或醫學知識,RL算法調整自己成為一個超級控製器: 最平穩的飛行進入太空,和最專業的微型外科醫生! 這個夢想在大多數應用中肯定是遙不可及的,但最近的成功故事鼓舞了工業界、科學家和新一代學生。繼2015年擊敗歐洲圍棋冠軍樊麾之後,DeepMind的AlphaGo再次刷新了世界紀錄。不久之後的新聞是令人震驚的AlphaZero續集,它在“沒有任何專家幫助的情況下”自學下國際象棋和圍棋。這在現在看來已經不是什麼新鮮事了,似乎每個月都會有新的突破。

今天的強化學習有兩個同等重要的基礎: 1. 最優控製:兩個最著名的RL算法,TD-和q -學習,都是關於逼近最優控製的核心價值函數。2. 統計和信息理論。RL中的loration是本書的一大焦點,它強調了最優控製的幾何性質,以及為什麼創建可靠的學習算法並不困難。我們不會忽視第二個基礎: 動機和成功的啟發式將在不深入研究理論的情況下進行解釋。讀者將學到足夠的知識,開始嚐試自製的計算機代碼,並擁有一個大的算法設計選擇庫。在完成這本書的一半之前,我希望學生能對為什麼這些算法被期望是有用的以及為什麼它們有時會失敗有一個紮實的理解。

本書的重點是與強化學習最相關的控製基礎,以及基於這些基礎的RL算法設計的大量工具。

成為VIP會員查看完整內容
0
58
0

如果你想從程序員轉型為AI專家,這是一個理想的起點。基於Laurence Moroney極其成功的AI課程,這本介紹性的書提供了一個動手實踐,代碼優先的方法,幫助您建立信心,而您學習關鍵主題。

您將了解如何實現機器學習中最常見的場景,如計算機視覺、自然語言處理(NLP),以及web、移動、雲和嵌入式運行時的序列建模。大多數關於機器學習的書籍都是從令人生畏的高等數學開始的。本指南建立在讓您直接使用代碼的實踐經驗的基礎上。

你將學習: 如何使用TensorFlow建立模型 通過代碼示例學習機器學習的基礎知識 如何實現計算機視覺,包括圖像中的特征檢測 如何使用自然語言處理來標記和排列單詞和句子 在Android和iOS中嵌入模型的方法 如何使用TensorFlow服務在網絡和雲上部署模型

https://www.oreilly.com/library/view/ai-and-machine/9781492078180/

歡迎來到《程序員的人工智能和機器學習》,這是我多年來一直想寫的書,但由於機器學習(ML)的最新進展,特別是TensorFlow,它才真正成為可能。本書的目標是為你做準備,作為一個程序員,許多場景,你可以解決機器學習,目的是促使你成為一個ML和AI開發人員,而不需要博士學位!我希望你會發現它是有用的,它將增強你的信心,開始這一美妙和有價值的旅程。

這本書主要由兩部分組成。第一部分(1-11章)討論了如何使用TensorFlow為各種場景構建機器學習模型。它帶你從最初的原理——用一個隻包含一個神經元的神經網絡建立一個模型——到計算機視覺、自然語言處理和序列建模。第二部分(12-20章)將介紹如何將模型放在Android和iOS上,在瀏覽器中使用JavaScript,並通過雲提供服務。大多數章節都是獨立的,所以你可以順便學習一些新的東西,或者,當然,你可以從頭到尾讀一遍。

目錄內容: Foreword

Preface I. Building Models

  1. Introduction to TensorFlow

  2. Introduction to Computer Vision

  3. Going Beyond the Basics: Detecting Features in Images

  4. Using Public Datasets with TensorFlow Datasets

  5. Introduction to Natural Language Processing

  6. Making Sentiment Programmable Using Embeddings

  7. Recurrent Neural Networks for Natural Language Processing

  8. Using TensorFlow to Create Text

  9. Understanding Sequence and Time Series Data

  10. Creating ML Models to Predict Sequences

  11. Using Convolutional and Recurrent Methods for Sequence Models

II. Using Models

  1. An Introduction to TensorFlow Lite

  2. Using TensorFlow Lite in Android Apps

  3. Using TensorFlow Lite in iOS Apps

  4. An Introduction to TensorFlow.js

  5. Coding Techniques for Computer Vision in TensorFlow.js

  6. Reusing and Converting Python Models to JavaScript

  7. Transfer Learning in JavaScript

  8. Deployment with TensorFlow Serving

  9. AI Ethics, Fairness, and Privacy

Index

成為VIP會員查看完整內容
0
50
1

主動學習是一種有監督的機器學習協議,其中學習算法從大量未標記數據中序列地請求選定數據點的標簽。這與被動學習形成了對比,被動學習是隨機獲取有標記的數據。主動學習的目標是產生一個高度精確的分類器,理想情況下使用的標簽要比被動學習達到同樣目的所需的隨機標記數據的數量少。這本書描述了我們對主動學習的理論益處的理解的最新進展,以及對設計有效的主動學習算法的啟示。文章的大部分內容都集中在一種特殊的方法上,即基於不同意見的主動學習,到目前為止,這種方法已經積累了大量的文獻。它還從文獻中簡要地考察了幾種可供選擇的方法。重點是關於一些一般算法的性能的定理,包括適當的嚴格證明。然而,本文的目的是教學,集中於說明基本思想的結果,而不是獲得最強或最普遍的已知定理。目標受眾包括機器學習和統計學領域的研究人員和高級研究生,他們有興趣更深入地了解主動學習理論最近和正在進行的發展。

成為VIP會員查看完整內容
1
46
0

曆經半個世紀的發展,人工智能正在社會經濟生活中發揮越來越重要的作用。認知智能是一種賦予機器模擬人類認知思考能力的技術,作為人工智能發展的高級階段,具有交互性、情境性與適應性等特點。認知智能“能理解、會思考”的能力,可以極大地將人類從重複體力勞動和簡單腦力勞動中解放出來。

當前,認知智能產業生態已初步形成,產業應用加快落地,技術研發持續突破,湧現出一批具有代表性的企業,儼然成為城市數字化浪潮中的關鍵驅動力。中國信息通信研究院華東分院聯合竹間智能科技(上海)有限公司就人工智能全球態勢、認知智能產業生態、技術融合、典型案例與未來趨勢等方麵開展了產業技術分析,形成《2021 認知智能發展研究報告》。 本報告由五大篇章組成:第一篇章:全球態勢篇,對全球人工智能政策環境、發展現狀與發展熱點進行了詳細介紹;第二篇章:產業生態篇,闡述了認知智能發展曆程,並從行業生態、技術專利、學術研究和產業標準等方麵展開具體分析;第三篇章:技術融合篇,闡述了當前認知智能領域情感計算、知識圖譜、圖像理解等六大行業技術領域的融合發展情況;第四篇章:典型案例篇,闡述了當前認知智能在金融、製造、教育等六大場景的應用落地總體情況與典型產品案例;第五篇章:未來趨勢篇,總結了認知智能發展麵臨的問題挑戰,對未來發展做出展望。 ![](https://cdn.zhuanzhi.ai/vfiles/cda708330603af4a33f9306eed4532e3)
成為VIP會員查看完整內容
0
44
0

ICML 2021的論文接收結果已經公布,今年一共有5513篇有效投稿,其中1184篇論文被接收,接收率為21.5% 。另外在這1184篇被接收論文中,有166篇長presentations和1018篇短presentations。

1000多篇論文不可能看過來,那怎麼辦?最近Paper Digest Team發布了一個《一句話點評論文亮點的係統,涵蓋1183篇論文的亮點,有122頁pdf之多,這樣大大幫助讀者鎖定想看的論文!

地址:https://www.paperdigest.org/2021/07/icml-2021-highlights/

每一行是一篇論文,包含論文題目、作者和論文摘要亮點。讀者直接點擊論文題目可跳轉到論文pdf頁麵查看下載。

總共包含了1183篇論文!

為了幫助社區快速查找會議上的工作,Paper Digest團隊處理所有被接受的論文,並為每篇論文生成一個亮點總結(通常是主要主題)。鼓勵讀者閱讀這些機器生成的要點/摘要,以快速獲得每篇論文的主要思想。

成為VIP會員查看完整內容
0
42
1

智能需要記憶。沒有記憶,人類就無法完成各種重要的任務,比如讀小說、玩遊戲或解決數學問題。機器學習的最終目標是開發出像人類一樣自動學習和行動的智能係統,因此機器的記憶構建是必然的。人工神經網絡通過權值將計算單元連接起來,對大腦中的神經元和突觸進行建模,這是一種典型的類似於記憶結構的機器學習算法。他們的後代擁有更複雜的建模技術(即深度學習),已經成功地應用於許多實際問題,並證明了記憶在機器係統學習過程中的重要性。近年來,深度學習中記憶建模的研究主要圍繞外部記憶結構展開,受到計算圖靈模型和生物神經元係統的啟發。注意力機製的產生是為了支持外部記憶的獲取和保留操作。盡管缺乏理論基礎,這些方法已經顯示出幫助機器係統達到更高智能水平的希望。本文的目的是提高對深度學習中記憶和注意力的認識。它的貢獻包括: (i) 呈現記憶分類的集合,(ii)構建支持多個控製和記憶單元的新的記憶增強神經網絡(MANN), (iii)通過序列生成模型中的記憶引入可變性,(iv)在基於槽的記憶網絡中尋找最佳的寫操作以最大限度地提高記憶能力;(v)通過神經網絡的一種新型外部存儲器——神經存儲程序存儲器來模擬通用圖靈機。

目錄內容: 1 Introduction 2 Taxonomy for Memory in RNNs 3 Memory-augmented Neural Networks 4 Memory Models for Multiple Processes 5 Variational Memory in Generative Models 6 Optimal Writing Memory 7 Neural Stored-Program Memory 8 Conclusions

在這篇論文中,我們介紹了神經網絡的幾種記憶類型,特別是遞歸神經網絡(RNNs)。我們強調記憶作為RNN的外部存儲的概念,其中rnn可以學習讀寫外部記憶,以支持其工作記憶(第2章)。我們回顧了解決訓練RNN困難的進展,如門控和注意機製,特別是基於槽的MANN,這是本文第三章提出的新模型的主要內容。我們的主要貢獻有四方麵。首先, 我們MANN作為一個多進程多視點模型來處理複雜的問題,如sequence-to-sequence映射和多視角序列學習(第四章)。我們進一步擴展MANNs作為離散序列的模型生成會話數據可變性和一致性要求(第5章)。我們也解釋到內存中最後,我們介紹了一類新的MANN,它遵循存儲程序存儲原理,可以通過切換控製器的程序來執行不同的功能。

成為VIP會員查看完整內容
0
40
2

來自李海同學的《人工智能、機器學習的理論與實踐》

 人工神經網絡  卷積神經網絡  循環神經網絡  強化學習  知識圖譜  條件隨機場  隱馬爾可夫模型  線性回歸  自適應線性單元  Logistic回歸  Softmax回歸  NaiveBayes  決策樹  Apriori  FP-growth  kMeans  奇異值分解  主成分分析  遺傳算法  有限狀態機  蒙特卡洛樹搜索  TF-IDF  人工智能先決條件

http://www.ml-tech.net/

成為VIP會員查看完整內容
0
39
0

最近,深度學習三巨頭聯名發表了一篇文章。在文章中,他們回顧了近年來深度學習的基本概念和一些突破性成就,描述了深度學習的起源,還討論了一些未來的挑戰。

人工神經網絡的研究源於以下觀察:人類智能來自於高度並行的、相對簡單的非線性神經元網絡,這些神經元通過調整其連接的強度來學習知識。

這一觀察引發出一個核心計算問題:這種一般類型的網絡如何學習識別物體或理解語言等困難任務所需的複雜內部表示呢?深度學習試圖通過深度表征向量和最優化損失函數得到的權重鏈接來回答這個問題。

非常令人驚訝的是,這種概念上簡單的方法在使用大量計算資源和大型訓練集時被實驗證明是如此有效,而且似乎一個關鍵因素是深度,即淺層網絡無法正常工作。

本文,我們將回顧近年來深度學習的基本概念和一些突破性成就,描述深度學習的起源,以及討論一些未來的挑戰。

這些挑戰包括在很少或沒有外部監督的情況下進行學習,處理來自與訓練樣本不同分布的測試樣本,以及使用深度學習方法,用於那些人類通過一係列步驟有意識地解決的任務 —— 即 Kahneman 稱之為 system 2 而非 system 1 的任務,例如對象識別或即時自然語言理解。system 1 的任務往往更輕鬆。

從手工設計的編碼到分布式向量表示

人工智能有兩種截然不同的範式。簡而言之,邏輯啟發範式將順序推理視為智能的本質,旨在使用手工設計的推理規則在計算機中實現推理,這些規則對手工設計的將知識形式化的符號表達式進行操作。

受大腦啟發的範式將從數據中學習表征視為智能的本質,旨在通過手動設計或演化規則來實現學習,以修改人工神經網絡中的連接強度。

在邏輯啟發範式中,符號沒有有意義的內部結構:它的意義在於它與其他符號的關係,這些關係可以用一組符號表達式或關係圖來表示。

相比之下,在類腦範式中,用於交流的外部符號被轉換為神經活動的內部向量,這些向量具有豐富的相似結構。活動向量可用於通過為每個符號學習適當的活動向量並學習允許填充與符號串缺失元素對應的活動向量的非線性變換來對一組符號串中固有的結構進行建模。

Rumelhart 等人首先證明了這一點。最近一個非常令人印象深刻的係統是 BERT,它利用自注意力來動態連接單元組。

使用神經活動向量來表示概念和權重矩陣來捕捉概念之間的關係的主要優點是,這會產生自動的泛化能力。如果星期二和星期四由非常相似的向量表示,它們將對神經活動的其他向量產生非常相似的因果影響。

這有助於類比推理,並表明直接、直觀的類比推理是我們的主要推理模式,而邏輯順序推理 (logical sequential reasoning) 則是較晚的發展,我們將對此進行討論。

深度學習的興起

2000 年代初期,深度學習領域通過引入一些新技術使訓練更深的網絡變得容易,從而重新激發了神經網絡的研究。

GPU 和大型數據集是深度學習的關鍵推動因素,並且通過開發具有自動區分功能的開源、靈活的軟件平台(例如 Theano、Torch、Caffe、TensorFlow、和 PyTorch)大大增強了深度學習的發展,這使得訓練複雜的深度網絡和重用最新模型及其構建塊變得容易。而且,更多層的組合允許更複雜的非線性,並在感知任務中取得了令人驚訝的好結果。

1)為什麼是深度?:盡管更深層次的神經網絡可能是更強大的直覺早於現代深度學習技術,這是架構和訓練程序方麵的一係列進步,但是,為什麼更深的網絡可以更好地概括我們對建模感興趣的輸入輸出關係類型?

重要的是,要認識到這不僅僅是具有更多參數的問題,因為深度網絡通常比具有相同參數數量的淺層網絡具有更好的泛化能力。

最流行的計算機視覺卷積網絡架構是 ResNet 係列,其中最常見的代表 ResNet-50 有 50 層。本文未提及但結果證明非常有用的其他成分包括圖像變形、dropout 和批量歸一化。

我們相信深度網絡之所以出色,是因為它們利用了一種特定形式的組合性,其中一層中的特征以多種不同的方式組合,以在下一層創建更多抽象特征。對於像感知這樣的任務,這種組合性非常有效,並且有強有力的證據表明這種組合性質被生物感知係統所利用。

2)無監督預訓練:當標記訓練示例的數量與執行任務所需的神經網絡的複雜性相比較小時,開始使用一些其他信息源來創建特征檢測器層然後微調這些特征檢測器是有意義的。在遷移學習中,信息來源是另一個具有大量標簽的監督學習任務。但也可以通過堆疊自動編碼器來創建多層特征檢測器,而無需使用任何標簽。

首先,我們學習了一層特征檢測器,其輸出激活向量允許重建輸入。然後學習第二層特征檢測器,其激活向量允許重建第一層特征檢測器的激活。

在以這種方式學習了幾個隱藏層之後,嚐試從最後一個隱藏層中的活動預測標簽,並通過所有層反向傳播錯誤,以便微調最初建立的特征檢測器,而不使用標簽中的寶貴信息。預訓練可以很好地提取與最終分類無關的各種結構,但是,在計算便宜且標記數據昂貴的情況下,隻要預訓練將輸入轉換為表示使分類更容易。

除了提高泛化能力之外,無監督預訓練還以一種很容易通過反向傳播微調深度神經網絡的方式初始化權重。

預訓練對優化的影響在曆史上對於克服深度網絡難以訓練的公認觀點很重要,但現在人們使用修正線性單元(見下一節)和殘差連接,它的相關性要小得多。然而, 預訓練對泛化的影響已被證明是非常重要的。它可以通過利用大量未標記的數據來訓練非常大的模型,例如在自然語言處理中,有大量的語料庫可用。預訓練和微調的一般原則已成為深度學習工具箱中的一個重要工具,例如,遷移學習和元學習。

3)ReLU 的成功之謎:深度網絡的早期成功涉及使用 sigmoid 非線性函數或雙曲正切激活函數對隱含層進行無監督預訓練。

長期以來,神經科學線性 ReLU 函數是生物神經網絡中的正確激活,並且 ReLU 已經在 RBM 的某些變體和卷積神經網絡中使用,並取得了不錯的效果。ReLU 使學習變得容易,這是一個出乎意料的驚喜,通過反向傳播和隨機梯度下降來訓練深度網絡,而無需逐層預訓練。這是技術進步之一,使深度學習能夠勝過先前的對象識別方法。

4)語音和物體識別方麵的突破:聲學模型將聲波的表示轉換為音素片段的概率分布。

Robinson 使用晶片機和 Morgan 等人使用 DSP 芯片的嚐試已經表明,如果有足夠的處理能力,神經網絡可以與最先進的聲學建模技術相媲美。2009 年,兩名使用 Nvidia GPU 的研究生表明,預訓練的深度神經網絡在 TIMIT 數據集上的表現略優於 SOTA。

這一結果重新點燃了神經網絡中幾個主要語音小組的興趣。2010 年,基本上相同的深度網絡被證明在不需要依賴說話者的訓練的情況下在大詞彙語音識別方麵擊敗了 SOTA。

到 2012 年,穀歌設計了一個生產版本,顯著改善了 Android 上的語音搜索。這是深度學習顛覆性力量的早期證明。

大約在同一時間,深度學習在 2012 年 ImageNet 競賽中取得了戲劇性的勝利,在識別自然圖像中一千種不同類別的物體時,錯誤率幾乎減半。這場勝利的關鍵是李飛飛的主要努力和她的合作者為訓練集收集了超過一百萬張帶標簽的圖像,並且 Alex Krizhevsky 非常有效地使用了多個 GPU。

當前的硬件(包括 GPU)鼓勵在多次使用該權重時分攤從內存中獲取權重的成本。使用每個權重一次的純在線隨機梯度下降會更快收斂,並且未來的硬件可能隻是就地使用權重而不是從內存中獲取它們。

深度卷積神經網絡包含一些新穎性,例如使用 ReLU 使學習更快,使用 dropout 防止過擬合,但它基本上隻是 Yann LeCun 和他的那種前饋卷積神經網絡。計算機視覺社區對這一突破的反應令人欽佩。

鑒於卷積神經網絡優越性的無可爭議的證據,社區迅速放棄了以前的手工設計方法,轉而使用深度學習。

近期進展

在這裏,我們有選擇地討論深度學習的一些最新進展。不過我們在此暫且忽略了許多重要的主題,例如深度強化學習、圖神經網絡和元學習。

1)軟注意力機製和 transformer 架構:深度學習的一個重大發展,尤其是在順序處理方麵,是乘法交互的使用,特別是在軟注意力的形式中。這是對神經網絡工具箱的變革性補充,因為它將神經網絡從純粹的矢量轉換機器轉變為可以動態選擇對哪些輸入進行操作的架構,並且可以將信息存儲在可區分的關聯存儲器中。這種架構的一個關鍵特性是它們可以有效地對包括集合和圖在內的不同類型的數據結構進行操作。

隱藏層可以使用軟注意力來動態選擇它們將組合來自前一層的哪些向量來計算它們的輸出。這可以使輸出獨立於輸入的呈現順序或使用不同輸入之間的關係。

Transformer 架構已經成為許多應用中的主導架構,它堆疊了許多層 “self-attention” 模塊。

層中的每個模塊使用標量積來計算其查詢向量與該層中其他模塊的關鍵向量之間的匹配。匹配項被歸一化為總和為 1,然後使用產生的標量係數來形成前一層中其他模塊產生的值向量的凸組合。結果向量形成下一計算階段的模塊的輸入。模塊可以是多頭的,以便每個模塊計算幾個不同的查詢、鍵和值向量,從而使每個模塊有可能有幾個不同的輸入,每個輸入都以不同的方式從前一階段的模塊中選擇。

在此操作中,模塊的順序和數量無關緊要,因此可以對向量集進行操作,而不是像傳統神經網絡中那樣對單個向量進行操作。例如,語言翻譯係統在輸出句子中生成一個單詞時,可以選擇關注輸入句子中對應的一組單詞,而與其在文本中的位置無關。雖然乘法門控是諸如坐標變換和循環網絡的強大形式之類的舊思想,但其最近的形式使其成為主流。

我們相信深度網絡之所以出色,是因為它們利用了一種特定形式的組合性,其中一層中的特征以多種不同的方式組合,以在下一層創建更多抽象特征。

Transformer 帶來了顯著的性能改進,徹底改變了自然語言處理,現在它們在工業中得到了大量使用。這些係統都以自我監督的方式進行了預訓練,以預測一段文本中的缺失詞。

也許更令人驚訝的是,Transformer 已成功地用於符號求解積分方程和微分方程。最近一個非常有前景的趨勢是在卷積網絡上使用 Transformer,以最先進的性能在圖像中進行對象檢測和定位。Transformerransformer 以可微分的方式執行後處理和基於對象的推理,使係統能夠接受端到端的訓練。

2)無監督和自監督學習:監督學習雖然在各種任務中取得成功,但通常需要大量人工標記的數據。同樣,當強化學習僅基於獎勵時,它需要非常大量的交互。這些學習方法往往會產生特定於任務的專業係統,這些係統通常在他們接受過訓練的狹窄領域之外是脆弱的。減少學習任務所需的人工標記樣本數量或與世界的交互並提高域外魯棒性對於低資源語言翻譯、醫學圖像分析、自動駕駛和內容過濾。

人類和動物似乎能夠以獨立於任務的方式學習大量關於世界的背景知識,主要是通過觀察。這些知識鞏固了常識,讓人類隻需幾個小時的練習就可以學習複雜的任務,例如駕駛。人工智能未來的一個關鍵問題是,人類如何僅從觀察中學到這麼多?

在監督學習中,N 個類別之一的標簽平均最多傳達 log2 (N) 位關於世界的信息。在無模型強化學習中,獎勵同樣僅傳達少量信息。相比之下,音頻、圖像和視頻是高帶寬模式,隱含地傳達了有關世界結構的大量信息。這激發了一種稱為自監督學習的預測或重建形式,它通過預測數據的掩蔽或損壞部分來訓練 “填補空白”。自監督學習在訓練 Transformer 提取向量方麵非常成功,這些向量捕獲了單詞或單詞片段的上下文相關含義,並且這些向量非常適合下遊任務。

對於文本,Transformer 被訓練從一組離散的可能性中預測丟失的單詞。但是在視頻等高維連續域中,特定視頻片段的合理延續集龐大而複雜,正確表示合理延續的分布本質上是一個未解決的問題。

3)對比學習:解決此問題的一種方法是通過潛在變量模型,該模型為視頻示例和可能的延續分配能量。

給定輸入視頻 X 和合理的延續 Y,我們希望模型通過使用能量函數 E (X, Y) 來指示 Y 是否與 X 兼容,該函數在 X 和 Y 兼容時取低值,否則取高值。

E (X, Y) 可以由深度神經網絡計算,對於給定的 X,以對比的方式訓練,為與 X 兼容的值 Y 提供低能量(例如 (X, Y) 對),以及與 X 不兼容的 Y 的其他值的高能量。對於給定的 X,推理包括找到一個使 E (X, Y) 最小化的 Y 或者可能從 Y 中采樣具有較低的 E (X, Y) 值。這種基於能量的方法來表示 Y 依賴於 X 的方式,這使得建模多樣化、多模態的合理延續集成為可能。

對比學習的關鍵難點是選擇好的 “負” 樣本:合適的點 Y,其能量會被推高。當可能的反例集合不是太大時,我們可以將它們全部考慮。這就是 softmax 的作用,因此在這種情況下,對比學習簡化為對有限離散符號集的標準監督或自監督學習。但是在實值高維空間中,Y 的預測與 Y 有很大不同,為了改進模型,我們需要關注那些本應具有高能量但當前能量較低的 Y。

早期選擇負樣本的方法基於蒙特卡羅方法,例如受限玻爾茲曼機的對比散度和噪聲對比估計。

GAN 優化起來有些棘手,但事實證明,對抗性訓練思想極其豐富,在圖像合成方麵產生了令人印象深刻的結果,並在內容創建和領域適應以及領域或風格轉移方麵開辟了許多新應用。

4)對比學習的表示一致性:對比學習提供了一種無需重建或生成像素即可發現好的特征向量的方法。

這個想法是學習一個前饋神經網絡,當給定相同圖像的兩個不同裁剪或同一對象的兩個不同視圖時,該網絡會產生非常相似的輸出向量,但來自不同圖像或不同對象視圖的裁剪的輸出向量不同。兩個輸出向量之間的平方距離可以被視為一種能量,小值說明兼容,大值說明不兼容。

最近的一係列使用卷積網絡提取一致表示的論文在視覺特征學習中產生了有希望的結果。

正對由同一圖像的不同版本組成,這些版本通過裁剪、縮放、旋轉、顏色偏移、模糊等方式扭曲。負對是不同圖像的類似失真版本,它們可以通過稱為硬負挖掘的過程從數據集中巧妙地挑選出來,或者可能隻是小批量中其他圖像的所有失真版本。網絡較高層之一的隱藏活動向量隨後用作以監督方式訓練的線性分類器的輸入。這種連體網絡方法在標準圖像識別基準上取得了出色的結果。

最近,兩種 Siamese 網絡方法設法避免了對對比樣本的需求。第一個稱為 SwAV,量化一個網絡的輸出以訓練另一個網絡,第二個稱為 BYOL,平滑兩個網絡之一的權重軌跡,這顯然足以防止崩潰。

5)變分自動編碼器:最近流行的一種自監督學習方法是變分自動編碼器 (VAE)。它由將圖像映射到潛在代碼空間的編碼器網絡和從潛在代碼生成圖像的解碼器網絡組成。VAE 通過在將高斯噪聲傳遞到解碼器之前將高斯噪聲添加到編碼器的輸出來限製潛在代碼的信息容量。這類似於將小的嘈雜球體打包成具有最小半徑的較大球體。

信息容量受限於包含球體內部有多少噪聲球體。嘈雜的球體相互排斥,因為良好的重構誤差需要對應於不同樣本的代碼之間有小的重疊。

在數學上,該係統最小化了通過在噪聲分布上對潛在代碼進行邊緣化而獲得的自由能。然而,相對於參數最小化該自由能是棘手的,並且必須依賴來自統計物理學的變分近似方法來最小化自由能的上限。

深度學習的未來

深度學習係統的性能通常可以通過簡單的擴展來而得到顯著提高。有了更多的數據和更多的計算,它們通常會更好地工作。具有 1750 億個參數的語言模型 GPT-3(與人腦中的突觸數量相比仍然很小)生成的文本,明顯優於隻有 15 億個參數的 GPT-2。

隨著聊天機器人 Meena 和 BlenderBot 變得越來越大,它們也在不斷改進。

現在正在為擴大規模付出巨大的努力,可以大大改進現有係統,但當前深度學習存在一些根本性的缺陷,無法僅僅通過擴大規模來克服。

我們將人類學習能力與當前的人工智能進行比較,提出了幾個改進方向:

監督學習需要太多標記數據,而無模型強化學習需要太多試驗。人類似乎能夠以少得多的經驗很好地概括。 當前的係統對分布變化的魯棒性不如人類,人類可以通過很少的例子快速適應這種變化。 當前的深度學習在感知任務和通常所謂的 system 1 任務方麵最為成功。將深度學習用於需要經過深思熟慮步驟序列的 system 2 任務,是一個仍處於起步階段的令人興奮的領域。

1)需要改進的點:從早期開始,機器學習的理論家就關注 IID 假設,即測試用例應該來自與訓練示例相同的分布。

不幸的是,這在現實世界中並不是一個現實的假設:隻需考慮由於各種代理改變世界的行為引起的非平穩性,或者學習代理的逐漸擴大的思維視野,總是有更多的東西需要學習和發現。實際上,當今最好的 AI 係統在從實驗室到現場時的性能往往會受到影響。

我們希望在麵對分布變化(稱為分布外泛化)時實現更大的魯棒性,這是在麵對新任務時降低樣本複雜性(良好泛化所需的示例數量)的更普遍目標的一個特例 —— 如在遷移學習和終身學習中 —— 或者隻是改變分布或世界狀態與獎勵之間的關係。當前的監督學習係統需要比人類更多的例子(當必須學習一項新任務時),而無模型強化學習的情況更糟,因為每個獎勵試驗提供的關於任務的信息比每個標記的例子少。

人類可以以一種不同於普通 IID 泛化的方式進行泛化:我們可以正確解釋現有概念的新組合,即使這些組合在我們的訓練分布下極不可能,隻要它們尊重我們已經學到的高級句法和語義模式。最近的研究幫助我們闡明了不同的神經網絡架構在這種係統化泛化能力方麵的表現。如何設計具有這些能力的未來機器學習係統,以更好地泛化或更快地適應樣本外分布?

2)從同質層到代表實體的神經元組:來自神經科學的證據表明,相鄰的神經元組(形成所謂的超列)緊密相連,可能代表一種更高級別的向量值單元,不僅能夠發送標量,而且能夠發送一組協調值。這個想法是膠囊架構的核心,也是軟注意力機製的使用所固有的,其中集合中的每個元素都與一個向量相關聯,從中可以讀取一個鍵向量和一個值向量(有時也是查詢向量)。考慮這些向量級單元的一種方法是表示對象的檢測及其屬性(如在膠囊中的姿勢信息)。

計算機視覺領域的最新論文正在探索卷積神經網絡的擴展,其中層次結構的頂層代表在輸入圖像中檢測到的一組候選對象,並且對這些候選對象的操作是使用類似轉換器的架構來執行的。為對象及其部分分配內在參考框架並通過使用部分之間的幾何關係來識別對象的神經網絡應該更不易受到定向對抗性攻擊的影響,後者依賴於人們使用的信息與神經網絡使用的信息之間的巨大差異。網絡來識別物體。

3)多時間尺度:大多數神經網絡隻有兩個時間尺度:權重在許多示例中適應緩慢,活動適應隨著每個新輸入而迅速變化。添加快速適應和快速衰減的 “快速權重” 的疊加會引入有趣的新計算能力。特別是,它創建了一個高容量的短期記憶,允許神經網絡執行真正的遞歸,其中相同的神經元可以在遞歸調用中重複使用,因為它們在更高級別調用中的活動向量可以在以後重建 使用快速權重中的信息。在學習學習或元學習中也會出現多種適應時間尺度。

4)更高層次的認知:在考慮新的挑戰時,例如在交通規則異常的城市中駕駛,甚至想象在月球上駕駛車輛時,我們可以利用我們已經掌握的知識和通用技能,並以新的方式動態地重新組合它們。這種成體係的形式,允許人類在未知環境中進行相當好的泛化。通過練習、微調和編譯這些新技能進一步改進,也可以不再需要有意識的關注了。

我們如何通過重用已知的知識來使神經網絡能夠快速適應新環境,從而避免幹擾已知技能?在這個方向上的初步探索包括 Transformers 和 Recurrent Independent Mechanisms。

似乎人類的(system 1)處理能力允許我們在計劃或推理時猜測未來的潛在益處或害處。這提出了 system 1 網絡如何指導更高(system 2)級別的搜索和規劃的問題,也許和 AlphaGo 的蒙特卡洛樹搜索的價值函數如出一轍。

機器學習研究依賴於歸納偏差或先驗,以鼓勵在與某些世界假設兼容的方向上進行學習。system 2 處理的性質和認知神經科學理論表明了幾種這樣的歸納偏差和架構,它們可用於設計新穎的深度學習係統。我們如何設計包含這種歸納偏差的深度學習架構和訓練框架?

人類幼兒執行因果發現的能力表明,這可能是人類大腦的一個基本屬性,最近的工作表明,在幹預變化下優化分布外泛化可用於訓練神經網絡以發現因果依賴性或因果變量 。我們應該如何構建和訓練神經網絡,以便它們能夠捕捉到世界的這些潛在因果屬性?

這些開放性問題所建議的方向與 20 世紀的符號人工智能研究有何關聯?顯然,符號 AI 方法旨在實現 system 2 的能力,例如推理,能夠將知識分解為可以在一係列計算步驟中輕鬆重新組合的部分,以及能夠操作抽象變量、類型和實例。

我們希望設計出這樣一種神經網絡:它保留了深度學習的優勢,可以在處理實值向量的同時,實現使用可微計算和基於梯度的、自適應的高效大規模學習,高級 / 低級感知、處理不確定數據和使用分布式表示。

Reference: 1、https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext

成為VIP會員查看完整內容
0
38
0

我不是招聘人員。我是一個軟件工程師。正因為如此,我知道被要求當場想出聰明的算法,然後在白板上寫出完美的代碼是什麼感覺。作為一個求職者和麵試官,我都經曆過這些。

破解編碼麵試,第六版是在這裏幫助你通過這個過程,教你需要知道的,並使你在你最好的表現。我曾經指導和麵試過成百上千的軟件工程師。結果就是這本書。

學習如何發現問題中的提示和隱藏的細節,如何把問題分解成易於處理的小塊,學習技術讓自己擺脫困境,學習(或重新學習)核心的計算機科學概念,並練習189個麵試問題和解決方案。

這些麵試問題都是真實的;它們不是從計算機科學教科書中抽出來的。它們反映了頂級公司真正要問的問題,所以你可以盡可能地做好準備。裏麵有什麼

  • 189個編程麵試問題,從基礎到最棘手的算法問題。
  • 一個如何推導每個解決方案的演練,以便您可以學習如何自己到達那裏。
  • 如何解決這189個問題的提示,就像你在真正的麵試中會得到的那樣。
  • 解決算法問題的五種已被證實的策略,這樣你就可以解決你從未見過的問題。
  • 廣泛覆蓋基本主題,如大O時間,數據結構,和核心算法。
  • 看看像穀歌和Facebook這樣的頂級公司是如何雇傭開發人員的。
  • 準備並戰勝麵試軟麵的技巧:行為性問題。
  • 對於麵試官和公司:詳細說明怎樣才能提出一個好的麵試問題和招聘流程。
成為VIP會員查看完整內容
0
38
1

《強化學習與控製》是一門由清華大學智能駕駛課題組李升波教授親自講授的強化學習課程,該課程總共包含11講,以理論基礎與算法設計融合的方式介紹了RL的框架體係,從優化角度梳理了直接法與間接法,帶模型與免模型等類別,並對典型算法原理和特性進行了分析和總結,是一門兼顧基礎入門、進階提升的強化學習課程。

一、關於課題組

智能駕駛課題組(iDLab, Intelligent Driving Lab) 麵向下一代機器學習和自動控製的交叉理論探索,聚焦智能網聯汽車和駕駛輔助係統的核心技術研發,進一步提升汽車的智能性、安全性和節能性。http://www.idlab-tsinghua.com/thulab/labweb/index.html

二、關於主講老師:李升波教授

李升波,清華大學長聘教授,博導,車輛學院副院長。留學於斯坦福大學,密歇根大學和加州伯克利大學。從事自動駕駛、智能汽車、強化學習、最優控製等研究。發表論文110餘篇,引用>8500次,H因子45。入選IEEE高關注度及封麵論文3篇,ESI高引10篇(學科前1%),學術會議最佳論文獎8次。獲中國汽車工業科技進步特等獎、國家科技進步二等獎、國家技術發明二等獎等。入選國家高層次科技創新領軍人才、交通運輸行業中青年科技創新領軍人才、中國汽車行業優秀青年科技人才獎、首屆北京市基金委傑青、清華大學教師學術新人獎等。擔任AI國際評測MLPerf自動駕駛谘詢委員會委員、IEEE智能交通係統學會的全球理事會委員、IEEE Trans on ITS副主編等。

三、關於《強化學習與控製》課程

目前,人工智能的快速崛起正重塑人類社會的各個領域,有望引導工業文明進入新一輪革命浪潮。以道路交通為例,汽車的智能化變革促使整個行業發生了翻天覆地的變化,包括駕駛輔助、自動駕駛、雲控協同等一係列新技術如雨後春筍般湧現,它們在提升地麵車輛行駛性能的同時,也為解決交通事故、排放汙染、城市擁堵等問題提供了一條可行的途徑。

以模仿人類大腦學習機製為原理的強化學習(RL,Reinforcement Learning)正迅速進入人們的視野,它為大規模複雜係統的學習及動態係統的高實時在線控製提供了一套極具前景的解決方案。一個引人注目的成功案例是以Alpha Go為代表的圍棋智能:它利用深度強化學習算法實現圍棋智能的自我進化,自我超越,打敗人類最好的專業棋手。盡管強化學習具有優異的潛在優勢,但是該方法的工程應用尚屬於起步階段。

《強化學習與控製》這一門課程包括11節。

第1講介紹RL概況,包括發展曆史、知名學者、典型應用以及主要挑戰等。

第2講介紹RL的基礎知識,包括定義概念、自洽條件、最優性原理問題架構等。

第3講介紹免模型學習的蒙特卡洛法,包括Monte Carlo估計,On-policy/off-policy,重要性采樣等。

第4講介紹免模型學習的時序差分法,包括它衍生的Sarsa,Q-learning,Expected Sarsa等算法。

第5講介紹帶模型學習的動態規劃法,包括策略迭代、值迭代、收斂性原理等。

第6講介紹間接型RL的函數近似方法,包括常用近似函數,值函數近似,策略函數近似以及所衍生的Actor-critic架構等。

第7講介紹直接型RL的策略梯度法,包括各類Policy Gradient, 以及如何從優化的觀點看待RL等。

第8講介紹深度強化學習,即以神經網絡為載體的RL,包括深度化典型挑戰、經驗性處理技巧等。

第9講介紹帶模型的強化學習,即近似動態規劃,包括離散時間係統的ADP,ADP與MPC的關聯分析等。

第10講介紹有限時域的近似動態規劃,同時介紹了狀態約束的處理手段以及它與可行性之間的關係

第11講介紹RL的各類拾遺,包括POMDP、魯棒性、多智能體、元學習、逆強化學習以及訓練平台等。

成為VIP會員查看完整內容
0
36
1

約束優化已經成為一個很好的研究領域,有一些強大的技術可以解決該領域的一般問題。在這本書中,考慮了一類特殊的約束,稱為幾何約束,它表示優化問題的解在流形上。這是一個最近的研究領域,它為更一般的約束優化方法提供了強大的替代方案。經典的約束優化技術適用於比流形大得多的嵌入式空間。因此,在流形上工作的優化算法具有較低的複雜性,而且通常還具有更好的數值特性(例如,保持能量等不變量的數值積分方案)。作者將此稱為受限搜索空間中的無約束優化。

可以用流形來描述差分方程或微分方程的思想起源於布羅克特、弗拉施卡和魯提肖瑟的工作。例如,他們描述了等譜流,這些流產生的時變矩陣彼此相似,最終收斂到有序特征值的對角矩陣。這些想法在數值線性代數領域沒有像在動力係統領域那樣得到那麼多的關注,因為由此產生的差分和微分方程並沒有立即導致有效的算法實現。

這本書對發展高階優化技術的微分幾何的進行了深入的介紹,但它仍然成功地用簡單的想法解釋複雜的概念。這些思想隨後被用於發展牛頓型方法以及其他超線性方法,如信賴域方法和非精確和準牛頓方法,這些方法更加強調概念算法的高效數值實現。

成為VIP會員查看完整內容
0
37
0

《現代統計學導論》是對之前的遊戲《統計學與隨機化和模擬導論》的重新構想。這本新書著重強調了探索性數據分析(特別是使用可視化、摘要和描述性模型探索多元關係),並提供了使用隨機化和引導的基於模擬的推理的全麵討論,接著介紹了基於中心極限定理的相關方法。

第1部分:數據介紹。數據結構、變量、摘要、圖形、基本數據收集和研究設計技術。 第2部分:探索性數據分析。數據可視化和總結,特別強調多變量關係。 第3部分:回歸建模。用線性和邏輯回歸建模數值和分類結果,並使用模型結果來描述關係和作出預測。 第4部分:推理的基礎。案例研究被用來引入隨機測試、bootstrap間隔和數學模型的統計推理的思想。 第5部分:統計推斷。使用隨機化測試、引導間隔和數值和分類數據的數學模型的統計推斷的進一步細節。 第6部分:推理建模。擴展推理技術提出了迄今為止的線性和邏輯回歸設置和評估模型性能。

我們希望讀者能從本書中汲取三種思想,並為統計學的思維和方法打下基礎。

  1. 統計學是一個具有廣泛實際應用的應用領域。

  2. 你不必成為數學大師,也可以從有趣的、真實的數據中學習。

  3. 數據是混亂的,統計工具是不完善的。

地址:

https://www.openintro.org/book/ims/

成為VIP會員查看完整內容
0
35
0

機器學習是計算機科學的一個子領域,使計算機不需要明確的編程步棸就能夠自主學習。它致力於通過學習數據和預測數據來建立各種算法。

機器學習的應用範圍非常廣泛。它涵蓋數學,計算機科學和神經科學的多個領域。這是一個試圖在一個PDF文件中來總結整個機器學習領域。

成為VIP會員查看完整內容
0
34
0

軟件已經成為當代生活的一個關鍵組成部分,而對任何符合數字形式的東西進行排名、分類或推薦的算法技術無處不在。這本書在概念上和曆史上接近信息排序的領域。以Gilbert Simondon的哲學和文化技術傳統為基礎,它首先考察了軟件的建設性和累積性特征,並展示了軟件製作如何不斷利用現有知識和技術的大量儲備。然後,它重建了一係列算法技術的曆史軌跡,這些技術實際上已經成為當代秩序實踐的基石。坐標索引、文本處理、機器學習和網絡算法是相對於幾個世紀的圖書館傳統而發展起來的,它們實例化了動態的、視角主義的、感興趣的安排信息、思想或人員的形式。在技術基礎設施和經濟邏輯的包圍下,這些技術已經成為改變空間的有序引擎。

成為VIP會員查看完整內容
0
34
0

數據增強是通過轉換為機器學習人工創建訓練數據,是機器學習學科中一個廣泛研究的研究領域。雖然它對於提高模型的泛化能力很有用,但它也可以解決許多其他挑戰和問題,從克服有限數量的訓練數據到規範目標到限製數據量用於保護隱私。基於對數據增強的目標和應用的精確描述以及現有的分類法作品,該調查涉及用於文本分類的數據增強方法,旨在實現簡潔和研究人員和從業人員的綜合概述。根據分類法,我們將100多種方法分為12不同的分組,並提供最先進的參考資料,闡述哪些方法非常有前途。最後,研究給出了可能構成未來工作基石的觀點。

//www.webtourguide.com/paper/6a3ab7686edb4fbbc9b7fe15b7a349a4

成為VIP會員查看完整內容
0
34
0

麵對人工智能引發的全球信任焦慮,發展可信人工智能已經成為全球共識。2019年6月,二十國集團(G20)提出“G20人工智能原則”,強調要以人為本、發展可信人工智能,這一原則也得到了國際社會的普遍認同。歐盟和美國也都把增強用戶信任、發展可信人工智能放在其人工智能倫理和治理的核心位置。將抽象的人工智能原則轉化為具體實踐,落實到技術、產品和應用中去,是回應社會關切、解決突出矛盾、防範安全風險的必然選擇,是關係到人工智能長遠發展的重要議題,也是產業界急需加快推進的緊迫工作。

論壇上發布了由中國信通院與京東探索研究院聯合撰寫的國內首本《可信人工智能白皮書》,白皮書從如何落實全球人工智能治理共識的角度出發,聚焦於可信人工智能技術、產業和行業實踐等層麵,分析了實現可控可靠、透明可釋、隱私保護、明確責任及多元包容的可信人工智能路徑,並對可信人工智能的未來發展提出了建議。

http://www.caict.ac.cn/kxyj/qwfb/bps/202107/t20210708_380126.htm

白皮書內容簡介

本白皮書首次係統提出可信人工智能全景框架,全麵闡述可信人工智能的特征要素,剖析了可信人工智能與人工智能科技倫理和治理的關係,促進業界更好的理解可信人工智能。

本白皮書針對可信人工智能中各種支撐技術從理論層麵進行了深入淺出的剖析。將技術以穩定性、可解釋性、隱私保護、公平性作為量化指標進行了完備的討論,這些技術構成了可信人工智能地基礎支撐能力。

本白皮書創新地從企業和行業實踐視角詳述可信人工智能的實踐路徑,是一份極具參考價值的實操指南,對於產業界進一步落實人工智能倫理及治理要求具有重要意義,能夠切實推動人工智能產業健康發展。

本白皮書以動態的眼光分析可信人工智能發展脈絡,同時對當下社會各界實踐可信人工智能、完善可信生態,提出了務實的方案和發展建議。

本白皮書認為,可信人工智能已經不再僅僅局限於對人工智能技術、產品和服務本身狀態的界定,而是逐步擴展至一套體係化的方法論,涉及到如何構造“可信”人工智能的方方麵麵。

下圖給出了可信人工智能的總體框架。

成為VIP會員查看完整內容
0
34
0

知識圖譜已被用於支持廣泛的應序,並增強了多個主要搜索引擎(如Google和Bing)的搜索結果。在亞馬遜,我們正在構建一個產品圖譜,一個全球所有產品的權威知識圖。我們需要建立數千個產品垂直模型,我們需要從中提取知識的大量數據源,我們每天需要處理的大量新產品,以及我們希望支持的搜索、發現、個性化、語音等各種應用程序,都給構建這樣一個圖帶來了巨大的挑戰。

在本次演講中,我們將介紹我們為數千種產品收集知識所做的努力。我們將介紹如何確定交付數據業務最重要的第一步:培訓生成準確數據的高精度模型。然後,我們描述了如何通過從有限的標簽中學習來擴展模型,以及如何通過多模式模型和web提取來提高收益率。我們分享了構建此產品圖譜並將其應用於支持麵向客戶的應用的許多經驗教訓。

https://web.stanford.edu/class/cs520/abstracts/dong.html

成為VIP會員查看完整內容
0
33
0

近年來,圖論已經成為一個重要的數學工具在廣泛的學科,從運籌學和化學到遺傳學和語言學,從電氣工程和地理學到社會學和建築學。與此同時,它本身也成為一門有價值的數學學科。鑒於此,有必要編寫一份廉價的關於這一主題的介紹性文本,既適合學習圖論課程的數學家,也適合希望盡快學習這一主題的非專業人士。我希望這本書能在某種程度上滿足這一需求。閱讀它的唯一先決條件是初等集合理論和矩陣理論的基本知識,盡管抽象代數的進一步知識需要更困難的練習。

這本書的內容可以很方便地分為四部分。第一部分(1-4章)提供了一個基本的基礎課程,包括圖的定義和例子,連通性,歐拉和哈密頓路徑和循環,以及樹。接下來是關於平麵性和著色的兩章(第5章和第6章),特別提到了四色定理。第三部分(第7章和第8章)討論有向圖理論和截線理論,以及在關鍵路徑分析、馬爾可夫鏈和網絡流中的應用。書的最後一章是關於matroids的(第9章),這一章將前幾章的材料聯係在一起,並介紹了一些最近的發展。

成為VIP會員查看完整內容
0
33
0

由於神經網絡的日益普及,對神經網絡預測的信心變得越來越重要。然而,基本的神經網絡不會給出確定性估計,也不會受到信心過度或不足的影響。許多研究人員一直致力於理解和量化神經網絡預測中的不確定性。因此,不同類型和來源的不確定性已被識別,並提出了各種方法來測量和量化神經網絡中的不確定性。本工作對神經網絡中的不確定性估計進行了全麵的概述,綜述了該領域的最新進展,突出了當前的挑戰,並確定了潛在的研究機會。它旨在給任何對神經網絡中的不確定性估計感興趣的人一個廣泛的概述和介紹,而不預設在這一領域有先驗知識。對不確定性的主要來源進行了全麵的介紹,並將它們分為可約模型不確定性和不可約數據不確定性。本文介紹了基於確定性神經網絡、貝葉斯神經網絡、神經網絡集成和測試時間數據增強等方法對這些不確定性的建模,並討論了這些領域的不同分支和最新進展。對於實際應用,我們討論不確定性的不同措施,校準神經網絡的方法,並給出現有基線和實現的概述。來自不同領域廣泛挑戰的不同例子,提供了實際應用中有關不確定性的需求和挑戰的概念。此外,討論了當前用於任務和安全關鍵的現實世界應用的方法的實際限製,並展望了未來的步驟,以更廣泛地使用這些方法。

//www.webtourguide.com/paper/9a9009dae03438c7a71e0bc1b54de0fa

成為VIP會員查看完整內容
0
30
1
Top