知 識 圖 譜 作 為 機 器 認 知 智 能 實 現 的 基 礎 之 一 , 是 人工智能的重要組成部分,有助於實現自動化和智能化 獲取、挖掘和應用知識,獲得了產業界和學術界的廣泛 關注。知識圖譜是以結構化的形式描述客觀世界中的概 念、實體及其關係的大型知識網絡,將信息表達成更接 近 人 類 認 知 的 形 式 , 提 供 了 一 種 更 好 地 組 織 、 管 理 和 理解海量信息的能力。在政策部署、技術研發、標準研 製、產業化推廣、前沿應用場景試點等多方麵因素的共 同驅動下,知識圖譜逐漸實現在智慧金融、智慧醫療、 智 慧 能 源 、 智 能 製 造 等 眾 多 領 域 的 落 地 應 用 和 深 度 融 合,同時在各行業的數字化轉型過程中,跨領域、行業 或產業的知識圖譜也逐漸獲得關注。

然 而 , 知 識 圖 譜 的 構 建 與 應 用 過 程 有 賴 於 多 方 的 共同參與,而且需要有效的運營維護,這導致相關項目 在實際建設中存在失敗的風險。尤其對於知識圖譜應用 企業而言,麵臨著概念模糊、基礎薄弱、需求不清、路 徑不明、選型困難、邊界不清、期望過高、評估缺失、 管理困難等問題,如何選擇、設計和建設合適自身的知 識圖譜應用係統並有效部署運行,已成為當前的一項重 大挑戰。

為進一步推進知識圖譜在各領域的深化融合應用,幫助企業加深對知識圖譜相關係統的認知,輔助企業正確認識、選擇、實施和應用知識圖譜,編製組依托知識圖譜產業推進方陣、全國信息技術標準化技術委員會人工智能分委會知識圖譜工作組啟動並編製了《知識圖譜選型與實施指南》,從以下八大問題出發形成了各章節內容,具體白皮書展開邏輯架構圖見圖0-1。

1、什麼是知識圖譜 2、為什麼應用知識圖譜 3、什麼是知識圖譜應用係統 4、適不適合建設知識圖譜應用係統 5、如何選擇知識圖譜應用係統 6、如何建設知識圖譜應用係統 7、如何選擇知識圖譜應用係統建設方 8、有什麼參考方案

由於知識圖譜技術發展迅速,白皮書編製時間和作者學識限製,恐有紙漏或不嚴謹之處,敬請諒解和批評指正。

成為VIP會員查看完整內容
0
100
2
計算機視覺是一門研究如何使機器“看”的科學,更進一步的說,就是是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺,並進一步做圖形處理,使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科,計算機視覺研究相關的理論和技術,試圖建立能夠從圖像或者多維數據中獲取‘信息’的人工智能係統。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

MIT科學家Dimitri P. Bertsekas今日發布了一份2022即將出版的《Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control》書稿及講義,該專著為強化學習進階,目的在於通過從AlphaZero獲取經驗教訓,涵蓋最優模型預測與自適應控製。

Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control

人工智能和強化學習領域中一些最令人興奮的成功故事都發生在遊戲領域。主要的例子是最近的AlphaZero程序(它下國際象棋),以及早期(1990年代)結構類似的TD-Gammon程序(它下西洋雙陸棋)。這些程序經過離線的廣泛訓練,使用複雜的自演化/近似策略迭代算法和神經網絡。然而,在離線情況下獲得的AlphaZero玩家並不會在在線遊戲中直接使用(由於離線神經網絡訓練固有的近似錯誤,它太不準確了)。取而代之的是一個單獨的在線玩家,它是基於多步預測和一個經過離線訓練的終端位置評估器,在線玩家執行一種形式的策略改進,這與離線玩家不同,它不會因神經網絡近似而退化。因此,它大大提高了性能。

類似地,TD-Gammon使用沒有被神經網絡近似退化的前瞻最小化在線執行一個策略改進步驟。為此,它使用了一個經過離線神經網絡訓練的終端位置評估器,重要的是,它還通過rollout擴展了其在線前向(使用基於位置評估器的一步前向播放器進行仿真)。AlphaZero和TD-Gammon的一個重要教訓是,離線訓練的控製器的性能可以通過在線遊戲、長時間的前瞻性(包括最小化或推出離線獲得的策略,或兩者都有)和離線獲得的終端成本近似大大提高。這種性能的提高通常是戲劇性的,這是由於一個簡單的事實,這是我們工作的中心:在線遊戲相當於求解Bellman方程的牛頓方法的一個步驟,而牛頓步驟的起點是基於離線訓練的結果,並可能通過更長的前瞻性和在線推出得到增強。這個過程可以用動態規劃的抽象模型和簡單的幾何結構來理解。它在一定程度上體現在模型預測控製中,但它似乎還沒有在決策和控製社區中得到充分的認識。

在這項工作中,我們的目標是提供洞察力(通常基於可視化),解釋在線決策對離線訓練的有益影響。雖然我們將不再強調數學證明,但有相當多的相關分析,支持我們的結論,可以在作者最近的RL書籍[Ber19a], [Ber20a]中找到。我們的主要目標之一是通過抽象DP的統一原則表明,AlphaZero/TD-Gammon逼近值空間和rollout的思想非常廣泛地應用於確定性和隨機最優控製問題,包括離散和連續搜索空間。此外,這些思想可以有效地與模型預測控製、自適應控製、分散控製、離散和貝葉斯優化、基於神經網絡的值和策略逼近、啟發式算法等其他重要方法相結合。

http://web.mit.edu/dimitrib/www/abstractdp_MIT.html

成為VIP會員查看完整內容
0
82
2

https://baai.org/l/Frontiers2021

本報告總結2021年人工智能前沿科技主要趨勢如下:

  1. 信息模型、具身模型和腦模擬機器人的結合將誕生超級人工智能。

  2. 係統研究超大規模智能模型發展和影響的新興領域已經形成,超大規模預訓練模型研發競賽進入白熱化階段,多模態預訓練模型成為下一個大模型重點發展領域。

  3. Transformer成為計算機視覺領域的重要網絡架構,並開始向強化學習、圖神經網絡等領域滲透。

  4. 加速方法創新提升了超大參數規模模型的訓練效率,催生更大規模參數的巨型模型。

  5. Prompt Tuning成為自然語言處理領域預訓練語言模型新型訓練範式,預訓練語言模型發展的新路線是提升訓練和推理的效率。

  6. 遮蓋圖像建模、非Transformer架構、神經輻射場等技術快速發展,成為計算機視覺的熱點研究領域;脈衝視覺領域發展,將開辟機器視覺新路線

  7. 生物神經元與芯片結合成為類腦芯片的研究熱點。

  8. 高性能、低能耗AI芯片不斷湧現的同時,由AI輔助設計成為芯片發展新趨勢;存算一體AI芯片設計、應用步伐加快。

  9. Web模型成為新型信息搜索範式的核心支撐,預訓練語言模型助力信息檢索性能提升。

  10. 借鑒腦神經和認知科學研究成為啟發類腦智能研究的重要來源。

  11. 無線高帶寬、微創、結合AI算法等成為腦機接口的發展重點。

  12. 傳統科研領域成為人工智能發展的“新戰場”,人工智能在輔助基礎和應用科學研究的同時,也提升了智能產品和服務的性能。

  13. 強化學習環境成為發展泛化性更強、適應複雜環境智能體的重要支撐,而提升訓練效率成為強化學習領域的研究重點。

  14. 因果推斷在經濟學、社會學研究中實現突破。

  15. 基於超大規模預訓練模型的平台和係統成為研發機構和企業的發展思路。

  16. 麵向更為複雜任務和需求的基準測試和數據集不斷湧現。

  17. AI為人類科學家提供領域數據集,助力基礎科學研究。

  18. AI算力成為超算性能比拚的“新擂台”。

本報告總結2021年人工智能產業主要趨勢如下:

  1. 智能醫療賽道持續火熱,各大醫療AI企業紛紛衝刺IPO,“燒錢”成為今年這一賽道最鮮明的標簽。
  2. 國家開始逐步發放各類醫療影像AI軟件三類證,為醫療影像的發展提供了契機。
  3. 資本助力下,新興AI創企、互聯網科技巨頭和傳統藥企在AI製藥領域百花齊放。
  4. 2021年被業界公認為數字療法產業元年,一批數字療法企業嶄露頭角。
  5. 醫保的推進可為手術機器人打開市場,全民可用的時代或可指日可待。
  6. 腦機接口不再隻是“意念打字”的融資噱頭,逐漸從實驗室走向臨床實踐,從科幻照進了現實。
  7. 自動駕駛行業迎來新的投融資熱潮,2021年是十年來自動駕駛賽道資本熱度最高的一年。
  8. 今年,國內大批Robotaxi企業已進入車隊測試及服務試運營的階段,未來行業的競爭核心也將會轉向運營規模與測試裏程的比拚。
  9. 乘用場景以外,物流、港口、礦區、城市環衛等細分場景成為自動駕駛落地新風口。
  10. 今年,國內外激光雷達企業也得到了資本市場大力支持。新舊車企紛紛表示,其新車將首次搭載激光雷達,引發激光雷達量產落地的新紀元。
  11. 計算機視覺,在技術成熟度、商業化進程、市場增長速度、投融資熱度等方麵,是人工智能產業當前熱門的發展賽道。2021年,我國計算機視覺產業快速發展,企業加快上市步伐,爭奪“視覺AI第一股”。
  12. 隨著AI芯片技術的不斷發展,芯片製程不斷優化,工藝逐步提升,AI芯片功能的細分程度進一步提升,形成異構形態的計算格局。
  13. 高效、節能成為AI芯片發展的長期目標。追求在提升算力的前提下降低功耗,是近年來企業關注的重點。
  14. GPU依然是AI芯片企業研發關注的重點方向。GPU性能較高,且兼具計算的靈活性,適用於構建大規模的AI計算集群,在研發超大規模AI模型方麵具有應用前景。

圖片圖片

成為VIP會員查看完整內容
0
73
1

知識圖譜的早期理念源於萬維網之父 Tim Berners Lee 關於語義網(The Semantic Web) 的設想,旨在采用圖的結構(Graph Structure)來建模和記錄世界萬物之間的關聯關係和知識, 以便有效實現更加精準的對象級搜索。經過近二十年的發展,知識圖譜的相關技術已經在搜索引擎、智能問答、語言及視覺理解、大數據決策分析、智能設備物聯等眾多領域得到廣泛應用,被公認為是實現認知智能的重要基石。近年來,隨著自然語言處理、深度學習、圖數據處理等眾多領域的飛速發展,知識圖譜在自動化知識獲取、 基於知識的自然語言處理、基於表示學習的機器推理、基於圖神經網絡的圖挖掘與分析等領域又取得了很多新進展。

本課程是麵向浙江大學研究生開設的專業選修課程。課程係統性介紹知識圖譜的基本概念、核心技術內涵和應用實踐方法,具體內容涉及知識表示與推理、圖數據庫、關係抽取與知識圖譜構建、知識圖譜表示學習與嵌入、語義搜索與知識問答、圖神經網絡與圖挖掘分析等。課程內容的設計以“基礎、前沿與實踐”相結合為基本原則,既包括基本概念介紹和實踐應用內容,也包括學術界的最新前沿進展的介紹。
成為VIP會員查看完整內容
0
70
4

人工神經網絡方向的參考書首推 Simon Haykin 所著的 Neural Networks and Learning Machines,英文版於 2008 年出到第三版,中譯本名為《神經網絡與機器學習》,也有影印本。本書是“大而全”的參考手冊類型,全書以數學推導為主,對每種主流的神經網絡算法都做了詳細說明。Simon Haykin 是通信係統與信號處理的專家,在這本神經網絡的專著中也穿插了大量信號處理和信息論中常用的工具,散發著濃厚的數學氣息,因而適合在具有一定基礎的條件下閱讀。

神經網絡是計算智能和機器學習的重要分支,在諸多領域都取得了很大的成功。在眾多神經網絡著作中,影響最為廣泛的是Simon Haykin的《神經網絡原理》(第3版更名為《神經網絡與機器學習》)。在本書中,作者結合近年來神經網絡和機器學習的最新進展,從理論和實際應用出發,全麵、係統地介紹了神經網絡的基本模型、方法和技術,並將神經網絡和機器學習有機地結合在一起。

本書不但注重對數學分析方法和理論的探討,而且也非常關注神經網絡在模式識別、信號處理以及控製係統等實際工程問題的應用。本書的可讀性非常強,作者舉重若輕地對神經網絡的基本模型和主要學習理論進行了深入探討和分析,通過大量的試驗報告、例題和習題來幫助讀者更好地學習神經網絡。

本版在前一版的基礎上進行了廣泛修訂,提供了神經網絡和機器學習這兩個越來越重要的學科的最新分析。

本書特色:

  1. 基於隨機梯度下降的在線學習算法;小規模和大規模學習問題。

  2. 核方法,包括支持向量機和表達定理。

  3. 信息論學習模型,包括連接、獨立分量分析(ICA)、一致獨立分量分析和信息瓶頸。

  4. 隨機動態規劃,包括逼近和神經動態規劃。

  5. 逐次狀態估計算法,包括卡爾曼和粒子濾波器。

  6. 利用逐次狀態估計算法訓練遞歸神經網絡。

  7. 富有洞察力的麵向計算機的試驗。

https://jingyuexing.github.io/Ebook/Machine_Learning/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0(%E5%8E%9F%E4%B9%A6%E7%AC%AC3%E7%89%88).pdf

https://cours.etsmtl.ca/sys843/REFS/Books/ebook_Haykin09.pdf

成為VIP會員查看完整內容
0
53
1

1954年,Alston S. Householder發表了《數值分析原理》,這是矩陣分解的第一個現代處理方法,它支持(塊)LU分解——將矩陣分解為上三角矩陣和下三角矩陣的乘積。而現在,矩陣分解已經成為機器學習的核心技術,這在很大程度上是因為反向傳播算法在擬合神經網絡方麵的發展。本調研的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹,以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而,我們清楚地認識到,我們無法涵蓋所有關於矩陣分解的有用和有趣的結果,並且給出了這種討論的範圍的缺乏,例如,分離分析歐幾裏德空間、厄米特空間、希爾伯特空間和複域中的東西。我們建議讀者參考線性代數領域的文獻,以獲得相關領域的更詳細介紹。本綜述主要是對矩陣分解方法的目的、意義,以及這些方法的起源和複雜性進行了總結,並闡明了它們的現代應用。最重要的是,本文為分解算法的大多數計算提供了改進的過程,這可能會降低它們所引起的複雜性。同樣,這是一個基於分解的上下文,因此我們將在需要和必要時介紹相關的背景。在其他許多關於線性代數的教科書中,主要思想被討論,而矩陣分解方法是“副產品”。然而,我們將重點放在分解方法上,而主要思想將作為分解方法的基本工具。數學的先決條件是線性代數的第一門課程。除了這個適中的背景,發展是獨立的,提供了嚴格的證據。

//www.webtourguide.com/paper/a392240897ea63228b548b0570a315d4

矩陣分解全景

矩陣分解已經成為統計學的核心技術(Banerjee和Roy, 2014;、優化(Gill et al., 2021)、機器學習(Goodfellow et al., 2016);而深度學習在很大程度上是由於反向傳播算法在擬合神經網絡和低秩神經網絡在高效深度學習中的發展。本調查的唯一目的是對數值線性代數和矩陣分析中的概念和數學工具進行一個完整的介紹,以便在後續章節中無縫地介紹矩陣分解技術及其應用。然而,我們清楚地認識到,我們無法涵蓋所有關於矩陣分解的有用和有趣的結果,並且給出了這種討論的範圍的缺乏,例如,歐氏空間、厄米特空間和希爾伯特空間的分離分析。我們建議讀者參考線性代數領域的文獻,以獲得相關領域的更詳細介紹。一些優秀的例子包括(Householder, 2006; Trefethen and Bau III, 1997; Strang, 2009; Stewart, 2000; Gentle, 2007; Higham, 2002; Quarteroni et al., 2010; Golub and Van Loan, 2013; Beck, 2017; Gallier and Quaintance, 2017; Boyd and Vandenberghe, 2018; Strang, 2019; van de Geijn and Myers, 2020; Strang, 2021)。最重要的是,本綜述將隻涵蓋矩陣分解方法存在性的緊湊證明。關於如何降低計算複雜度,在各種應用和例子中進行嚴格的討論,為什麼每種矩陣分解方法在實踐中都很重要,以及張量分解的初步研究,請參見(Lu, 2021c)。

矩陣分解是將一個複雜的矩陣分解成其組成部分的一種方法,這些組成部分的形式更簡單。全局矩陣計算方法的基本原則是,它不是業務矩陣的algorithmists解決特定的問題,但這是一個方法,可以簡化更複雜的矩陣運算,可以進行分解的部分而不是原始矩陣本身。

矩陣分解算法可以分為許多類。盡管如此,六個類別占據了中心,我們在這裏概括一下:

  1. 由高斯消去產生的因子分解包括LU分解和它的正定替代- Cholesky分解;
  2. 將矩陣的列或行正交化時得到的因式分解,使數據可以用標準正交基很好地解釋; 3.分解矩陣的骨架,使列或行的一個子集可以在一個小的重構誤差中表示整個數據,同時,矩陣的稀疏性和非負性保持原樣;
  3. 化簡為Hessenberg、三對角或雙對角形式,結果是,矩陣的性質可以在這些化簡矩陣中探索,如秩、特征值等;
  4. 因式分解是計算矩陣特征值的結果;
  5. 特別地,其餘的可以被轉換為一種特殊的分解,其中涉及到優化方法和高級思想,其中類別可能無法直接確定。
成為VIP會員查看完整內容
0
54
0

卡內基梅隆大學張坤老師進行主旨報告,主要討論以下問題:

我們為何在意因果關係? 因果關係和因果思維有何用處? 如何從觀測數據中學習因果關係? 如何自動從數據中發現有因果意義的隱變量以及它們之間的因果關係? 如何自動的實現遷移學習?遷移學習一定需要因果表述麼? 還有哪些機器學習任務會受益於因果思維?

……

張坤是卡內基梅隆大學哲學係副教授(並在機器學習係兼職)。他的研究領域是因果關係、機器學習以及通用人工智能。他在自動 因果發現領域提出了一係列模型和算法,並與合作者一起開創了從因果思維的角度來理解和解決複雜的機器學習問題的研究方向。他長期擔任一係 列機器學習和人工智能會議的領域主席、資深領域主席或程序委員會主 席,包括UAI、NeurlPS. ICML. CLeaR、IJCAI和AISTATS等會議。

成為VIP會員查看完整內容
0
52
2

來源:中國信息通信研究院

  曆經多年發展,大數據從一個新興的技術產業,正在成為融入經濟社會發展各領域的要素、資源、動力、觀念。

  近日,中國信息通信研究院正式發布《大數據白皮書(2021年)》。本白皮書以數據要素的價值釋放作為可信邏輯,重點探索大數據政策、法律、技術、管理、流通、安全等方麵的內容,並對“十四五”期間我國大數據的發展進行展望。

  2021年以來,全球各國大數據戰略持續推進,聚焦數據價值釋放,而國內圍繞數據要素的各個方麵正在加速布局和創新發展。

  政策方麵,我國大數據戰略進一步深化,激活數據要素潛能、加快數據要素市場化建設成為核心議題。

  “十四五”規劃全麵布局大數據發展,為今後五年大數據的發展作出了總體部署,為各部門各地方進行大數據專項規劃提供了重要依據。“十四五”規劃對於大數據發展的布局,可以概括為突出數據在數字經濟中的關鍵作用、加強數據要素市場規則建設、重視大數據相關基礎設施建設。其中包括將大數據作為數字經濟的重要“原料”,加強供給能力;針對數據要素市場目前麵臨的問題,提出加強規則;完善數據資源彙聚與流動的關鍵支撐底座,建設新興基礎設施。

  法律方麵,從基本法律、行業行政法規到地方立法,我國數據法律體係架構初步搭建完成。

  法律製度是數據要素市場化建設的重要保障。2021年我國數據立法取得突飛猛進的進展,備受關注的《數據安全法》和《個人信息保護法》先後出台,與《網絡安全法》共同形成了數據合規領域的“三駕馬車”,標誌著數據合規的法律構架已初步搭建完成。在此基礎上,重點行業、新興技術的法律和司法解釋在今年密集出台,地方性立法成果豐碩,為國家安全提供了有力的支撐,為產業、技術的發展提供了清晰的合規指引,也為人民提供了更全麵的權益保障。

  技術方麵,大數據技術體係以提升效率、賦能業務、加強安全、促進流通為目標加速向各領域擴散,已形成支撐數據要素發展的整套工具體係。

  2020年開始,隨著各行業數字化轉型的推進、數據安全事件的頻發,大數據技術的發展重點也從單一注重效率提升,演變為“效率提升、賦能業務、加強安全、促進流通”四者並重。其中。效率提升:利用雲原生思想進行能力升級;賦能業務:利用開發平台釋放業務潛能;加強安全:利用“零信任”不足內生安全;促進流通:利用隱私計算保障數據流通。

  管理方麵,數據資產管理實踐加速落地,並正在從提升數據資產質量向數據資產價值運營加速升級。

  隨著理論研究和行業實踐的不但深入發展,數據資產管理的目標正在由數據質量的提升逐步轉向數據價值的釋放,數據資產確權、估值等“老大難”問題也出現了落地方案,數據資產管理迎來新的發展階段。

  流通方麵,數據流通的基礎製度與市場規則仍在起步探索階段,但各界力量正在從新模式、新技術、新規則等多角度加速探索變革思路。

  數據流通是指以數據作為流通對象,按照一定規則從數據提供方法傳遞到數據需求方的過程,即數據資源先後被不同主體獲取、掌握或利用的過程。“數據要素市場市場化配置”提出後,各地繼續將設立數據交易機構作為促進數據要素流通的主要抓手,再次掀起建設熱潮。

  安全方麵,隨著監管力度和企業意識的強化,數據安全治理初見成效,數據安全的體係化建設逐步提升。

  麵對日益嚴峻的數據安全形勢,國家、行業、地方相繼出台多項數據安全法律法規,並接連開展相應的審查整治行動,國內數據安全進入強監管新階段。當前企業數據安全治理組織架構以多樣化形式呈現,基本確立了企業內部的數據安全管理責任體係。數據分類分級工作穩步推進,為精細化數據安全防控打下堅實基礎。數據安全風險評估逐漸深入各業務線,提升了潛在風險的防範化解能力。

  利用好數據要素是驅動數字經濟創新發展的重要抓手。“十四五”期間我國將立足新發展階段、貫徹新發展理念,進一步提升數字化發展水平,為數字經濟發展提供持久的新動力,進而為構建現代化經濟體係和新發展格局提供強大支撐。一是釋放數據價值將成為全球競爭戰略的重要組成部分;二是進一步發揮大數據技術在數據價值挖掘方麵的效用;三是數據治理製度體係與技術工具雙軌並進;四是新數據流通業態與政策製度協同創新;五是數據合規法律體係將進一步完善成熟。

成為VIP會員查看完整內容
0
50
0

1、周誌華教授:關於深度學習的一點思考

作者:周誌華

摘要:深度學習已被廣泛應用到涉及圖像、視頻、語音等的諸多任務中並取得巨大成功。如 果我們問“深度學習是什麼?”很可能會得到這樣的回答:“深度學習就是深度神經網 絡”。至少在目前,當“深度學習”作為一個術語時幾乎就是“深度神經網絡”的同義詞, 而當它指向一個技術領域時則如 SIAM News 頭版文章所稱[1],是“機器學習中使用深度 神經網絡的子領域”。關於深度學習有很多問題還不清楚。例如深度神經網絡為什麼要“深”?它成功背 後的關鍵因素是什麼?深度學習隻能是深度神經網絡嗎?本文將分享一些我們關於深度 學習的粗淺思考。

網址:https://mp.weixin.qq.com/s/yKzMxJ2pwwLYSO8ry0sJIQ

2、Attention Mechanisms in Computer Vision: A Survey(注意力機製)

清華&南開最新「視覺注意力機製Attention」綜述論文,帶你全麵了解六大類注意力機製方法

作者: Meng-Hao Guo, Tian-Xing Xu, Jiang-Jiang Liu, Zheng-Ning Liu, Peng-Tao Jiang, Tai-Jiang Mu, Song-Hai Zhang, Ralph R. Martin, Ming-Ming Cheng, Shi-Min Hu

摘要:人類可以自然有效地在複雜的場景中找到顯著區域。在這種觀察的推動下,注意力機製被引入到計算機視覺中,目的是模仿人類視覺係統的這方麵。這種注意力機製可以看作是一個基於輸入圖像特征的動態權值調整過程。注意力機製在圖像分類、目標檢測、語義分割、視頻理解、圖像生成、三維視覺、多模態任務和自監督學習等視覺任務中取得了巨大的成功。本文綜述了計算機視覺中的各種注意力機製,並對其進行了分類,如通道注意力、空間注意力、時間注意力和分支注意力; 相關的存儲庫https://github.com/MenghaoGuo/Awesome-Vision-Attentions專門用於收集相關的工作。本文還提出了注意機力製研究的未來方向。

網址://www.webtourguide.com/paper/2329d809f32ca0840bd93429d1cef0fe

3、Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges(幾何深度學習)

重磅!《幾何深度學習》新書發布,帝國理工/DeepMind等圖ML大牛共同撰寫,160頁pdf闡述幾何DL基礎原理和統一框架

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嚐試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎,而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中,我們做了一個適度的嚐試,將Erlangen項目的思維模式應用到深度學習領域,最終目標是獲得該領域的係統化和“連接點”。我們將這種幾何化嚐試稱為“幾何深度學習”,並忠實於Felix Klein的精神,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地,我們將重點放在一類用於分析非結構集、網格、圖和流形的神經網絡上,並表明它們可以被統一地理解為對應這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法,也許還會發現一些令人驚訝的聯係。實踐者可以獲得如何解決各自領域問題的新見解。

https://geometricdeeplearning.com/

網址:

//www.webtourguide.com/paper/1f6bbac326bd8b7c0c8554acaa169012

4、A Survey of Transformers(Transformer綜述論文)

複旦大學邱錫鵬教授等「Transformers全麵綜述」論文

作者:Tianyang Lin,Yuxin Wang,Xiangyang Liu,Xipeng Qiu

摘要:Transformers 在自然語言處理、計算機視覺和音頻處理等許多人工智能領域都取得了巨大的成功。因此,自然會引起學術界和工業界研究人員的極大興趣。到目前為止,各種各樣的Transformer變種(即X-formers)已經被提出,但是,關於這些Transformer器變種的係統和全麵的文獻綜述仍然缺乏。在這項綜述中,我們提供了一個全麵的Transformer綜述。我們首先簡單介紹了普通的Transformer,然後提出了一個x-former的新分類。接下來,我們將從三個方麵介紹不同的x -former架構修改,預訓練和應用。最後,展望了未來的研究方向。

網址://www.webtourguide.com/paper/f03a47eb6ddb5d23c07f51662f3220a0

5、Model Complexity of Deep Learning: A Survey(深度學習模型複雜性)

裴健等發布首篇「深度學習模型複雜性」綜述論文,44頁pdf闡述深度學習模型框架、模型規模、優化過程和數據複雜性

作者:Xia Hu,Lingyang Chu,Jian Pei,Weiqing Liu,Jiang Bian

摘要:

模型複雜性是深度學習的一個基本問題。

本文對深度學習中模型複雜性的最新研究進行了係統的綜述。深度學習的模型複雜度可分為表達能力和有效模型複雜度。

從模型框架、模型規模、優化過程和數據複雜性四個方麵回顧了現有的研究成果。我們還討論了深度學習模型複雜性的應用,包括理解模型泛化能力、模型優化、模型選擇和設計。

最後,我們提出幾個有趣的未來方向。

網址://www.webtourguide.com/paper/f7c683dfd6eb2f07eba0ed31d337345c

6、Towards Out-Of-Distribution Generalization: A Survey(分布外泛化)

清華大學崔鵬等最新「分布外泛化(Out-Of-Distribution Generalization)」 綜述論文

作者:Zheyan Shen,Jiashuo Liu,Yue He,Xingxuan Zhang,Renzhe Xu,Han Yu,Peng Cui

摘要: 經典的機器學習方法是建立在i.i.d.假設的基礎上的,即訓練和測試數據是獨立同分布的。然而,在真實場景中,i.i.d.假設很難得到滿足,導致經典機器學習算法在分布移位下的性能急劇下降,這表明研究非分布泛化問題的重要性。Out-of-Distribution分布外 (OOD)泛化問題解決了測試分布未知且與訓練不同的挑戰性設置。本文首次係統、全麵地探討了OOD泛化問題,從定義、方法、評價到啟示和未來發展方向。首先,給出了OOD泛化問題的形式化定義。其次,根據現有方法在整個學習流程中的位置,將其分為無監督表示學習、有監督模型學習與優化三部分,並詳細討論了每一類的典型方法。然後,我們展示了不同類別的理論聯係,並介紹了常用的數據集和評價指標。最後,對全文文獻進行了總結,並對OOD泛化問題提出了未來的研究方向。本次綜述OOD泛化文獻可在http://out-of-distribution-generalization.com上找到。

網址://www.webtourguide.com/paper/ba690c59e0f80fc34e779b1daa769988

7、Deep Long-Tailed Learning: A Survey(深度長尾學習)

NUS顏水成等發布首篇《深度長尾學習》綜述,20頁pdf172篇文獻闡述長尾類別深度學習進展

作者:Yifan Zhang, Bingyi Kang, Bryan Hooi, Shuicheng Yan, Jiashi Feng

摘要:深度長尾學習是視覺識別中最具挑戰性的問題之一,其目標是從大量遵循長尾類分布的圖像中訓練出性能良好的深度模型。在過去的十年中,深度學習已經成為一種學習高質量圖像表示的強大的識別模型,並導致了一般視覺識別的顯著突破。然而,長尾類不平衡是實際視覺識別任務中普遍存在的問題,這種不平衡往往限製了基於深度網絡的識別模型在實際應用中的實用性,因為長尾類容易偏向主導類,在尾類上的表現較差。為了解決這一問題,近年來人們進行了大量的研究,在深度長尾學習領域取得了可喜的進展。鑒於該領域的快速發展,本文對深度長尾學習的最新進展進行了綜述。具體地說,我們將已有的深度長尾學習研究分為三類(即類重平衡、信息增強和模塊改進),並根據這三類對這些方法進行了詳細的回顧。之後,我們通過一種新提出的評價指標,即相對準確性,來評估它們在多大程度上解決了階級失衡問題,從而對幾種最先進的方法進行了實證分析。最後,我們強調了深度長尾學習的重要應用,並確定了未來研究的幾個有前景的方向。

網址://www.webtourguide.com/paper/195ac6db0eea180eb9d5b5ef8f4ab0f4

8、Trustworthy AI: From Principles to Practices(可信人工智能)

京東等學者發布《可信賴人工智能》綜述論文,62頁pdf449篇文獻全麵闡述可信賴AI的理論與方法

作者:Bo Li,Peng Qi,Bo Liu,Shuai Di,Jingen Liu,Jiquan Pei,Jinfeng Yi,Bowen Zhou

摘要: 人工智能(AI)技術的發展使各種應用係統得以應用於現實世界,影響著人們的日常生活。然而,目前很多人工智能係統被發現容易受到無形的攻擊,對弱勢群體存在偏見,缺乏對用戶隱私的保護等,這不僅降低了用戶體驗,也侵蝕了社會對所有人工智能係統的信任。在這篇綜述中,我們努力為人工智能從業者提供一個全麵的指南,以構建可信賴的人工智能係統。我們首先介紹了人工智能可信度的重要方麵的理論框架,包括穩健性、泛化性、可解釋性、透明度、再現性、公平性、隱私保護、與人類價值觀的一致性和問責性。然後我們調研了行業中在這些方麵的領先方法。為了統一目前零散的人工智能方法,我們提出了一種係統的方法,考慮人工智能係統的整個生命周期,從數據采集到模型開發,到開發和部署,最後到持續監測和治理。在這個框架中,我們向從業者和社會利益相關者(如研究人員和監管機構)提供具體的行動項目,以提高人工智能的可信度。最後,我們確定可信賴的人工智能係統未來發展的關鍵機遇和挑戰,我們確定需要向全麵可信賴的人工智能係統轉變範式。

網址:

//www.webtourguide.com/paper/00386996069b8168827d03f0c809a462

9、Masked Autoencoders Are Scalable Vision Learners(簡單實用的自監督學習掩碼自編碼MAE)

何愷明最新一作論文:簡單實用的自監督學習掩碼自編碼MAE,ImageNet-1K 87.8%!

作者:Kaiming He,Xinlei Chen,Saining Xie,Yanghao Li,Piotr Dollár,Ross Girshick

摘要:

何愷明提出一種用於計算機視覺的可擴展自監督學習方案Masked AutoEncoders(MAE)。所提MAE極為簡單:對輸入圖像進行塊隨機mask並對遺失像素進行重建。它基於以下兩個核心設計:

我們設計了一種非對稱編解碼架構,其中編碼器僅作用於可見塊(無需mask信息),而解碼器則通過隱表達與mask信息進行原始圖像重建;

我們發現對輸入圖像進行高比例mask(比如75%)可以產生一項重要且有意義的自監督任務。

上述兩種設計促使我們可以更高效的訓練大模型:我們加速訓練達3x甚至更多,同時提升模型精度。所提方案使得所得高精度模型具有很好的泛化性能:僅需ImageNet-1K,ViT-Huge取得了87.8%的top1精度 。下遊任務的遷移取得了優於監督訓練的性能,證實了所提方案的可擴展能力。 網址:

//www.webtourguide.com/paper/1dbb3e8f5e16dc9a048a02ceee8eb617

10、徐宗本院士談人工智能的10個重大數理基礎問題

徐宗本院士:人工智能的10個重大數理基礎問題

作為新一代信息技術的代表,人工智能已經廣泛應用於科學、社會、經濟、管理的方方麵麵,已經和正在成為創新驅動發展的核心驅動力之一。然而,就其技術發展而言,人工智能還隻是突破了從“不可用” 到“可以用”的技術拐點,從“可以用”到“很好用” “用得好”還存在諸多技術瓶頸,正呼喚重大技術變革。

技術變革的先導是理論創新,即基礎研究。它是指對事物本質和規律的科學化探尋和揭示,是啟發、促動技術變革的激發源和理論依據。理論創新既應包括對原有理論體係或框架的新突破、對原有理論 和方法的新修正和新發展,也包括對理論禁區和未知領域的新探索。

本文主要關注人工智能技術發展當前亟待解決的重大數理基礎問題。為什麼要特別關注 AI 的數理基礎問題呢?這是因為當前人工智能技術和發展主要是靠“算例、算法、算力”所驅動的,其基礎是數據,其核心是算法,這二者都深刻地以數學為基礎。數學主要提供對所研究問題的形式化手段、模型化工具和科學化語言。沒有形式化就沒有程式化和計算機化,沒有模型化就沒有定量化和知識化,沒有科學化就沒有係統化和現代化。所以,數學在科學技術中具有獨特的作用和價值。對人工智能而言,數學不僅僅是工具,還是技術內涵本身, 而且常常也是最能體現本質、原始創新的部分。

本文提出並闡述人工智能研究與應用中凾待解決的10個重大數理基礎問題,包括:

(1) 大數據的統計學基礎; (2) 大數據計算的基礎算法; (3) 數據空間的結構與特性; (4) 深度學習的數學機理; (5) 非正規約束下的最優輸運; (6) 如何學習學習方法論; (7) 如何突破機器學習的先驗假設; (8) 機器學習的自動化; (9) 知識推理與數據學習的融合; (10) 智能尋優與人工智能芯片問題.

成為VIP會員查看完整內容
0
45
4

近年來,圖神經網絡(GNN)領域取得了快速和令人難以置信的進展。圖神經網絡,又稱圖深度學習、圖表示學習或幾何深度學習,已成為機器學習特別是深度學習領域發展最快的研究課題之一。這波圖論和深度學習交叉的研究浪潮也影響了其他科學領域,包括推薦係統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動規劃、網絡安全和智能交通。

盡管圖神經網絡已經獲得了極大的關注,但在將其應用到其他領域時,它仍然麵臨著許多挑戰,從方法的理論理解到實際係統中的可擴展性和可解釋性,從方法的可靠性到應用中的經驗性能。然而,隨著該領域的迅速發展,獲得全球視野的gnn的發展已成為一項極具挑戰性的工作。

因此,我們感到迫切需要彌補上述差距,並就這一快速發展但具有挑戰性的主題出版一本全麵的書,它可以造福廣泛的讀者,包括高級本科生和研究生、博士後研究人員、講師和行業從業者。

這本書旨在涵蓋圖神經網絡中廣泛的主題,從基礎到前沿,並從方法到應用。本書致力於介紹GNNs的基本概念和算法,GNNs的新研究前沿,以及GNNs的廣泛和新興應用。

書籍地址:https://graph-neural-networks.github.io/index.html

領域大牛推薦

“第一本全麵涵蓋一個快速發展的研究領域——圖神經網絡(GNN)的書,由權威作者撰寫!”

韓家煒 - 美國伊利諾伊大學香檳分校計算機係教授,IEEE和ACM院士

這本書提出了一個全麵和及時的圖表示學習綜述。由這一領域最好的專家編輯撰寫,這本書是想學習任何關於圖神經網絡的學生,研究人員和實踐者的必讀作品。”

沈向洋-計算機視覺和圖形學研究的世界級專家,IEEE Fellow,ACM Fellow)美國工程院院士,英國皇家工程科學院的國際院士

“作為深度學習的新前沿,圖神經網絡在結合概率學習和符號推理、連接知識驅動和數據驅動範式、開啟第三代人工智能發展方麵提供了巨大的潛力。這本書提供了全麵和深刻的GNN介紹,從基礎到前沿,從算法到應用。對於任何想要進入這一令人興奮的領域的科學家、工程師和學生來說,這都是寶貴的資源。”

張鈸 - 中國科學院院士,清華大學教授

“圖神經網絡是機器學習最熱門的領域之一,這本書是一個很棒的深度資源,涵蓋了圖表示學習的廣泛主題和應用。” Jure Leskovec -斯坦福大學副教授

圖神經網絡是一種新興的機器學習模型,已經在科學和工業領域掀起了一場風暴。是時候采取行動了!它的章節都是由該領域的許多專家精心撰寫的。”

Petar Velickovic - DeepMind 高級研究科學家

目錄內容:

本書主要分為3部分: Introduction, Foundations of Graph Neural Networks, 和 Frontiers of Graph Neural Networks.

第一部分:引言 第 1 章 表示學習 第 2 章 圖表示學習 第 3 章 圖神經網絡

第二部分:基礎 第 4 章 用於節點分類的圖神經網絡 第 5 章 圖神經網絡的表達能力 第 6 章 圖神經網絡:可擴展性 第 7 章 圖神經網絡中的可解釋性 第 8 章 圖神經網絡:對抗魯棒性

第三部分:前沿 第 9 章 圖神經網絡:圖分類 第 10 章 圖神經網絡:鏈接預測 第 11 章 圖神經網絡:圖生成 第 12 章 圖神經網絡:圖變換 第 13 章 圖神經網絡:圖匹配 第 14 章 圖神經網絡:圖結構學習 第 15 章 動態圖神經網絡 第 16 章 異構圖神經網絡 第 17 章 圖神經網絡:AutoML 第 18 章 圖神經網絡:自監督學習

第四部分:應用

第 19 章 現代推薦係統中的圖神經網絡 第 20 章 計算機視覺中的圖神經網絡 第 21 章 自然語言處理中的圖神經網絡 第 22 章 程序分析中的圖神經網絡 第 23 章 軟件挖掘中的圖神經網絡 第 24 章 藥物開發中基於 GNN 的生物醫學知識圖譜挖掘 第 25 章 預測蛋白質功能和相互作用的圖神經網絡 第 26 章 異常檢測中的圖神經網絡 第 27 章 城市智能中的圖神經網絡

作者介紹

吳淩飛博士現任京東矽穀研發中心首席科學家。吳博士曾經是 IBM T. J. Watson Research Center 研究科學家和團隊帶頭人。吳博士在 2016 年從威廉瑪麗大學取得計算機博士學位。他的研究內容包括機器學習、表征學習和自然語言處理。

吳博士帶領的 Graph4NLP (Deep Learning on Graphs for Natural Language Processing) 團隊(12+ 研究科學家)致力於機器學習與文本數據挖掘領域的基礎研究,並運用機器學習與文本數據挖掘方法解決實際問題。其學術成果先後發表在 NeurIPS, ICML, ICLR, ACL, EMNLP, KDD, AAAI, IJCAI 等國際頂級會議及期刊上,發表論文超過 80 多篇。代表作包括 IDGL, MGMN, Graph2Seq, GraphFlow。多項學術論文獲得著名國際大會的最佳論文和最佳學術論文獎,包括 IEEE ICC 2019。

吳博士同時現任 IEEE 影響因子最高期刊之一 IEEE Transactions on Neural Networks and Learning Systems(TNNLS) 和 ACM SIGKDD 旗艦期刊 ACM Transactions on Knowledge Discovery from Data (TKDD) 的副主編。多次組織和擔任國際頂級會議大會或者領域主席,如 AAAI, IJCAI, KDD, NeurIPS, ICLR, ICML, ACL, EMNLP。

崔鵬,清華大學計算機係長聘副教授。於 2010 年獲得清華大學博士學位,研究興趣包括因果正則機器學習(causally-regularized machine learning)、網絡表示學習和社交動態建模。他在數據挖掘和多媒體領域知名會議和期刊上發表文章 100 多篇,近期研究獲得 IEEE Multimedia Best Department Paper Award、ICDM 2015 最佳學生論文獎等多個獎項。2015 年,他獲得 ACM 中國新星獎,2018 年獲得 CCF-IEEE CS 青年科學家獎。目前,他是 ACM 和 CCF 傑出會員、IEEE 高級會員。

裴健在數據科學、大數據、數據挖掘和數據庫係統等領域,是世界領先的研究學者,國際計算機協會(ACM)院士和國際電氣電子工程師協會(IEEE)院士,擅長為數據密集型應用設計開發創新性的數據業務產品和高效的數據分析技術。因其在數據挖掘基礎、方法和應用方麵的傑出貢獻,裴健曾獲得數據科學領域技術成就最高獎 ACM SIGKDD Innovation Award(ACM SIGKDD 創新獎)和 IEEE ICDM Research Contributions Award(IEEE ICDM 研究貢獻獎)。2018 年,裴健入職京東,任集團副總裁。此前,裴健教授還曾擔任華為首席科學家。2019 年 9 月,裴健當選加拿大皇家學會院士。

趙亮現為埃默裏大學擔任計算機係助理教授,研究方向為數據挖掘、機器學習和優化。此前曾在喬治梅森大學信息科技學院和計算機學院擔任助理教授。2016 年秋,趙亮獲得弗吉尼亞理工大學的博士學位。此外,趙亮曾獲 2020 年美國自然科學基金委員會傑出青年獎(NSF CAREER AWARD)、2019 年 Jeffress Trust Award、2017 年弗吉尼亞理工大學計算機學院傑出博士獎,並入選 2016 年微軟評選出的數據挖掘領域 20 位學術新星。他還獲得過 ICDM 2019 會議的最佳論文獎項。

成為VIP會員查看完整內容
0
49
1

除了以實體為中心的知識(通常以知識圖譜(knowledge Graph, KG)的形式組織起來),事件也是世界上必不可少的一種知識,它引發了以事件為中心的知識表示形式(Event KG, EKG)的興起。它在許多機器學習和人工智能應用中發揮著越來越重要的作用,如智能搜索、問題回答、推薦和文本生成。本文從曆史、本體、實例和應用視圖等方麵對EKG進行了全麵的綜述。為了更全麵地描述EKG,我們將重點關注它的曆史、定義、模式歸納、獲取、相關的代表性圖形/係統和應用程序。研究了其發展過程和趨勢。我們進一步總結了未來EKG研究的發展方向。

知識圖譜(KG)是穀歌在2012年發布的一種流行的知識表示形式。它關注名義實體及其關係,因此代表靜態知識。然而,世界上存在著大量的事件信息,傳遞著動態的程序性知識。因此,以事件為中心的知識表示形式(如Event KG (EKG))也很重要,它將實體和事件結合在一起。它促進了許多下遊應用,如智能搜索、問答、推薦和文本生成[1]、[2]、[3]、[4]、[5]。

本文就EKG的概念及其發展進行了深入的探討。關於EKG你想知道什麼?你可能會對它的產生感興趣,也就是所謂的EKG,如何構建它,以及它的進一步應用。為了全麵介紹EKG,我們從曆史、本體論、實例和應用視圖等方麵對其進行了介紹。從曆史的觀點,我們介紹了EKG的簡史和我們導出的EKG的定義。從本體的角度,提出了與EKG相關的基本概念,以及EKG相關的任務和方法,包括事件模式歸納、腳本歸納和EKG模式歸納。從實例視圖,我們詳細闡述了事件獲取和與EKG相關的代表圖/係統。具體來說,事件獲取的重點是如何構建一個基本的EKG,並獲得一個更好的EKG。前者包括事件抽取和事件關係抽取,是最基本的任務。後者包括事件相互引用解析和事件參數補全。從應用的角度,介紹了一些基本的應用,包括腳本事件預測和時間KG預測,以及一些深層次的應用,如搜索、問答、推薦和文本生成。並對相關任務的發展過程和趨勢進行了深入的研究和分析。然後指出未來的方向。

事件知識圖譜發展曆程

什麼是EKG?曆史視角

在本節中,我們將從曆史的視角,簡要介紹EKG的曆史。然後我們根據曆史上與EKG相關的概念推導出EKG的定義。

什麼是EKG?本體視角

從本體的角度來看,我們研究了模式和相關的任務。EKG的模式描述了構成它的基本概念,比如事件類型、事件參數的角色以及事件之間的關係。事件類型和事件參數的角色構成了事件的框架,即事件模式。對於事件之間的關係,典型的腳本[30]根據一些事件關係組織一組事件,這些事件關係共同描述了常見的場景。

未來方向與挑戰

關於EKG的研究和成果有很多。然而,仍有幾個方向需要關注和進一步研究。在本節中,我們將深入探討這些未來的方向。

高性能的事件獲取

最近的事件獲取研究在有效性和效率上遠遠不能滿足應用需求。特別是事件提取和事件關係提取的精度較低。從而阻礙了高質量基礎EKG的構建。此外,現有的模型通常不重視複雜性問題。然而,高參數複雜度和高時間複雜度的模型不利於從大量數據中快速構建EKG。因此,高效率的事件獲取是未來的一個重要方向。

多模態知識處理

在現實世界中,事件可能以文本、圖像、音頻和視頻的形式呈現。然而,現有的關於EKG的研究多集中在文本處理上,而忽略了圖像、音頻、視頻中的大量信息。對於多模態事件表示學習[214]和事件抽取[215]的研究很少。實際上,不同模態的事件可以消除歧義,相互補充。因此,多模態信息的聯合利用是未來的一個重要方向。具體來說,來自所有模態的事件應在一個統一的框架中表示,事件獲取研究應注意多模態提取,EKG圖推理也應考慮多模態信息。

可解釋EKG研究

在EKG研究中,研究主要集中在用深度學習方法擬合訓練數據。然而,它們通常缺乏可解釋性,也就是說,對於它們為什麼和如何工作沒有明確的想法。實際上,了解最終結果的原因有助於在實際應用中采用它們。它是友好和令人信服的解釋為什麼最終結果是給定的。未來可解釋性EKG的研究將是一個重要的方向。

實用EKG研究

在與EKG相關的任務中,有些任務的形式化過於理想化,與現實場景相距甚遠。例如,在一個現有的事件中,隻完成一個缺失的參數或參數角色,通過從幾個候選對象中選擇它來預測未來的腳本事件,並且隻預測未來事件的一個元素。在更實際的形式下進行研究更具挑戰性,但也更有趣,對應用具有重要意義。

EKG對於許多都很重要,包括智能搜索、問題回答、推薦和文本生成。本文從不同角度對EKG的研究進行了綜述。特別地,我們深入研究了EKG的曆史、本體、實例和應用視圖。它的曆史,定義,模式歸納,獲取,相關的代表圖/係統,和應用進行了深入的研究。根據其發展趨勢,進一步總結了未來EKG研究的展望方向。

成為VIP會員查看完整內容
0
46
1

深度學習:全麵指南提供了深度學習(DL)和機器學習(ML)的概念的全麵覆蓋。DL和ML是最受歡迎的領域,需要深刻的理解。這本書使讀者能夠基於ML和DL構建創新和有用的應用。從神經網絡的基礎開始,並繼續通過各種類型的CNN, RNNs, LSTM的架構,以及更多,直到書的結尾,每一個主題都給予了最大的照顧和專業和全麵的塑造。

https://www.routledge.com/Deep-Learning-A-Comprehensive-Guide/Vasudevan-Pulari-Vasudevan/p/book/9781032028828

關鍵特征: 包括從ML概念到DL概念的平穩過渡

對於所有基於代碼的示例,都提供了逐行解釋

包括許多實際的例子和麵試問題

即使是非計算機科學背景的人也可以從這本書中受益,學習理論、例子、案例研究和代碼片段

每一章都以目標開始,並以一組測試讀者理解力的測試問題結束

包括對提供額外指導的相關YouTube視頻的引用

人工智能是每個人的領域。這本書麵向所有人,不論他們的專業領域是什麼。畢業生和研究人員在深度學習將發現這本書有用。

成為VIP會員查看完整內容
0
44
2

https://github.com/scutan90/DeepLearning-500-questions

深度學習500問——AI工程師麵試寶典(博文視點出品),談繼勇 主編,郭子釗,李劍,佃鬆宜 副主編 著

內容簡介

本書係統地描述了深度學習的基本理論算法及應用。全書共14章,第1-3章論述了數學基礎、機器學習基礎和深度學習基礎;第4-7章介紹了一些經典網絡及計算機視覺領域中常用的CNN、RNN、GAN等網絡結構技術;第8-9章介紹了深度學習在計算機視覺領域的目標檢測及圖像分割兩大應用;第10-14章介紹了計算機視覺領域主要的優化方法及思路等,包括遷移學習、網絡架構及訓練、網絡優化技巧、超參數調整及模型的壓縮和加速等。本書凝聚了眾多一線科研人員及工程師的經驗,旨在培養讀者發現問題、解決問題、擴展問題的能力。

本書內容取材於編者在日常學習過程中總結的知識點及各大公司常見的筆試、麵試題。本書可為高等院校計算機科學、信息科學、人工智能、控製科學與工程、電子科學與技術等領域的研究及教學人員提供參考,也可為相關專業本科生及研究生提供思考方向,還可為深度學習及計算機視覺領域的初、中級研究人員和工程技術人員提供參考,尤其適合需要查漏補缺的應聘者及提供相關崗位的麵試官閱讀。

作者簡介

談繼勇 主編

南方科技大學和哈爾濱工業大學聯合培養博士(在讀),現任瀚維智能醫療技術總監,深圳工信局專家庫專家,兼任南方科技大學、四川大學研究生企業導師,南方科技大學和瀚維智能醫療聯合實驗室副主任,北京探工所特聘技術專家,曾先後在中科院信工所、香港中文大學(深圳)、FOXCONN機器人與人工智能實驗室、順豐科技等單位任職。主要專注於智能感知與控製、實時智能與計算機視覺方向的研究,主持/主研國家自然科學基金、省重點研發計劃、深圳戰略性新興產業計劃等項目20餘項,發表SCI/EI論文20餘篇,申請發明專利40餘項,獲全國發明金獎。

郭子釗 副主編

四川大學計算機科學專業博士,碩士畢業於四川大學自動化係,主要從事AI芯片、深度學習、行為檢測識別、人臉檢測識別等相關研究工作。

李劍 副主編

同濟大學計算機科學專業博士,浙江農林大學副教授、碩士生導師,主要從事推薦係統、排序學習、凸優化等機器學習領域的科研和教學工作,發表SCI論文10餘篇,曾獲浙江省科技進步二等獎等多項省部級獎項。

佃鬆宜 副主編

日本東北大學博士,四川大學電氣工程學院教授、自動化係係主任,四川省信息與自動化技術重點實驗室主任。主要專注於先進控製理論與人工智能算法研究、嵌入式計算與實時智能係統的研究與開發、機器人與智能裝備的智能感知與控製技術的研究、工業測控與智能物聯的研究。近5年來主持包括國家重點研發計劃、基金、國網總部項目等各類科研項目近30項,累計總經費近2200萬元;發表論文100多篇,其中SCI/EI檢索近40篇,ESI高引論文1篇。參與編撰專著3部(其中英文專著1部),參編國家九五規劃教材1部。

王晉東 特邀編委

中科院計算所博士,微軟亞洲研究院機器學習研究員,主要從事遷移學習和機器學習方向的研究工作,在IJCAI、CVPR、ICDM、UbiComp、ACMMM、PERCOM、IJCNN、PRICAI、IEEE TNNLS、NEUNET、PRL、PMCJ、IMWUT、IJMLC、ICME、ACM TIST等國際權威期刊和會議上發表論文20餘篇,多次獲得“最佳論文”獎。作品有《遷移學習簡明手冊》等。

王超鋒

上海大學碩士,百度計算機視覺算法工程師,主研圖像處理,深度學習等方向。曾多次在國內外各類知名計算機視覺挑戰賽中獲得優異成績。

郭曉鋒

中國科學院碩士,愛奇藝算法工程師,主要從事圖像處理、深度學習等方向的研究,曾獲“2017華為軟件精英挑戰賽”複賽第6名。

黃偉

華南理工大學碩士,順豐科技機器人算法工程師,主要從事計算機視覺和自然語言處理方向的研究。曾在相關領域國際期刊、會議上發表論文,並在相關競賽中獲得優異成績。

陳方傑(Amusi)

上海大學碩士,CVer(計算機視覺知識分享和學習交流平台)創始人。

李元偉

國防科技大學碩士,深圳瀚維智能醫療科技公司高級算法工程師,南方科技大學和瀚維智能醫療聯合實驗室委員,主要從事機器視覺、圖像處理及深度學習方向的研究工作,參編普通高等教育十三五規劃教材《圖像通信基礎》,在IEEE TCSVT、COGN COMPUT等發表學術論文多篇,曾獲湖南省/全軍優秀碩士論文。

陳琳

北京航空航天大學博士(在讀),研究方向為無人機智能控製與決策、仿生智能計算。

成為VIP會員查看完整內容
0
43
2

人工智能(AI)無疑在汽車技術中扮演著越來越重要的角色。事實上,汽車是為數不多的幾個領域之一,你可以在一個產品中發現許多人工智能創新。

《AI for Cars》提供了一個簡短的導覽,介紹了許多不同的人工智能景觀,包括機器人技術、圖像和語音處理、推薦係統和深度學習,所有這些都與汽車世界有關。從行人檢測到司機監控,再到推薦引擎,這本書討論了數千名有才華的工程師和研究人員迄今為止所取得的背景、研究和進展,以及他們在世界各地部署這種救生技術的計劃。

https://www.routledge.com/AI-for-Cars/Aulinas-Sjafrie/p/book/9780367565190#

成為VIP會員查看完整內容
0
44
1

《中文信息處理發展報告》(2021)是中國中文信息學會召集領域專家對中文信息處理學科方向和前沿技術的階段性梳理。本發展報告的定位是深度科普,旨在向政府、企業、媒體等對中文信息處理感興趣的社會各界人士簡要介紹相關領域的基本概念和應用方向,向高等院校、科研院所和高新技術企業中從事相關工作的專業人士介紹相關領域的前沿技術和發展趨勢。

《中文信息處理發展報告》(2021)繼續沿用《中文信息處理發展報告》(2016)的編撰思路:對近年來本專業領域內的學科方向進行係統總結梳理,對未來一段時期的前沿技術趨勢進行展望。按照各個專業委員會發展曆程,結構安排上分為漢字字形信息、速記、計算語言學、少數民族語言文字信息處理、機器翻譯、信息檢索技術、語音信息技術、社會媒體處理、知識圖譜領域、醫療健康與生物信息、網絡空間大搜索技術、隱私計算、開源情報技術、自然語言生成與智能寫作、情感計算等 15 個專業領域分別進行表述。各個專業領域統一從研究背景與意義、領域發展現狀與關鍵科學問題、領域關鍵技術進展及趨勢、領域產業發展現狀及趨勢、總結及展望等 5 個部分進行總結梳理和趨勢展望。因此,本發展報告既可作為中文信息處理領域的總體發展研究報告使用,亦可作為每個專業領域獨立的發展研究報告單獨使用。 本發展報告的每個專業領域部分由各個專業技術委員會組織本專業領域內專家和學術團隊協同撰寫完成,由學會秘書處組織相關專家負責對初稿反饋意見,最後校核、編排、統一成文。 參與本發展報告撰寫工作的主要專家如下: 漢字字形信息:張建國等。 速記:廖清等。 計算語言學:車萬翔等。 少數民族語言文字信息處理:吐爾根·依布拉音等。 機器翻譯:張家俊、黃書劍、李軍輝、王瑞、何中軍、蘇勁鬆、馮衝、肖桐、史曉東、餘正濤、張民等。 信息檢索技術:竇誌成、範意興、郭嘉豐、何向南、黃民烈、劉暢、劉奕群、毛佳昕、任昭春、徐君、嚴睿、殷大偉、張帆、張鵬等。 語音信號技術:鄭方、賈珈、王東、徐明星、吳誌勇、周強、程星亮等。 社會媒體處理:劉挺、唐傑、林鴻飛、黃萱菁、沈華偉、馮仕政、陳慧敏、劉知遠、12丁效、李斌陽、萬懷宇、魏忠鈺、秦兵、王素格、劉康、夏睿、蔡毅、黃民烈、沈浩、張倫、朱旭琪、孟天廣、謝幸、楊洋、楊成、何婷婷、付瑞吉、王明文、彭敏、徐睿峰、邱偉雲、左家莉、伍大勇、張洪忠、張偉男、張華平、王彥皓、蔡佳豪、趙鑫、王嘯等。 知識圖譜領域:陳華鈞 、程龔 、韓先培 、侯磊 、胡偉、李涓子、李煒卓、劉康 、劉銘、漆桂林 、秦兵、王昊奮、許斌 、張文、趙軍等。 醫療信息處理技術:陳清財、湯步洲、戶保田、陳俊傑、閆峻等。 網絡空間大搜索技術:賈焰、李愛平、王曄、仇晶等。 隱私計算:李風華、李暉、邱衛東、牛犇、鄒德清等。 開源情報技術:劉科偉、殷複蓮、黃永峰、張震、楊震、楊忠良、馬諒、文蓋雄、夏睿、丁效、齊中祥、管磊、於銳、韓先培等。 自然語言生成與智能寫作:黃民烈、萬小軍、高揚、馮驍騁、嚴睿、宋睿華、段楠、趙鐵軍、饒高琦、楊沐昀、肖欣延、吳華、李國東、李丕績等。 情感計算:秦兵 、徐睿峰、朱廷劭、夏睿 、劉斌 、趙妍妍 、李斌陽等。

由於時間倉促,加之篇幅和視角所限,難免掛一漏萬,僅供有誌於中文信息處理事業的同仁和青年學者們參考研判,並期待讓我們攜手同行,再創中文信息處理事業的新輝煌!

中國中文信息學會 2021 年 12 月

成為VIP會員查看完整內容
0
43
1

Leiden大學Aske Plaat教授《深度強化學習》2022新書,值得關注!

深度強化學習近年來備受關注。在自動駕駛、遊戲、分子重組和機器人等各種活動中,他們都取得了令人印象深刻的成果。在所有這些領域,計算機程序已經學會了解決困難的問題。他們學會了飛行模型直升機和表演特技動作,如回旋和翻滾。在某些應用中,他們甚至比最優秀的人類還要優秀,比如Atari、Go、撲克和星際爭霸。深度強化學習探索複雜環境的方式提醒我們,孩子們是如何學習的,通過開玩笑地嚐試東西,獲得反饋,然後再嚐試。計算機似乎真的擁有人類學習的各個方麵; 這是人工智能夢想的核心。教育工作者並沒有忽視研究方麵的成功,大學已經開始開設這方麵的課程。這本書的目的是提供深度強化學習領域的全麵概述。這本書是為人工智能的研究生寫的,並為希望更好地理解深度強化學習方法和他們的挑戰的研究人員和實踐者。我們假設學生具備本科水平的計算機科學和人工智能知識;本書的編程語言是Python。我們描述了深度強化學習的基礎、算法和應用。我們將介紹已建立的無模型和基於模型的方法,它們構成了該領域的基礎。發展很快,我們還涵蓋了一些高級主題: 深度多智能體強化學習、深度層次強化學習和深度元學習。

https://deep-reinforcement-learning.net/

這本書的目的是呈現在一個單一的深度強化學習的最新見解,適合教學一個研究生水平一個學期的課程。除了涵蓋最先進的算法,我們涵蓋經典強化學習和深度學習的必要背景。我們還涵蓋了自我遊戲、多主體、層次和元學習方麵的先進的、前瞻性的發展。

深度強化學習建立在深度監督學習和表格強化學習的基礎上

在這些章節中有很多材料,既有基礎的,也有先進的,有很多文獻。一種選擇是講授一門關於書中所有主題的課程。另一種選擇是慢一些、深入一些,在基礎知識上花足夠的時間,創建關於Chaps. 2-5的課程,以涵蓋基本主題(基於值、基於策略和基於模型的學習),並創建關於Chaps. 6-9的單獨課程,以涵蓋多智能體、分層和元學習等更高級的主題。

在這一介紹性的章節之後,我們將繼續學習第二章,在第二章中,我們將詳細討論表格(非深度)強化學習的基本概念。我們從馬爾可夫決策過程開始,並詳細討論它們。第三章解釋了基於深度價值的強化學習。本章涵蓋了為尋找最優策略而設計的第一個深度算法。我們仍將在基於價值、無模型的範式中工作。在本章的最後,我們將分析一個自學如何玩上世紀80年代Atari電子遊戲的玩家。下一章,第四章,討論了一種不同的方法:基於深度策略的強化學習。下一章,第5章,介紹了基於深度模型的強化學習與學習模型,該方法首先建立環境的過渡模型,然後再建立策略。基於模型的強化學習有希望獲得更高的樣本效率,從而加快學習速度。

成為VIP會員查看完整內容
0
43
0

通過「定量發散」與「定性收斂」,達摩院分析了近三年來的770萬篇公開論文、8.5萬份專利,通過挖掘其中熱點及重點技術突破,深度訪談近100位科學家,提出了2022年可能照進現實的十大科技趨勢。

https://damo.alibaba.com/techtrends/2022

達摩院2022十大科技趨勢

趨勢一 AI for Science

人工智能成為科學家的新生產工具,催生科研新範式

實驗科學和理論科學是數百年來科學界的兩大基礎範式,而人工智能正在催生新的科研範式。機器學習能夠處理多維、多模態的海量數據,解決複雜場景下的科學難題,帶領科學探索抵達過去無法觸及的新領域。人工智能不僅將加速科研流程,還將幫助發現新的科學規律。預計未來三年,人工智能將在應用科學中得到普遍應用,在部分基礎科學中開始成為科學家的生產工具。

趨勢二 大小模型協同進化

大模型參數競賽進入冷靜期,大小模型將在雲邊端協同進化

超大規模預訓練模型是從弱人工智能向通用人工智能的突破性探索,解決了傳統深度學習的應用碎片化難題,但性能與能耗提升不成比例的效率問題限製了參數規模繼續擴張。人工智能研究將從大模型參數競賽走向大小模型的協同進化,大模型向邊、端的小模型輸出模型能力,小模型負責實際的推理與執行,同時小模型再向大模型反饋算法與執行成效,讓大模型的能力持續強化,形成有機循環的智能體係。

趨勢三 矽光芯片

光電融合兼具光子和電子優勢,突破摩爾定律限製

電子芯片的發展逼近摩爾定律極限,難以滿足高性能計算不斷增長的數據吞吐需求。矽光芯片用光子代替電子進行信息傳輸,可承載更多信息和傳輸更遠距離,具備高計算密度與低能耗的優勢。隨著雲計算與人工智能的大爆發,矽光芯片迎來技術快速迭代與產業鏈高速發展。預計未來三年,矽光芯片將承載絕大部分大型數據中心內的高速信息傳輸。

趨勢四 綠色能源AI

人工智能助力大規模綠色能源消納,實現多能互補的電力體係

風電、光伏等綠色能源近年來快速發展,也帶來了並網難、消納率低等問題,甚至出現了“棄風”、“棄光”等現象。核心原因在於綠色能源存在波動性、隨機性、反調峰等特征,大規模並網可能影響電網的安全穩定運行。人工智能技術的應用,將有效提升電網等能源係統消納多樣化電源和協調多能源的能力,成為提升能源利用率和穩定性的技術支撐,推動碳中和進程。預計未來三年,人工智能技術將幫助電力係統實現大規模綠色能源消納,實現電力係統的安全、高效、穩定運行。

趨勢五 柔性感知機器人

機器人將兼具柔性和類人感知,可自適應完成多種任務

傳統機器人依賴預編程,局限於大型生產線等結構化場景。近年來,柔性機器人結合柔性電子、力感知與控製、人工智能技術,獲得了力覺、視覺、聲音等感知能力,應對多任務的通用性與應對環境變化的自適應性大幅提升。機器人將從大規模、標準化的產線走向小規模、非標準化的場景。預計未來五年,柔性感知機器人將逐步替代傳統工業機器人,成為產線上的主力設備,並在服務機器人領域開始規模化應用。

趨勢六 高精度醫療導航

人工智能與精準醫療深度融合,助力診療精度與效率提升

傳統醫療依賴醫生經驗,猶如人工尋路,效果參差不齊。人工智能與精準醫療深度融合,專家經驗和新的輔助診斷技術有機結合,將成為臨床醫學的高精度導航係統,為醫生提供自動指引,幫助醫療決策更快更準,實現重大疾病的可量化、可計算、可預測、可防治。預計未來三年,以人為中心的精準醫療將成為主要方向,人工智能將全麵滲透在疾病預防和診療的各個環節,成為疾病預防和診療的高精度導航協同。

趨勢七 全域隱私計算

破解數據保護與流通兩難,隱私計算走向全域數據保護

數據安全保護與數據流通是數字時代的兩難問題,破解之道是隱私計算。過去受製於性能瓶頸、技術信任不足、標準不統一等問題,隱私計算尚隻能在少量數據的場景下應用。隨著專用芯片、加密算法、白盒化、數據信托等技術融合發展,隱私計算有望跨越到海量數據保護,數據源將擴展到全域,激發數字時代的新生產力。預計未來三年,全域隱私計算技術將在性能和可解釋性上有新的突破,或將出現數據信托機構提供基於隱私計算的數據共享服務。

趨勢八 星地計算

衛星及地麵一體化的通信與計算,促進空天地海全麵數字化

基於地麵網絡和計算的數字化服務局限在人口密集區域,深空、海洋、沙漠等無人區尚是服務的空白地帶。高低軌衛星通信和地麵移動通信將無縫連接,形成空天地海一體化立體網絡。由於算隨網動,星地計算將集成衛星係統、空中網絡、地麵通信和雲計算,成為一種新興的計算架構,擴展數字化服務的空間。預計未來三年,低軌衛星數量會迎來爆發式增長,衛星及其地麵係統將成為新型計算節點。

趨勢九 雲網端融合

雲網端融合形成新計算體係,催生雲上新物種

新型網絡技術發展將推動雲計算走向雲網端融合的新計算體係,並實現雲網端的專業分工:雲將作為腦,負責集中計算與全局數據處理;網絡作為連接,將多種網絡形態通過雲融合,形成低延時、廣覆蓋的一張網;端作為交互界麵,呈現多元形態,可提供輕薄、長效、沉浸式的極致體驗。雲網端融合將促進高精度工業仿真、實時工業質檢、虛實融合空間等新型應用誕生。預計未來兩年,將有大量新型應用在雲網端融合的新計算體係中運行。

趨勢十 XR互聯網

XR眼鏡會成為重要交互界麵,帶動下一代互聯網發展

隨著端雲協同計算、網絡通信、數字孿生等技術發展,以沉浸式體驗為核心的XR(未來虛實融合)互聯網將迎爆發期。眼鏡有望成為新的人機交互界麵,推動形成有別於平麵互聯網的XR互聯網,催生從元器件、設備、操作係統到應用的新產業生態。XR互聯網將重塑數字應用形態,變革娛樂、社交、工作、購物、教育、醫療等場景交互方式。預計未來三年,外形與重量接近普通眼鏡的新一代XR眼鏡將產生,成為下一代互聯網的關鍵入口。

成為VIP會員查看完整內容
0
40
1

【導讀】如何從大規模文本中挖掘知識是個重要問題。最近數據挖掘大師韓家煒做了“從海量非結構化文本中挖掘結構化知識”報告,闡述了最新文本挖掘方麵的進展,非常值得關注!

韓家煒是美國伊利諾伊大學香檳分校計算機係教授,IEEE和ACM院士,美國信息網絡學術研究中心主任。曾擔任KDD、SDM和ICDM等國際知名會議的程序委員會主席,創辦了ACM TKDD學報並任主編。在數據挖掘、數據庫和信息網絡領域發表論文600餘篇。

韓教授曾獲2004 ACM SIGKDD創新獎、2005 IEEE計算機分會技術成就獎、2009 IEEE計算機分會WAllace McDowell Award和2011 Daniel C. Drucker Eminent Faculty Award at UIUC等獎項。

http://hanj.cs.illinois.edu/

從海量非結構化文本中挖掘結構化知識

現實世界的大數據很大程度上是動態的、相互關聯的、非結構化的文本。將這種海量的非結構化數據轉化為結構化知識是一個迫切需要解決的問題。許多研究人員依靠人工作業的標簽和管理從這些數據中提取知識。然而,這種方法是不可擴展的。我們認為,大量文本數據本身可能會揭示大量隱藏的結構和知識。通過預訓練的語言模型和文本嵌入方法,可以將非結構化數據轉化為結構化知識。在這次演講中,我們介紹了我們小組最近開發的一套用於此類探索的方法,包括聯合球形文本嵌入、判別性主題挖掘、分類法構建、文本分類和基於分類法的文本分析。我們證明了數據驅動方法在將海量文本數據轉化為結構化知識方麵是有前途的。

目錄內容: 動機 Motivation: Mining Unstructured Text for Structured Knowledge 理解語義Understanding Semantics: Text Embedding and Spherical Text Embedding (JoSE) 主題挖掘 Weakly Supervised, Discriminative, Hierarchical Topic Mining (CaTE, JoSH) 自動分類法構建 Automated Taxonomy Construction and Enrichment

  • SetExpan, SetCoExpan, CGExpan, HiExpan, CoRel
  • Automated Taxonomy Enrichment (TaxoExpan) 文檔分類 Document Classification by Weak Supervision
  • Weakly supervised: Using Category-Names Only (LOTClass)
  • Weakly Supervised Multiclass Classification Using Taxonomy (TaxoClass) Looking Forward

現實世界中80%大數據都是個結構化文本,在很大程度上是非結構化的、互聯的和動態的,且以自然語言文本的形式出現,將此類龐大的非結構化數據轉換為有用的知識是在大數據時代的一條必由之路。目前大家普遍采用勞動密集型的方法對數據進行打標簽從而提取知識,這種方法短時來看可取,但卻無法進行擴展,特別是許多企業的文本數據是高度動態且領域相關。

韓家煒教授認為,大量的文本數據本身就隱含了大量的隱模式、結構和知識,因此我們可以借助domain-independent 和 domain-dependent的知識庫,來探索如何將海量數據從非結構化的數據轉化為有用的知識。 (1)從文本數據中挖掘隱藏的結構。文本數據中隱藏著大量的結構,這步工作就是將這些數據挖掘出來。 (2)將文本數據轉化為有類型的 Network/Text Cube。將文本數據變成有結構、有類型的數據(Network/Text Cube) (3)挖掘 Network/Text Cube 生成有用的知識。最後一步才是挖掘。

成為VIP會員查看完整內容
0
38
2

CS189是加州大學伯克利分校的機器學習課程。在本指南中,我們創建了一個全麵的課程指南,以便與學生和公眾分享我們的知識,並希望吸引其他大學的學生對伯克利的機器學習課程的興趣。本指南由cs189助教Soroush Nasiriany和Garrett Thomas於2017年秋季發起,並得到William Wang和Alex Yang的協助。我們要感謝Anant Sahai、Stella Yu和Jennifer Listgarten教授,因為這本書深受他們講座的啟發。此外,我們感謝Jonathan Shewchuk教授的機器學習筆記,從中我們得到了啟發。該文檔的最新版本可以在http://www.eecs189.org/或http:// snasiriany.me/cs189/找到。如果您希望重新分發此文檔,請向工作人員報告任何錯誤,並與作者聯係。

成為VIP會員查看完整內容
0
37
1

麵向知識圖譜的知識推理旨在通過已有的知識圖譜事實,去推斷新的事實,進而實現知識庫的補全。近年來,盡管基於分布式表示學習的方法在推理任務上取得了巨大的成功,但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以,如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發,係統梳理了麵向知識圖譜的可解釋知識推理的相關工作,具體介紹了事前可解釋推理模型和事後可解釋推理模型的研究進展;根據可解釋範圍的大小,本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理;在事後解釋模型中,本文回顧了推理模型的代表方法,並詳細介紹提供事後解釋的兩類解釋方法。此外,本文還總結了可解釋知識推理在醫療、金融領域的應用。隨後,本文對可解釋知識推理的現狀進行概述,最後展望了可解釋知識推理的未來發展方向,以期進一步推動可解釋推理的發展和應用。

http://www.jos.org.cn/jos/article/abstract/6522

知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關係,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關係。自穀歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限製了這些下遊任務的性能。知識推理,這一旨在根據一定的推理機製去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。

早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關係映射到低維連續 的向量空間,將推理預測任務轉化為實體與關係所關聯的簡單的向量/矩陣操作。鑒於該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,並且廣泛的應用在推薦係統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,並不會招致非常嚴重的後果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關係到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 麼獲得這個預測的,來建立用戶和推理模型之間的信任。

隨著深度學習的發展,知識推理方法的模型結構越來越複雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方麵優於人類,但由於用戶無 法對這類模型裏的參數、結構、特征產生直觀理解,對於模型的決策過程和模型的推理依據知之甚少,對 於模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究,並從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方麵 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 係統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,並介紹常見的 可解釋模型劃分標準;然後,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,並討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最後,本文討論可 解釋知識推理麵臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什麼是可解釋性 (Interpretability),以及為什麼要在推理任務中注重可解釋性進行介紹,最後對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年,穀歌正式提出知識圖譜的概念,用於改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關係,其中 h 代表頭實體, r 代表實體之間的關係, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關係。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻麵臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重製約了知識圖譜在下遊任務中的效能發揮。因此,如何讓機器自動基於知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。

總的來說,麵向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普裏奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普裏奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注於知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 於擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關係預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關係,推理出另一個實體並由此構成完整三元組, 同理,關係預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關係。由於知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模並進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下麵的內容裏,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對於可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易於理解,那麼它就比另一個模型具有更高的可解釋性。

在某些情況下,我們不必關心模型為什麼做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重後果(例如,電影推薦係統),但是對於某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎麼獲得這個預測的,因為正確的預測隻部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:

1、高可靠性要求。盡管可解釋性對於一些係統來說並不是不可或缺的,但是,對於某些需要高度可靠 的預測係統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的後果。此外,它可以幫助工程師查明根 本原因並相應地提供修複。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠係統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由於機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用於新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機製,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事後可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事後可解釋性是指模型訓練後運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型裏麵的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事後解釋方法應用於事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的範圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定於模型,可以 將模型劃分為特定於模型和模型無關兩種類別[96] 。在接下來的內容裏,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。

成為VIP會員查看完整內容
0
37
0
登錄查看的更多。 返回頂部
本周薈萃主題
深度學習
機器學習的一個分支,它基於試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一係列算法。
機器學習
“機器學習是近20多年興起的一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。機器學習理論主要是設計和分析一些讓 可以自動“ 學習”的算法。機器學習算法是一類從數據中自動分析獲得規律,並利用規律對未知數據進行預測的算法。因為學習算法中涉及了大量的統計學理論,機器學習與統計推斷學聯係尤為密切,也被稱為統計學習理論。算法設計方麵,機器學習理論關注可以實現的,行之有效的學習算法。很多 推論問題屬於 無程序可循難度,所以部分的機器學習研究是開發容易處理的近似算法。”

——中文維基百科
強化學習
強化學習(RL)是機器學習的一個領域,與軟件代理應如何在環境中采取行動以最大化累積獎勵的概念有關。除了監督學習和非監督學習外,強化學習是三種基本的機器學習範式之一。 強化學習與監督學習的不同之處在於,不需要呈現帶標簽的輸入/輸出對,也不需要顯式糾正次優動作。相反,重點是在探索(未知領域)和利用(當前知識)之間找到平衡。 該環境通常以馬爾可夫決策過程(MDP)的形式陳述,因為針對這種情況的許多強化學習算法都使用動態編程技術。經典動態規劃方法和強化學習算法之間的主要區別在於,後者不假設MDP的確切數學模型,並且針對無法采用精確方法的大型MDP。
推薦係統
推薦係統,是指根據用戶的習慣、偏好或興趣,從不斷到來的大規模信息中識別滿足用戶興趣的信息的過程。推薦推薦任務中的信息往往稱為物品(Item)。根據具體應用背景的不同,這些物品可以是新聞、電影、音樂、廣告、商品等各種對象。推薦係統利用電子商務網站向客戶提供商品信息和建議,幫助用戶決定應該購買什麼產品,模擬銷售人員幫助客戶完成購買過程。個性化推薦是根據用戶的興趣特點和購買行為,向用戶推薦用戶感興趣的信息和商品。隨著電子商務規模的不斷擴大,商品個數和種類快速增長,顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的信息和產品過程無疑會使淹沒在信息過載問題中的消費者不斷流失。為了解決這些問題,個性化推薦係統應運而生。個性化推薦係統是建立在海量數據挖掘基礎上的一種高級商務智能平台,以幫助電子商務網站為其顧客購物提供完全個性化的決策支持和信息服務。
卷積神經網絡
在深度學習中,卷積神經網絡(CNN或ConvNet)是一類深度神經網絡,最常用於分析視覺圖像。基於它們的共享權重架構和平移不變性特征,它們也被稱為位移不變或空間不變的人工神經網絡(SIANN)。它們在圖像和視頻識別,推薦係統,圖像分類,醫學圖像分析,自然語言處理,和財務時間序列中都有應用。
命名實體識別
命名實體識別(NER)(也稱為實體標識,實體組塊和實體提取)是信息抽取的子任務,旨在將非結構化文本中提到的命名實體定位和分類為預定義類別,例如人員姓名、地名、機構名、專有名詞等。
機器翻譯
機器翻譯,又稱為自動翻譯,是利用計算機將一種自然語言(源語言)轉換為另一種自然語言(目標語言)的過程。它是計算語言學的一個分支,是人工智能的終極目標之一,具有重要的科學研究價值。
計算機視覺
計算機視覺是一門研究如何使機器“看”的科學,更進一步的說,就是是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺,並進一步做圖形處理,使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科,計算機視覺研究相關的理論和技術,試圖建立能夠從圖像或者多維數據中獲取‘信息’的人工智能係統。
新聞
新聞,是指報紙、電台、電視台、互聯網等媒體經常使用的記錄與傳播信息的 [2] 一種文體,是反映時代的一種文體。新聞概念有廣義與狹義之分。廣義上:除了發表於報刊、廣播、互聯網、電視上的評論與專文外的常用文本都屬於新聞,包括消息、通訊、特寫、速寫(有的將速寫納入特寫之列)等等; [3] 狹義上:消息是用概括的敘述方式,以較簡明扼要的文字,迅速及時地報道附近新近發生的、有價值的事實,使一定人群了解。新聞一般包括標題、導語、主體、背景和結語五部分。前三者是主要部分,後二者是輔助部分。寫法以敘述為主兼或有議論、描寫、評論等。新聞是包含海量資訊的新聞服務平台,真實反映每時每刻的重要事件。您可以搜索新聞事件、熱點話題、人物動態、產品資訊等,快速了解它們的最新進展。
圖靈獎
圖靈獎(A.M. Turing Award,又譯“杜林獎”),由 美國計算機協會(ACM)於1966年設立,又叫“A.M. 圖靈獎”,專門獎勵那些對計算機事業作出重要貢獻的個人。其名稱取自計算機科學的先驅、英國科學家 阿蘭·麥席森·圖靈
Top
http://www.webtourguide.com/zytx/1050068.html http://www.webtourguide.com/zytx/71101.html http://www.webtourguide.com/zytx/3393218.html http://www.webtourguide.com/zytx/646998.html http://www.webtourguide.com/zytx/7787654.html http://www.webtourguide.com/zytx/13027.html http://www.webtourguide.com/zytx/485164.html http://www.webtourguide.com/zytx/978377.html http://www.webtourguide.com/zytx/1323837.html http://www.webtourguide.com/zytx/219334.html http://www.webtourguide.com/zytx/467139.html http://www.webtourguide.com/zytx/43874.html http://www.webtourguide.com/zytx/5387087.html http://www.webtourguide.com/zytx/51919.html http://www.webtourguide.com/zytx/807119.html http://www.webtourguide.com/zytx/81874.html http://www.webtourguide.com/zytx/80727.html http://www.webtourguide.com/zytx/100421.html http://www.webtourguide.com/zytx/91701.html http://www.webtourguide.com/zytx/80886.html http://www.webtourguide.com/zytx/62577.html http://www.webtourguide.com/zytx/262939.html http://www.webtourguide.com/zytx/41880.html http://www.webtourguide.com/zytx/971268.html http://www.webtourguide.com/zytx/632538.html http://www.webtourguide.com/zytx/5974712.html http://www.webtourguide.com/zytx/7434655.html http://www.webtourguide.com/zytx/516775.html http://www.webtourguide.com/zytx/92423.html http://www.webtourguide.com/zytx/4980936.html http://www.webtourguide.com/zytx/8995032.html http://www.webtourguide.com/zytx/23322.html http://www.webtourguide.com/zytx/594517.html http://www.webtourguide.com/zytx/4615195.html http://www.webtourguide.com/zytx/525839.html http://www.webtourguide.com/zytx/8599939.html http://www.webtourguide.com/zytx/7483336.html http://www.webtourguide.com/zytx/36948.html http://www.webtourguide.com/zytx/531747.html http://www.webtourguide.com/zytx/4131496.html http://www.webtourguide.com/zytx/6270160.html http://www.webtourguide.com/zytx/8648430.html http://www.webtourguide.com/zytx/68758.html http://www.webtourguide.com/zytx/830281.html http://www.webtourguide.com/zytx/1048913.html http://www.webtourguide.com/zytx/22097.html http://www.webtourguide.com/zytx/5005988.html http://www.webtourguide.com/zytx/33925.html http://www.webtourguide.com/zytx/5424440.html http://www.webtourguide.com/zytx/674827.html http://www.webtourguide.com/zytx/7842842.html http://www.webtourguide.com/zytx/67578.html http://www.webtourguide.com/zytx/391384.html http://www.webtourguide.com/zytx/824421.html http://www.webtourguide.com/zytx/20931.html http://www.webtourguide.com/zytx/7126083.html http://www.webtourguide.com/zytx/165991.html http://www.webtourguide.com/zytx/901610.html http://www.webtourguide.com/zytx/194453.html http://www.webtourguide.com/zytx/43666.html http://www.webtourguide.com/zytx/6233288.html http://www.webtourguide.com/zytx/2739847.html http://www.webtourguide.com/zytx/52829.html http://www.webtourguide.com/zytx/967413.html http://www.webtourguide.com/zytx/833695.html http://www.webtourguide.com/zytx/553182.html http://www.webtourguide.com/zytx/845238.html http://www.webtourguide.com/zytx/331605.html http://www.webtourguide.com/zytx/20406.html http://www.webtourguide.com/zytx/837430.html http://www.webtourguide.com/zytx/365943.html http://www.webtourguide.com/zytx/3819789.html http://www.webtourguide.com/zytx/1525460.html http://www.webtourguide.com/zytx/84052.html http://www.webtourguide.com/zytx/3486430.html http://www.webtourguide.com/zytx/2594255.html http://www.webtourguide.com/zytx/7412125.html http://www.webtourguide.com/zytx/7911618.html http://www.webtourguide.com/zytx/899476.html http://www.webtourguide.com/zytx/33272.html http://www.webtourguide.com/zytx/2482690.html http://www.webtourguide.com/zytx/677560.html http://www.webtourguide.com/zytx/53044.html http://www.webtourguide.com/zytx/178029.html http://www.webtourguide.com/zytx/8137006.html http://www.webtourguide.com/zytx/895847.html http://www.webtourguide.com/zytx/7561559.html http://www.webtourguide.com/zytx/99155.html http://www.webtourguide.com/zytx/708588.html http://www.webtourguide.com/zytx/644532.html http://www.webtourguide.com/zytx/25360.html http://www.webtourguide.com/zytx/6845394.html http://www.webtourguide.com/zytx/43599.html http://www.webtourguide.com/zytx/223549.html http://www.webtourguide.com/zytx/93458.html http://www.webtourguide.com/zytx/64294.html http://www.webtourguide.com/zytx/939533.html http://www.webtourguide.com/zytx/8327442.html http://www.webtourguide.com/zytx/95316.html http://www.webtourguide.com/zytx/40010.html