Humans can naturally and effectively find salient regions in complex scenes. Motivated by this observation, attention mechanisms were introduced into computer vision with the aim of imitating this aspect of the human visual system. Such an attention mechanism can be regarded as a dynamic weight adjustment process based on features of the input image. Attention mechanisms have achieved great success in many visual tasks, including image classification, object detection, semantic segmentation, video understanding, image generation, 3D vision, multi-modal tasks and self-supervised learning. In this survey, we provide a comprehensive review of various attention mechanisms in computer vision and categorize them according to approach, such as channel attention, spatial attention, temporal attention and branch attention; a related repository https://github.com/MenghaoGuo/Awesome-Vision-Attentions is dedicated to collecting related work. We also suggest future directions for attention mechanism research.

1
34
下載
關閉預覽

相關內容

現在注意力機製已廣泛地應用在深度學習的諸多領域。基於注意力機製的結構模型不僅能夠記錄信息間的位置關係,還能依據信息的權重去度量不同信息特征的重要性。通過對信息特征進行相關與不相關的抉擇建立動態權重參數,以加強關鍵信息弱化無用信息,從而提高深度學習算法效率同時也改進了傳統深度學習的一些缺陷。因此從圖像處理領域、自然語言處理、數據預測等不同應用方麵介紹了一些與注意力機製結合的算法結構,並對近幾年大火的基於注意力機製的transformer和reformer算法進行了綜述。鑒於注意力機製的重要性,綜述了注意力機製的研究發展,分析了注意力機製目前的發展現狀並探討了該機製未來可行的研究方向。

成為VIP會員查看完整內容
1
58
0

來自UIUC的Transformers最新教程。

Transformer 架構 architecture Attention models Implementation details Transformer-based 語言模型 language models BERT GPT Other models

Transformer 視覺 Applications of Transformers in vision

成為VIP會員查看完整內容
5
126
0

VIKRAM VOLETI的神經常微分方程教程,50頁ppt

成為VIP會員查看完整內容
3
46
0

題目:Attention in Natural Language Processing

摘要:

注意力是一種越來越受歡迎的機製,在廣泛的神經結構中使用。該機製本身以各種格式實現。然而,由於這一領域的快速發展,仍然缺乏對注意力的係統概述。在本文中,我們為自然語言處理中的注意力架構定義了一個統一的模型,重點是那些設計用來處理文本數據的向量表示的模型。根據四個維度提出了注意力模型的分類:輸入的表示、兼容性函數、分布函數和輸入和輸出的多樣性。然後展示了如何在注意力模型中利用先驗信息的例子,並討論了該領域正在進行的研究工作和麵臨的挑戰。

成為VIP會員查看完整內容
2
101
0

題目

NLP注意力機製綜述論文翻譯,Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing

關鍵詞

注意力機製,自然語言處理,深度學習,人工智能

簡介

注意力是一種廣泛用於神經體係結構的越來越流行的機製。由於該領域的快速發展,仍然缺少對注意力的係統概述。 在本文中,我們為自然語言處理的注意力體係結構定義了一個統一的模型,重點是旨在與文本數據的矢量表示一起工作的體係結構。 我們討論了提案不同的方麵,注意力的可能用途,並繪製了該領域的主要研究活動和公開挑戰。

作者

Andrea Galassi

A.GALASSI@UNIBO.IT

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy ;

Marco Lippi

MARCO.LIPPI@UNIMORE.IT

Department of Sciences and Methods for Engineering (DISMI),

University of Modena and Reggio Emilia, Reggio Emilia, Italy ;

Paolo Torroni

PAOLO.TORRONI@UNIBO.IT

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy

成為VIP會員查看完整內容
Attention, please! A Critical Review of Neural Attention Models in NLP.pdf
9
67
0

題目:Analysis of the hands in egocentric vision: A survey

摘要:

自我中心視覺(又稱第一人稱視覺- FPV)應用在過去幾年裏蓬勃發展,這要歸功於可穿戴相機和大型帶注釋的數據集。可穿戴相機的位置(通常安裝在頭上)允許準確記錄相機佩戴者在他們麵前有什麼,特別是手和操作對象。這種內在的優勢使我們能夠從多個角度來研究手:將手和手的部分定位在圖像中;了解手所參與的動作和活動;開發依賴手勢的人機界麵。在這項調查中,我們回顧了使用自我中心視角關注手的文獻,將現有的方法分為:定位(手在哪裏或手的一部分在哪裏?)解釋(手在做什麼?)以及應用程序(例如,使用以自我為中心的手勢提示來解決特定問題的係統)。此外,還提供了帶有基於手的注釋的最重要數據集的列表。

成為VIP會員查看完整內容
0
4
0

題目:Attention Models in Graphs: A Survey

摘要:圖結構數據自然地出現在許多不同的應用領域。通過將數據表示為圖形,我們可以捕獲實體(即節點)以及它們之間的關係(即邊)。許多有用的見解可以從圖形結構的數據中得到,這一點已被越來越多的關注於圖形挖掘的工作所證明。然而,在現實世界中,圖可以是大的-有許多複雜的模式-和噪聲,這可能會給有效的圖挖掘帶來問題。解決這一問題的一個有效方法是將“注意力”融入到圖挖掘解決方案中。注意機製允許一個方法關注圖中與任務相關的部分,幫助它做出更好的決策。在這項工作中,我們對圖形注意模型這一新興領域的文獻進行了全麵而集中的調查。我們介紹了三個直觀的分類組現有的工作。它們基於問題設置(輸入和輸出類型)、使用的注意機製類型和任務(例如,圖形分類、鏈接預測等)。我們通過詳細的例子來激勵我們的分類法,並使用每種方法從一個獨特的角度來調查競爭方法。最後,我們強調了該領域的幾個挑戰,並討論了未來工作的前景。

作者簡介:Ryan A. Rossi,目前在Adobe Research工作,研究領域是機器學習;涉及社會和物理現象中的大型複雜關係(網絡/圖形)數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。

Nesreen K. Ahmed,英特爾實驗室的高級研究員。她在普渡大學計算機科學係獲得博士學位,在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘,涵蓋了大規模圖挖掘、統計機器學習的理論和算法,以及它們在社會和信息網絡中的應用。

成為VIP會員查看完整內容
4
114
0

論文題目:Imbalance Problems in Object Detection: A Review

論文摘要:在本文中,我們對物體檢測中的不平衡問題進行了全麵回顧。 為了係統地分析問題,我們引入了兩種分類法; 一個解決問題,另一個解決方案。 按照問題的分類法,我們深入討論每個問題,並對文獻中的解決方案提出一個統一而又批判性的觀點。 此外,我們確定了有關現有不平衡問題以及以前未討論過的不平衡問題的主要開放問題。 此外,為了使我們的評論保持最新,我們提供了一個隨附的網頁。

成為VIP會員查看完整內容
4
37
0

《Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation》K Murray, J Kinnison, T Q. Nguyen, W Scheirer, D Chiang [University of Notre Dame] (2019)

成為VIP會員查看完整內容
1
26
0

With the rise and development of deep learning, computer vision has been tremendously transformed and reshaped. As an important research area in computer vision, scene text detection and recognition has been inescapably influenced by this wave of revolution, consequentially entering the era of deep learning. In recent years, the community has witnessed substantial advancements in mindset, approach and performance. This survey is aimed at summarizing and analyzing the major changes and significant progresses of scene text detection and recognition in the deep learning era. Through this article, we devote to: (1) introduce new insights and ideas; (2) highlight recent techniques and benchmarks; (3) look ahead into future trends. Specifically, we will emphasize the dramatic differences brought by deep learning and the grand challenges still remained. We expect that this review paper would serve as a reference book for researchers in this field. Related resources are also collected and compiled in our Github repository:https://github.com/Jyouhou/SceneTextPapers.

成為VIP會員查看完整內容
2
48
0
小貼士
文章信息
相關主題
相關論文
Arxiv
0+閱讀 · 1月8日
Arxiv
20+閱讀 · 2021年11月11日
Arxiv
13+閱讀 · 2021年7月18日
Arxiv
13+閱讀 · 2020年12月23日
Fashion Meets Computer Vision: A Survey
Arxiv
5+閱讀 · 2020年3月31日
Arxiv
83+閱讀 · 2020年2月28日
Area Attention
Arxiv
5+閱讀 · 2019年2月5日
相關資訊
綜述|計算機視覺中的注意力機製
極市平台
4+閱讀 · 2020年8月30日
Attention最新進展
極市平台
3+閱讀 · 2020年5月30日
無人機視覺挑戰賽 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
5+閱讀 · 2019年5月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字閨中
10+閱讀 · 2018年12月24日
LibRec 精選:推薦的可解釋性[綜述]
LibRec智能推薦
9+閱讀 · 2018年5月4日
計算機視覺近一年進展綜述
機器學習研究會
6+閱讀 · 2017年11月25日
【論文】圖上的表示學習綜述
機器學習研究會
9+閱讀 · 2017年9月24日
【推薦】視頻目標分割基礎
機器學習研究會
8+閱讀 · 2017年9月19日
【推薦】深度學習目標檢測全麵綜述
機器學習研究會
17+閱讀 · 2017年9月13日
【推薦】全卷積語義分割綜述
機器學習研究會
17+閱讀 · 2017年8月31日
Top
微信掃碼谘詢專知VIP會員
Top