阿裏巴巴集團於1999年創立,阿裏巴巴集團子公司及關聯公司有:阿裏巴巴網絡有限公司、淘寶網、淘寶商城(天貓)、一淘、支付寶、阿裏雲計算、中國雅虎等。

VIP內容

Transformers在自然語言處理和計算機視覺的許多任務中都取得了卓越的性能,這也引起了時間序列社區的極大興趣。在Transformer的眾多優點中,捕獲長期依賴關係和交互的能力對時間序列建模特別有吸引力,這使得各種時間序列應用取得了令人興奮的進展。在本文中,我們係統地回顧了用於時間序列建模的Transformer方案,通過一個新的分類,從兩個角度總結了現有的時間序列Transformer,突出了它們的優勢和局限性。從網絡改造的角度,總結了時間序列Transformers的模塊級適應性和體係結構級適應性。從應用的角度出發,我們根據預測、異常檢測和分類等常用任務對時間序列Transformer進行分類。根據經驗,我們執行穩健分析、模型規模分析和季節性趨勢分解分析,以研究《Transformers》在時間序列中的表現。最後,我們討論並提出未來的研究方向,以提供有用的研究指導。

由於Transformer在自然語言處理(NLP) [Kenton and Toutanova, 2019]、計算機視覺(CV) [Dosovitskiy et al., 2021]、語音處理[Dong et al., 2018]和其他學科[Chen et al., 2021b]方麵的出色表現,其在深度學習方麵的創新[Vaswani et al., 2017]最近引起了極大的興趣。在過去的幾年中,許多Transformer的變種被提出,以大大提高各種任務的最先進的性能。不同方麵的文獻綜述較多,如NLP應用方麵的文獻[Qiu et al., 2020;Han et al., 2021], CV applications [Han et al., 2020;Khan等人,2021年;Selva等人,2022年)、高效Transformer [Tay et al., 2020]和注意力模型[Chaudhari et al., 2021; Galassi et al., 2020]。

在時序數據的長距離依賴和交互中,transformer表現出了很強的建模能力,因此在時間序列建模中很有吸引力。由於時間序列數據和時間序列任務的特殊特性,許多Transformer的變體被提出以適應各種時間序列任務中的時間序列數據,如預測[Li et al., 2019; Zhou et al., 2021; Zhou et al., 2022],異常檢測[Xu et al., 2022; Tuli et al., 2022],分類[Zerveas et al., 2021; Yang et al., 2021],等等。例如,季節性或周期性是時間序列的一個重要特征[Wen等人,2021a],如何有效地建模長期和短期的時間相關性,並同時捕獲季節性仍然是一個挑戰[Wu et al., 2021; Zhou et al., 2022]。由於Transformer for time series是深度學習領域的一個新興領域,對Transformer for time series進行係統、全麵的研究將對時間序列學界大有裨益。我們注意到,存在一些關於時間序列深度學習的綜述,包括預測[Lim和Zohren, 2021;Benidis等人,2020年;Torres et al., 2021],分類[Ismail Fawaz et al., 2019], anomaly detection [Choi et al., 2021; Blazquez-Garc ´ ´ıa et al., 2021]和數據增強[Wen et al., 2021b],但很少或沒有對時間序列的Transformers 進行深入分析。

在本文中,我們旨在通過總結現有的時間序列Transformers來填補上述空白。具體來說,我們首先簡要介紹了普通的Transformer,然後從網絡修改和應用領域的角度提出了一種新的時間序列Transformer分類。對於網絡修改,我們考慮了針對時間序列數據優化的transformer的低層模塊調整和高層架構改進。在應用方麵,我們總結和分析了用於流行時間序列任務的transformer,包括預測、異常檢測和分類。對於每個時間係列的《Transformers》,我們都分析了它的見解、優勢以及局限性。為了提供如何在時間序列中使用transformer的實用指南,我們進一步對時間序列transformer進行了一些實證研究,包括穩健性分析、模型規模分析和季節趨勢分解分析。最後,我們提出並討論未來可能的發展方向,包括時間序列Transformers的歸納偏差,時間序列Transformers和GNN,時間序列Transformers的預訓練,以及時間序列Transformers和NAS。據我們所知,本文是第一次全麵係統地總結了Transformers在時間序列數據建模方麵的最新進展。我們希望這個綜述將點燃對時間係列Transformers的進一步研究興趣。

https://arxiv.org/abs/2202.07125

成為VIP會員查看完整內容
8
44
0

最新論文

Quality Estimation, as a crucial step of quality control for machine translation, has been explored for years. The goal is to investigate automatic methods for estimating the quality of machine translation results without reference translations. In this year's WMT QE shared task, we utilize the large-scale XLM-Roberta pre-trained model and additionally propose several useful features to evaluate the uncertainty of the translations to build our QE system, named \textit{QEMind}. The system has been applied to the sentence-level scoring task of Direct Assessment and the binary score prediction task of Critical Error Detection. In this paper, we present our submissions to the WMT 2021 QE shared task and an extensive set of experimental results have shown us that our multilingual systems outperform the best system in the Direct Assessment QE task of WMT 2020.

0
0
0
下載
預覽
微信掃碼谘詢專知VIP會員
Top