"> 【哥倫比亞大學博士論文】深度概率圖建模147頁pdf - 專知VIP

概率圖建模(PGM)提供了一個框架,以設計一個可解釋的生成過程的數據和表達不確定性的未知數。這使得PGM對於理解數據背後的現象和決策非常有用。在可解釋推理是關鍵的領域內,PGM取得了巨大的成功,例如市場營銷、醫學、神經科學和社會科學。然而,PGM往往缺乏靈活性,這阻礙了它在建模大規模高維複雜數據和執行需要靈活性的任務(例如在視覺和語言應用程序中)時的使用。

深度學習(DL)是另一個從數據中建模和學習的框架,近年來取得了巨大的成功。DL功能強大,具有很大的靈活性,但缺乏PGM的可解釋性和校準性。

本文研究了深度概率圖建模(DPGM)。DPGM通過利用DL使PGM更加靈活。DPGM帶來了從數據中學習的新方法,這些方法展示了PGM和DL的優點。

我們在PGM中使用DL來構建具有可解釋潛在結構的靈活模型。我們提出一係列模型擴展指數族主成分分析(EF-PCA),使用神經網絡提高預測性能,同時加強潛在因素的可解釋性。我們引入的另一個模型類支持在建模順序數據時考慮長期依賴關係,這在使用純DL或PGM方法時是一個挑戰。該序列數據模型類已成功應用於語言建模、情感分析的無監督文檔表示學習、會話建模和醫院再入院預測的患者表示學習。最後,DPGM成功地解決了概率主題模型的幾個突出問題。

在PGM中利用DL也帶來了學習複雜數據的新算法。例如,我們開發了熵正則化對抗學習,這是一種與PGM中使用的傳統最大似然方法不同的學習範式。從DL的角度來看,熵正則化對抗學習為生成式對抗網絡長期存在的模式崩潰問題提供了一種解決方案。

成為VIP會員查看完整內容
0
37
0

相關內容

機器學習的一個分支,它基於試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一係列算法。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

隨著表示學習在提供強大的預測和數據洞察方麵取得的顯著成功,我們見證了表示學習技術在建模、分析和網絡學習方麵的快速擴展。生物醫學網絡是相互作用係統的通用描述,從蛋白質相互作用到疾病網絡,一直到醫療保健係統和科學知識。

在本綜述論文中,我們提出了一項觀察,即長期存在的網絡生物學和醫學原理(在機器學習研究中經常未被提及)可以為表示學習提供概念基礎,解釋其目前的成功和局限,並為未來的發展提供信息。我們整合了一係列算法方法,其核心是利用拓撲特征將網絡嵌入緊湊的向量空間。我們還提供了可能從算法創新中獲益最多的生物醫學領域的分類。

表示學習技術在識別複雜特征背後的因果變異、解開單細胞行為及其對健康的影響、用安全有效的藥物診斷和治療疾病等方麵正變得至關重要。

https://arxiv.org/abs/2104.04883

引言

網絡,或稱圖表,在生物學和醫學中非常普遍,從分子相互作用圖到一個人疾病之間的依賴關係,一直到包括社會和健康相互作用的人群。根據網絡中編碼的信息類型,兩個實體之間“交互”的含義可能不同。例如,蛋白質-蛋白質相互作用(PPI)網絡中的邊緣可以表明實驗中測量到的物理相互作用,如酵母雙雜交篩選和質譜分析(例如,[148,197]);調節網絡中的邊緣可以指示通過動態單細胞表達測量的基因之間的因果相互作用(例如,[174]);電子健康記錄(EHR)網絡中的邊緣可以表明在醫療本體中發現的層次關係(例如,[182,190])。從分子到醫療保健係統,網絡已經成為代表、學習和推理生物醫學係統的主要範式。

生物醫學網絡上表示學習的案例。捕捉生物醫學係統中的交互作用會帶來令人困惑的複雜程度,隻有通過整體和集成係統的觀點才能完全理解[17,28,164]。為此,網絡生物學和醫學在過去二十年中已經確定了一係列管理生物醫學網絡的組織原則(例如,[16,86,106,262])。這些原則將網絡結構與分子表型、生物學作用、疾病和健康聯係起來。我們認為,長期存在的原則——雖然在機器學習研究中經常未被提及——提供了概念基礎,可以解釋表示學習在生物醫學網絡建模中的成功(和局限性),並為該領域的未來發展提供信息。特別是,當對網絡中邊緣的解釋取決於上下文時,相互作用的實體往往比非相互作用的實體更相似。例如,疾病本體的結構是這樣的:通過邊緣連接的疾病術語往往比不連接的疾病術語更相似。在PPI網絡中,相互作用的蛋白質突變常常導致類似的疾病。相反,與同一疾病有關的蛋白質之間相互作用的傾向增加。在細胞網絡中,與特定表型相關的成分往往聚集在同一網絡鄰居。

表示學習實現網絡生物學和醫學的關鍵原理。我們假設表示學習可以實現網絡生物學和醫學的關鍵原則。這個假設的一個推論是表示學習可以很好地適用於生物醫學網絡的分析、學習和推理。表示學習的核心是向量空間嵌入的概念。其思想是學習如何將網絡中的節點(或更大的圖結構)表示為低維空間中的點,該空間的幾何結構經過優化,以反映節點之間的交互結構。表示學習通過指定(深度的、非線性的)轉換函數,將節點映射到緊湊的向量空間(稱為嵌入)中的點,從而形式化了這一思想。這些函數被優化以嵌入輸入圖,以便在學習空間中執行代數運算反映圖的拓撲結構。節點被映射到嵌入點,這樣具有相似網絡鄰域的節點被緊密地嵌入到嵌入空間中。值得注意的是,嵌入空間對於理解生物醫學網絡(例如,PPI網絡)的意義在於空間中點的鄰近性(例如,蛋白質嵌入之間的距離)自然地反映了這些點所代表的實體的相似性(例如,蛋白質表型的相似性),提示嵌入可被認為是網絡生物醫學關鍵原理的可微表現。

算法範式(圖1)。網絡科學和圖論技術促進了生物醫學的發現,從揭示疾病之間的關係[91,135,159,200]到藥物再利用[41,42,96]。進一步的算法創新,如隨機遊走[40,229,242]、核函數[83]和網絡傳播[214],也在從網絡中捕獲結構和鄰域信息以生成下遊預測的嵌入信息方麵發揮了關鍵作用。特征工程是生物醫學網絡上機器學習的另一個常用範例,包括但不限於硬編碼網絡特征(例如,高階結構、網絡主題、度計數和共同鄰居統計),並將工程特征向量輸入預測模型。這種策略雖然強大,但並不能充分利用網絡信息,也不能推廣到新的網絡類型和數據集[255]。

近年來,圖表示學習方法已成為生物醫學網絡深度學習的主要範式。然而,對圖的深度學習具有挑戰性,因為圖包含複雜的拓撲結構,沒有固定的節點排序和參考點,它們由許多不同類型的實體(節點)和各種類型的相互關係(邊)組成。傳統的深度學習方法無法考慮生物醫學網絡的本質——多樣性的結構特性和豐富的交互作用。這是因為經典的深度模型主要是為固定大小的網格(例如,圖像和表格數據集)設計的,或者是為文本和序列優化的。因此,它們在計算機視覺、自然語言處理、語音和機器人技術方麵取得了非凡的成就。就像對圖像和序列的深度學習徹底改變了圖像分析和自然語言處理領域一樣,圖表示學習也將改變生物學和醫學中複雜係統的研究。

我們的重點是表示學習,特別是流形學習[27]、圖變壓器網絡[250]、微分幾何深度學習[25]、拓撲數據分析(TDA)[34,224]和圖神經網絡(GNN)[125]。圖2描述了這次評審的結構和組織。我們首先提供流行的圖學習範式的技術說明,並描述其在加速生物醫學研究的關鍵影響。在圖表示學習的每個當前應用領域(圖4),我們展示了圖表示學習的潛在方向,可以通過四個獨特的前瞻性研究,每個研究至少解決以下圖機器學習的關鍵預測任務之一:節點、邊緣、子圖和圖級預測、連續嵌入和生成。

成為VIP會員查看完整內容
0
34
0

向量嵌入模型是現代機器學習知識表示和推理方法的基石。這些方法旨在通過在低維向量空間中學習概念和其他領域對象的表示,將語義問題轉化為幾何問題。本著這種精神,這項工作提倡基於密度和區域的表示學習。將領域元素作為幾何對象嵌入到單點之外,使我們能夠自然地表示廣度和一詞多義,進行不對稱比較,回答複雜的查詢,並在標記數據稀缺時提供強烈的歸納偏見。我們提出了一個使用高斯密度的詞表示模型,實現了概念之間的不對稱隱含判斷,以及一個基於軸對齊超矩形表示(盒)格的加權傳遞關係和多元離散數據的概率模型。我們將探討這些嵌入方法在不同的稀疏性、邊緣權值、相關性和獨立結構的適用性,以及表示的擴展和不同的優化策略。我們從理論上研究了盒格的表示能力,並提出了擴展模型來解決在建模困難的分布和圖方麵的不足。

成為VIP會員查看完整內容
0
27
0

醫學社區的長期目標是高效和智能地呈現和分析醫學圖像。一方麵,這意味著要找到有效的方法來獲取高質量的醫療圖像,以便醫療保健提供者能夠隨時使用。另一方麵,它意味著發現智能的方式來解釋醫學圖像,以促進醫療保健的交付。為此,研究人員和醫學專業人員通常尋求使用計算機係統,這些係統通過機器學習技術來處理醫學圖像。應用機器學習的一個關鍵步驟是獲得能很好地描述醫學圖像的信息表示。通常,這是通過手動特征工程來完成的,然而這需要相當多的醫學領域的專業知識。一種可能的解決方法是允許模型從原始數據中自動發現關於目標域的潛在表示。為此,本文將重點放在深度學習上,深度學習隻是更廣泛的機器學習家族的一個子集,但最近已經取得了前所未有的進展,在發現高維數據的複雜結構方麵顯示出令人難以置信的能力。對於許多計算機視覺任務,深度學習方法已經取得了最先進的性能,以顯著的優勢。本文開發了用於醫學圖像分析、重建和合成的深度學習模型和技術。在醫學圖像分析中,我們注重對醫學圖像內容的理解和對執業醫師的指導。特別是,我們研究了深度學習的方法來解決分類,檢測,分割和配準醫學圖像。在醫學圖像重建和合成中,我們提出利用深度學習的方法內在地學習醫學數據空間,有效地合成真實的醫學圖像。對於重建,我們的目標是生成高質量的醫學圖像和較少的偽影。對於合成,我們的目標是生成真實的醫學圖像,以幫助學習醫學圖像分析或重建模型。這篇論文的貢獻有三方麵。首先,我們提出了利用深度學習解決醫學問題的各種方法。其次,我們展示了醫學知識融合在深度學習架構設計中的重要性和有效性。第三,我們展示了深度生成模型在解決醫學圖像重建和合成問題的潛力。

https://urresearch.rochester.edu/institutionalPublicationPublicView.action;jsessionid=21A6F9E774F11BA763CA4DD982F79D65?institutionalItemId=35226

成為VIP會員查看完整內容
0
33
0

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 (Explaining Deep Neural Networks)》,係統性介紹了深度神經網絡可解釋性方麵的工作,值得關注。

作者介紹:

Oana-Maria Camburu,來自羅馬尼亞,目前是牛津大學的博士生,主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功,因此越來越受歡迎。然而,這些模型的決策過程通常是無法向用戶解釋的。在各種領域,如醫療保健、金融或法律,了解人工智能係統所做決策背後的原因至關重要。因此,最近研究了幾個解釋神經模型的方向。

在這篇論文中,我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基於特征的事後解釋方法組成,也就是說,這些方法旨在解釋一個已經訓練過的固定模型(事後解釋),並提供輸入特征方麵的解釋,例如文本標記和圖像的超級像素(基於特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成,也就是說,模型有一個內置模塊,為模型的預測生成解釋。在這些方麵的貢獻如下:

  • 首先,我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明,盡管有明顯的隱含假設,即解釋方法應該尋找一種特定的基於真實值特征的解釋,但對於預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法,它們針對的是不同類型的事實基礎解釋,但沒有明確地提及它。此外,我還指出,有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

  • 其次,我還介紹了一個框架,用於自動驗證基於特征的事後解釋方法對模型的決策過程的準確性。這個框架依賴於一種特定類型的模型的使用,這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性,並介紹了減輕這些局限性的方法。引入的驗證框架是通用的,可以在不同的任務和域上實例化,以提供現成的完整性測試,這些測試可用於測試基於特性的後特殊解釋方法。我在一個情緒分析任務上實例化了這個框架,並提供了完備性測試s1,在此基礎上我展示了三種流行的解釋方法的性能。

  • 第三,為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向,我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集,數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一係列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力,以及在訓練時提供自然語言解釋的好處。

  • 第四,我指出,目前那些為自己的預測生成自然語言解釋的自解釋模型,可能會產生不一致的解釋,比如“圖像中有一隻狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要麼表明解釋沒有忠實地描述模型的決策過程,要麼表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架,用於在生成不一致的自然語言解釋時檢查模型的完整性。此外,作為框架的一部分,我解決了使用精確目標序列的對抗性攻擊的問題,這是一個以前在序列到序列攻擊中沒有解決的場景,它對於自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上,並表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址:https://arxiv.org/abs/2010.01496

成為VIP會員查看完整內容
0
134
5

數據科學是設計從大量數據中提取知識的算法和管道。時間序列分析是數據科學的一個領域,它感興趣的是分析按時間順序排列的數值序列。時間序列特別有趣,因為它讓我們能夠可視化和理解一個過程在一段時間內的演變。他們的分析可以揭示數據之間的趨勢、關係和相似性。存在大量以時間序列形式包含數據的領域:醫療保健(心電圖、血糖等)、活動識別、遙感、金融(股票市場價格)、工業(傳感器)等。

在數據挖掘中,分類是一項受監督的任務,它涉及從組織到類中的帶標簽的數據中學習模型,以便預測新實例的正確標簽。時間序列分類包括構造用於自動標注時間序列數據的算法。例如,使用健康患者或心髒病患者的一組標記的心電圖,目標是訓練一個模型,能夠預測新的心電圖是否包含病理。時間序列數據的時序方麵需要算法的發展,這些算法能夠利用這種時間特性,從而使傳統表格數據現有的現成機器學習模型在解決底層任務時處於次優狀態。

在這種背景下,近年來,深度學習已經成為解決監督分類任務的最有效方法之一,特別是在計算機視覺領域。本論文的主要目的是研究和發展專門為分類時間序列數據而構建的深度神經網絡。因此,我們進行了第一次大規模的實驗研究,這使我們能夠比較現有的深度學習方法,並將它們與其他基於非深度學習的先進方法進行比較。隨後,我們在這一領域做出了大量的貢獻,特別是在遷移學習、數據增強、集成和對抗性攻擊的背景下。最後,我們還提出了一種新的架構,基於著名的Inception 網絡(穀歌),它是目前最有效的架構之一。

我們在包含超過100個數據集的基準測試上進行的實驗使我們能夠驗證我們的貢獻的性能。最後,我們還展示了深度學習方法在外科數據科學領域的相關性,我們提出了一種可解釋的方法,以便從運動學多變量時間序列數據評估外科技能。

深度學習序列分類概述

在過去的二十年中,TSC被認為是數據挖掘中最具挑戰性的問題之一(Yang and Wu, 2006; Esling and Agon, 2012)。隨著時間數據可用性的增加(Silva et al.,2018),自2015年以來已有數百種TSC算法被提出(Bagnall et al.,2017)。由於時間序列數據具有自然的時間順序,幾乎在每一個需要某種人類認知過程的任務中都存在時間序列數據(Langkvist, Karlsson, and Loutfi, 2014)。事實上,任何使用考慮到排序概念的已注冊數據的分類問題都可以被視為TSC問題(Cristian Borges Gamboa, 2017)。時間序列在許多實際應用中都遇到過,包括醫療保健(Gogolou等,2018)和人類活動識別(Wang et al.,2018;到聲學場景分類(Nwe, Dat, and Ma, 2017)和網絡安全(Susto, Cenedese, and Terzi, 2018)。此外,UCR/UEA檔案中數據集類型的多樣性(Dau等,2019;Bagnall et al,2017)(最大的時間序列數據集儲存庫)展示了TSC問題的不同應用。

成為VIP會員查看完整內容
0
73
2

近年來,深度學習徹底改變了機器學習和計算機視覺。許多經典的計算機視覺任務(例如目標檢測和語義分割),傳統上非常具有挑戰性,現在可以使用監督深度學習技術來解決。雖然監督學習是一個強大的工具,當標簽數據是可用的,並考慮的任務有明確的輸出,這些條件並不總是滿足。在這種情況下,生成建模給出了一個很有前途的方法。與純粹的判別型模型相比,生成型模型可以處理不確定性,甚至在沒有標簽訓練數據的情況下也可以學習強大的模型。然而, 雖然目前的方法生成建模取得可喜的成果, 他們遭受兩個方麵,限製他們的表現力: (i) 為圖像數據建模的一些最成功的方法不再使用優化算法來訓練,而是使用其動力學尚未被很好理解的算法,(ii) 生成模型往往受到輸出表示的內存需求的限製。我們在本文中解決了這兩個問題:在第一部分中,我們介紹了一個理論,它使我們能夠更好地理解生成式對抗網絡(GANs)的訓練動力學,這是生成式建模最有前途的方法之一。我們通過引入可解析理解的GAN訓練的最小示例問題來解決這個問題。隨後,我們逐漸增加了這些示例的複雜性。通過這樣做,我們對GANs的訓練動力學有了新的認識,並推出了新的正則化器,也適用於一般的GANs。新的正則化器使我們能夠——第一次——以百萬像素的分辨率訓練GAN,而不必逐漸增加訓練分布的分辨率。在本論文的第二部分,我們考慮生成模型的三維輸出表示和三維重建技術。通過將隱式表示法引入深度學習,我們能夠在不犧牲表現力的情況下將許多2D領域的技術擴展到3D領域。

https://publikationen.uni-tuebingen.de/xmlui/handle/10900/106074

成為VIP會員查看完整內容
0
29
1

使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨後支持各種下遊任務,從機器人技術到計算機圖形再到醫學成像。然而,現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中,我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀,隻給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布,我們可以執行聯合重建的三維形狀和外觀隻給出一個單一的二維觀察。我們表明,在這個過程中學習到的特征使整個類對象的三維語義分割成為可能,隻訓練了30個帶標記的例子,證明了三維形狀、外觀和語義分割之間的緊密聯係。最後,我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用,並討論了未來工作的前景。

成為VIP會員查看完整內容
0
54
1

隨著web技術的發展,多模態或多視圖數據已經成為大數據的主要流,每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中於如何融合來自多模態空間的能量或信息,以提供比單一模態的同行更優越的性能。最近,深度神經網絡展示了一種強大的架構,可以很好地捕捉高維多媒體數據的非線性分布,對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢,從本質上深化了多模態深特征空間的融合。在這篇文章中,我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中,我們進一步指出,該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最後,我們就這一領域未來的一些方向分享我們的觀點。

成為VIP會員查看完整內容
0
159
1

在過去的20年裏,基因組學、神經科學、經濟學和互聯網服務等許多領域產生了越來越多的大數據集,這些數據集有高維、大樣本,或者兩者兼之。這為我們從數據中檢索和推斷有價值的信息提供了前所未有的機會。同時,也對統計方法和計算算法提出了新的挑戰。一方麵,我們希望建立一個合理的模型來捕獲所需的結構,並提高統計估計和推斷的質量。另一方麵,麵對越來越大的數據集,計算可能成為一個巨大的障礙,以得出有意義的結論。這篇論文站在兩個主題的交叉點,提出了統計方法來捕獲所需的數據結構,並尋求可擴展的方法來優化計算非常大的數據集。我們提出了一種可擴展的靈活框架,用於利用lasso/elastic-net解決大規模稀疏回歸問題; 提出了一種可伸縮的框架,用於在存在多個相關響應和其他細微差別(如缺失值)的情況下解決稀疏縮減秩回歸問題。分別在snpnet和multiSnpnet R包中以PLINK 2.0格式為基因組數據開發了優化的實現。這兩種方法在超大和超高維的英國生物樣本庫研究中得到了驗證,與傳統的預測建模方法相比有了顯著的改進。此外,我們考慮了一類不同的高維問題,異質因果效應的估計。與監督學習的設置不同,這類問題的主要挑戰在於,在曆史數據中,我們從未觀察到硬幣的另一麵,因此我們無法獲得處理之間真正差異的基本真相。我們提出適應非參數統計學習方法,特別是梯度增強和多元自適應回歸樣條,以估計處理效果的預測器可用。實現被打包在一個R包causalLearning中。

成為VIP會員查看完整內容
0
57
2

本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文,主要研究兩個NLP任務:關係提取和主題建模。本文將神經網絡和主題模型兩種互補的學習範式結合在一個神經複合模型中,使我們能夠通過主題模型在文檔集合中共同學習主題結構,並通過語言模型在句子中共同學習單詞關係。

慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一,也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員,其社會科學、人文科學、物理,化學,生命科學,醫學,數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。

自然語言處理(Natural language processing,NLP)涉及構建計算技術,允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長,基於NLP的係統的出現使我們能夠通過廣泛的應用程序,如網絡搜索引擎、語音助理等,輕鬆地訪問相關信息。為了實現這一目標,幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。

近年來,深度學習技術利用了人工神經網絡(ANNs)的表現力,在廣泛的NLP任務中取得了最先進的性能。深度神經網絡(DNNs)可以從輸入數據中自動提取複雜的特征,從而為手工特征工程提供了一種替代方法。除了ANN之外,概率圖形模型(PGMs)、圖論和概率方法的耦合還具有描述係統隨機變量之間因果結構的能力,並捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點,它們被有利地結合起來建立強大的神經模型,以了解數據的潛在複雜性。

傳統的基於機器學習的NLP係統采用了淺層計算方法(如SVM或Logistic回歸),並依賴於手工特征,這類方法耗時、複雜且往往是不夠完整的。基於深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關係提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。

本文主要研究兩個NLP任務:關係提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關係。成功地提取語義關係有助於構建結構化知識庫,在網絡搜索、問答、推薦引擎等下遊NLP應用領域很有用。另一方麵,主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具,它可以自動分析大量的文檔集合,並在不實際閱讀的情況下理解主題語義。主題建模分別生成用於文檔理解和信息檢索的Word集群(即主題)和文檔表示。

本質上,關係提取和主題建模主要基於從文本中學習到的表示的質量。在本文中,我們提出了特定於任務的學習表示神經模型,並分別在監督和非監督機器學習範式領域進行關係提取和主題建模任務。更具體地說,我們在開發NLP任務的神經模型方麵做出了以下貢獻:

神經關係提取:首先,我們提出了一種新的基於遞歸神經網絡的table-filling體係結構,以便在句子中聯合執行實體和關係提取。然後,我們進一步擴展了跨句子邊界實體之間關係的提取範圍,並提出了一種新的基於依賴關係的神經網絡體係結構。這兩個貢獻在於機器學習的監督範式。此外,我們還在構建一個受缺乏標記數據約束的魯棒關係提取器方麵做出了貢獻,其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻,我們進一步探索了遞歸神經網絡的可解釋性,以解釋它們對關係提取的預測。

神經主題建模:除了有監督神經體係結構外,我們還開發了無監督神經模型,以學習主題建模框架中有意義的文檔表示。首先,我們提出了一種新的動態主題模型,它捕獲了隨著時間的推移的主題。接下來,我們在不考慮時間依賴性的情況下建立了靜態主題模型,其中我們提出了神經主題建模體係結構,這些體係結構也利用外部知識,即Word嵌入來解決數據稀疏性。此外,我們還開發了神經主題模型,其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最後,我們通過引入語言結構(如語序、局部句法和語義信息等)來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基於PGMs、深度學習和ANN交叉技術。

在這裏,神經關係提取的任務使用神經網絡來學習通常在句子級別上的表示,而不訪問更廣泛的文檔上下文。然而,主題模型可以訪問跨文檔的統計信息。因此,我們將兩種互補的學習範式結合在一個神經複合模型中是有利的,它由一個神經主題和一個神經語言模型組成,使我們能夠通過主題模型在文檔集合中共同學習主題結構,並通過語言模型在句子中共同學習單詞關係。

總的來說,我們在本論文中的研究貢獻擴展了基於NLP的係統,用於關係提取和主題建模任務,同時具有最先進的性能。

成為VIP會員查看完整內容
0
46
1
小貼士
相關論文
Ying-Tian Liu,Yuan-Chen Guo,Yi-Xiao Li,Chen Wang,Song-Hai Zhang
0+閱讀 · 6月16日
Suwon Shon,Pablo Brusco,Jing Pan,Kyu J. Han,Shinji Watanabe
0+閱讀 · 6月11日
Kazuki Irie,Imanol Schlag,Róbert Csordás,Jürgen Schmidhuber
0+閱讀 · 6月11日
Jishnu Ray Chowdhury,Cornelia Caragea
0+閱讀 · 6月10日
Hui Wang,Zongsheng Yue,Qian Zhao,Deyu Meng
0+閱讀 · 6月5日
Kaichao You,Yong Liu,Mingsheng Long,Jianmin Wang
3+閱讀 · 2月22日
Memory-Gated Recurrent Networks
Yaquan Zhang,Qi Wu,Nanbo Peng,Min Dai,Jing Zhang,Hu Wang
8+閱讀 · 2020年12月24日
Kazuki Irie,Albert Zeyer,Ralf Schlüter,Hermann Ney
5+閱讀 · 2019年7月11日
Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation
Pallabi Ghosh,Yi Yao,Larry S. Davis,Ajay Divakaran
3+閱讀 · 2018年12月6日
Hamza Anwar,Quanyan Zhu
3+閱讀 · 2018年2月27日
Top