VIP內容

題目:L2R2: Leveraging Ranking for Abductive Reasoning

摘要:

外展自然語言推理任務(αNLI)提出了評價誘導的學習係統的推理能力。對於αNLI任務,兩個觀測給出最合理的假設被要求選出的候選。現有的方法簡單地將其表示為一個分類問題,因此在訓練過程中使用了交叉熵對數損失目標。然而,區分真假並不能衡量一個假設的可信性,因為所有的假設都有發生的機會,隻有概率是不同的。為了填補這個空白,我們切換到一個排序的角度,按照假設的可信性排序。在此基礎上,提出了一種新的基於學習排序的L2R2方法。首先,將訓練樣本重新組織成一個排序形式,將兩個觀察值及其假設分別作為查詢和一組候選文檔。然後,得到一個ESIM模型或預先訓練好的語言模型,如BERT或RoBERTa,作為打分函數。最後,對於訓練,排序任務的損失函數可以是成對的,也可以是列表式的。在ART數據集上的實驗結果達到了公共排行榜上的最高水平。

成為VIP會員查看完整內容
0
3
0
父主題
Top