細粒度情感分析：還在用各種花式 GNN？或許只用 RoBERTa 就夠了

來自 | 知乎

作者 | 邱錫鵬

地址 | https://zhuanlan.zhihu.com/p/366133681

編輯 | 機器學習算法與自然語言處理公衆號

本文僅作學術分享，若侵權，請聯繫後臺刪文處理

論文地址: Paper

代碼 repo: RoBERTaABSA

作者：代俊奇 復旦大學 NLP 實驗室研究生

引入句法信息和圖神經網絡是近期細粒度情感分析（Aspect-based Sentiment Analysis，ABSA）任務研究的一大熱門。然而，不同的依存樹 (圖) 結構在 ABSA 模型中有怎樣的效果並不確切。這篇論文針對這個問題設計了大量的實驗。實驗結果表明：

  1. 不同的樹結構對 ALSC 任務的性能影響有限。論文在四種語言的六個數據集上進行了實驗。其中，表現最好的樹結構（從預訓練模型中誘導出的樹結構）相比句法依存樹在英文數據集上有約 1% 的提升。

  2. 從任務微調後的預訓練模型中誘導的依存樹可能比語言學家定義的句法依存樹更適應任務本身。在分析環節中，作者提出了兩個有趣的評估指標，指標的結果都指明依存樹在微調過程中發生了趨同性的改變。

  3. 直接基於預訓練模型進行微調，就可以利用到模型中隱式蘊含的依存樹。作者據此提出了簡單有效的基於 RoBERTa 的 baseline 模型。

  4. 在 paperwithcode 的 ABSA 排行榜上 , RoBERTa+MLP 的性能結果在不包含額外訓練數據的模型中取得第一的成績。

在不包含額外訓練數據的情況下，模型已經取得了最佳的結果。

整體介紹

Aspect-based Sentiment Analysis (ABSA) 旨在針對句子中的包含的 aspect term 進行情感分析。其中，aspect term 是句子的文本子序列。大體上，ABSA 包含 Aspect Extraction (AE) 以及 Aspect-Level Sentiment Classification (ALSC) 兩個子任務。兩個子任務並非完全割裂。有許多研究工作嘗試同時解決整體兩個子任務，也有豐富的研究工作只聚焦在其中某一個子任務上。這篇論文聚焦在 ALSC 任務上。

論文動機

近期 ALSC 的一個熱點研究方向是將句法依存樹的樹 (圖) 結構類型的信息引入到 ALSC 模型中。由此湧現了許多基於 (句法依存) 樹的 ALSC 模型。大多數是通過 GNN 來糅合句法依存樹。研究者希望句法依存樹的引入能夠”指導”模型更好地結合 aspect 與其對應的 opinion 信息，從而提升情感分類的性能。另一方面，Pre-trained Models (PTMs， 也作 Pre-trained Language Models) 在 ALSC 任務上也大放異彩。許多 PTMs 的分析工作表明，PTMs 可以被探測 (probe) 出具有樹 (圖) 結構的信息。

因此，基於上述觀察，作者在原文中提出兩個問題：

問題一：當結合不同的基於 (句法依存) 樹的 ALSC 模型時， PTMs 中誘導 (induce)得到的樹，與依存句法分析器得到的句法依存樹相比，是否有性能的差異？

問題二：當 PTMs 在 ALSC 任務上微調 (fine-tuning) 時，內部蘊含的樹 (圖) 結構是否會向 ALSC 任務適應調整？

從這兩個問題出發，作者設計了一系列實驗。

實驗與分析

實驗

論文選取了三個典型的基於 (句法依存) 樹的 ALSC 模型，ASGCN， PWCN 以及 RGAT，分別對應了三種利用 (句法依存) 樹的方法: 基於樹的結構，基於樹的距離以及同時基於樹的結構與距離。例如，ASGCN 模型只利用句法依存樹給定的節點之間的依存關係，也即某節點與哪些節點連接。而 PWCN 利用樹的距離，也即其他節點到某節點的樹上的距離。對於如何從 PTMs 中誘導樹，論文選擇了 Perturbed Masking 方法。

具體實驗細節上，作者從預訓練的 BERT 和 RoBERTa 中誘導出樹，統稱爲”PTMs Induced Tree”，分別稱爲”BERT Induced Tree” 和”RoBERTa Induced Tree”；從在 ALSC 任務微調後的 BERT 和 RoBERTa 中誘導出樹，統稱爲”FT-PTMs Induced Tree”，分別稱爲”FT- BERT Induced Tree” 和” FT-RoBERTa Induced Tree”。加上依存句法分析器得到的句法依存樹，稱爲”Dep.”， 以及”Left-chain” 和”Right-chain”，一共實驗了七種樹結構。這七種樹結構依次與 ASGCN，PWCN，RGAT 結合進行實驗。

分析

  1. FT-RoBERTa Induced Tree 能取得最好的結果，與 Dep. 相比有約 1% 的性能提升。

  2. PTMs Induced Tree 與 Left-chain 和 Right-chain 的性能都比較接近。而與 Dep. 相比，結果相當或者更低。這也回答了背景中提出的問題一。

  3. 模型結合模型微調後誘導得到的樹，與結合預訓練模型直接得到的樹相比，會得到性能的提升。

爲了解釋性能上的差異，論文提出了兩個評估指標。

b 圖中，”We had tons of great food” 之間的句法依存連接就是作者定義的 Neighboring Connection。

作者統計了不同樹結構的該指標。結果如圖：

數值越小表示 Neighboring Connection 佔比越小。

該指標在一個層面指明瞭 FT-PTMs Induced Tree 的樹結構往往更加多樣。而 PTMs Induced Tree 則有相當佔比的 Neighboring Connection。這也提供了 FT-PTMs Induced Tree 對 PTMs Induced Tree 的提升的可能來源，同時也是 FT-RoBERTa 甚至能獲得比 Dep. 更好性能的原因。

Aspects-sentiment Distance

更進一步的，作者在文中提出了 Aspects-sentiment Distance。簡單描述就是不同類型的樹結構中 aspect 與 opinion/sentiment words 之間的距離。結果如圖：

數值越小表示 aspect 與 opinion 在樹上的距離更短。

其中，FT-PTMs Induced Tree 相對比 PTMs Induced Tree 的顯著提升令人印象深刻。結合兩項指標，作者對問題二作出瞭解答。微調過程中，依存樹中長距離連接的佔比增加，Neighboring Connection 的短連接佔比則減少；增加的長距離連接，如 Aspects-sentiment Distance 指標指出，幫助模型更好地找到 aspect 所對應的 opinion/sentiment word，從而大幅縮短了 aspect 與 opinion 之間的距離。言而總之，在 ALSC 上的微調使得 PTMs 更加 sentiment word-oriented，也更適應 ALSC 任務。

一點小” 驚喜”

自然地，作者們想到直接用微調的 RoBERTa，就能把上述實驗提到的更好的依存結構隱式地包含在模型中。於是作者把誘導出 FT-RoBERTa Induced Tree 的模型直接作爲 baseline 進行了測試。在 paperwithcode 的該項任務中，該模型上取得了全體模型中第二，不使用額外訓練數據模型中第一的結果。

總結

論文主要針對 ALSC 模型中的句法依存樹進行了分析實驗，指出從任務適應的預訓練模型中誘導的依存樹可能比語言學家定義的句法依存樹更適應模型本身。論文圍繞研究目標組織了豐富的實驗。簡潔的問題使論文結構清晰，思路順暢。作者在分析中提出的兩個評估指標是有益且有趣的嘗試。實驗中指出使用 FT-Roberta 會取得 1% 的性能提升。然而與複雜的誘導樹的步驟相比仍然需要權衡。這也是作者在文末提到，使用現有的 GNN 方法結合樹結構對於 RoBERTa 來說可能是得不償失的。從這個角度出發，作者不推薦在 ALSC 模型中簡單堆砌使用 GNN 以糅合句法依存樹。同時。基於 RoBERTa 的 MLP 模型與 SOTA 相比，已經極具競爭力，這也是比較有趣的一點發現。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/m9JYshev0JhWGh0HBpmcxQ

猜你喜歡