情感分析技術在美團的探索與應用

2021 年 5 月，美團 NLP 中心開源了迄今規模最大的基於真實場景的中文屬性級情感分析數據集 ASAP，該數據集相關論文被自然語言處理頂會 NAACL2021 錄用，同時該數據集加入中文開源數據計劃千言，將與其他開源數據集一起推動中文信息處理技術的進步。

本文回顧了美團情感分析技術的演進和在典型業務場景中的應用，包括篇章 / 句子級情感分析、屬性級情感分析和觀點三元組分析。在業務應用上，依託情感分析技術能力構建了在線實時預測服務和離線批量預測服務。截至目前，情感分析服務已經爲美團內部十多個業務場景提供了服務。

• ‍背景

• 情感分析介紹

• 篇章 / 句子級情感分析及應用

• 屬性級情感分析及應用

• 觀點三元組分析及應用

• 情感分析服務化

• 總結與展望

背景

移動互聯網的發展和普及已達到空前規模，億萬用戶在互聯網上可以獲得信息、交流信息，發表自己的觀點和分享自己的體驗，表達各種情感和情緒，如批評、讚揚以及喜、怒、哀、樂等。作爲國內領先的生活服務電子商務平臺，美團連接起了百萬商戶和數億用戶，積累了數十億真實用戶評論。用戶評論不僅爲消費者選店決策提供了參考，也是商家獲取消費者反饋的重要渠道。對用戶評論進行情感分析可以幫助美團深入理解商家服務水平和用戶偏好，爲改進平臺服務與獲取優質內容提供了最直觀的反饋，同時也在美團搜索、個性化推薦、商業智能、內容安全等十多個業務場景中有着廣泛的應用。

以大衆點評 App 爲例，用戶既可以發表對商家的星級打分（一星到五星），也可以對商家服務或產品發表詳細評論。我們對大衆點評商戶近半年的評論進行了統計分析，用戶情感傾向在不同星級商家中的分佈如圖 1 所示，商家整體星級打分反映出用戶對該商家的整體情感傾向，但同時我們發現高星商戶的評論中存在大量負向的情感內容，低星商戶的評論中也存在不少正向情感內容。原因在於用戶評論中存在大量星級評分與對應評論情感傾向不一致的情況，如圖 2 中展示的兩條用戶評論，高星級評論中存在負向情感的內容，低星級評論中也存在正向情感的內容。

圖 1 評論情感傾向在不同星級商家中的分佈

圖 2 用戶星級評分與評論情感傾向不一致

圖 3 展示了大衆點評 App 上一家「五星級」咖啡廳，用戶對口味、環境、服務各項評分都很高。我們對其所有用戶評論分析後發現好評主要集中在口味、服務、性價比等屬性，但也有不少用戶抱怨說咖啡廳的位置難找，不好停車，座位比較擁擠，空間小等。整體星級評分並不能全面體現用戶對商家的真實評價。因此，除了對用戶評論內容進行整體情感判斷外，我們還需要對用戶評論進行更細粒度的情感分析，這樣才能精準地挖掘用戶對商家的反饋，進而改善商家服務，提升用戶體驗。

圖 3 商家詳情頁

2021 年 5 月，美團 NLP 中心開源了迄今規模最大的基於真實場景的中文屬性級情感分析數據集 ASAP[1]，該數據集相關論文 [2] 被自然語言處理頂會 NAACL2021 錄用，同時該數據集加入中文開源數據計劃千言[3]，將與其他開源數據集一起推動中文信息處理技術的進步。藉此機會，本文回顧了美團情感分析技術的演進和在典型業務場景中的應用，整體技術框架如下圖 4 所示：

圖 4 美團情感分析整體技術框圖

情感分析介紹

情感分析的目標是分析文本中表達或蘊含的正向（褒義）、負向（貶義）或中立的情感傾向。根據所處理文本的粒度，情感分析可以分爲篇章 / 句子級情感分析和屬性級情感分析 [4]，與屬性級情感分析密切相關的還有觀點三元組分析。

篇章 / 句子級情感分析的目標是判斷整篇文檔或整句子的情感傾向（即正向、負向或中立）。

屬性級情感分析與篇章 / 句子級情感分析不同，需要同時考慮目標信息（屬性）及其對應的情感。例如 “這家餐廳裝修很有格調，飯菜也很好喫，就是位置很不顯眼，找了好久才找到，並且服務員態度也不夠滿意。” 如果從整體看，很難說這句話應該被判斷成褒義還是貶義，因爲在評論中，用戶稱讚了餐廳的裝修和菜品屬性，但是吐槽了餐廳的位置和服務屬性。爲了得到更全面和精確的情感信息，我們需要識別粒度更細的屬性級情感。這種任務學術上被稱爲 ABSA（Aspect Based Sentiment Analysis，基於屬性的情感分析），可以劃分爲 ACSA（Aspect Category Sentiment Analysis，基於屬性類別的情感分析）和 ATSA（Aspect Term Sentiment Analysis，基於屬性項的情感分析）[5]，其中 ACSA 是識別在相應預定義屬性類別（Aspect Category）上的情感傾向，如上述評論在屬性類別 “菜品口味” 上表達正向情感，在屬性類別 “服務態度” 上表達負向情感。ATSA 中是識別針對文本中出現的相應屬性（Aspect Term）的情感傾向，如上述評論中針對屬性 “飯菜” 表達正向情感，針對屬性 “服務員” 表達負向情感。本文所述屬性級情感分析主要指 ACSA 任務。

觀點三元組分析包括屬性抽取（Aspect Extraction）、觀點抽取（Opinion Extraction）以及屬性 - 觀點對（Aspect-Opinion）的情感傾向分析三個任務，在學術上稱爲 Aspect Sentiment Triplet Extraction[6] 或者 Opinion Triplet Extraction[7]。屬性抽取和觀點抽取屬於信息抽取的範疇，屬性 - 觀點對的情感傾向分析屬於分類任務。屬性抽取任務中抽取的屬性（Aspect Term），是上述 ATSA 任務的基礎，觀點抽取任務是抽取人們針對屬性所表達的觀點，例如評論 “宮保雞丁這道菜真是棒極了，太好吃了！” 中的屬性 “宮保雞丁”，觀點“真是棒極了，太好吃了！” 屬性 - 觀點對的情感傾向分析是識別基於該屬性表達觀點的情感傾向，例如 “宮保雞丁——真是棒極了，太好吃了！”情感傾向爲正向。

篇章 / 句子級情感分析及應用

篇章 / 句子級情感分析即給定一段文本，通過模型給出該文本整體的情感強度或情感傾向。根據模型輸出類型劃分，主要分爲迴歸方案和分類方案，其中迴歸方案的輸出爲連續的情感強度 [0～1]（趨向 0 代表負向程度，趨向 1 代表正向程度），分類方案的輸出爲離散的情感傾向（正向、負向、中立）三分類。調研多個業務場景對情感分析的需求，同時考慮模型在應用中的通用性和靈活性，我們最終採用了迴歸模型方案。爲了建立精準的情感分析能力，在數據標註時我們將情感強度劃分爲離散的七檔評分——[非常負向, 負向, 輕微負向, 中性, 輕微正向, 正向, 強烈正向] ，並採用 Min-Max Normalization 將標註 Label 歸一化到 [0～1]。

在這個任務上，業界主流技術方案主要有 TextCNN[8]、Att-BLSTM[9] 以及 BERT[10] 爲代表的預訓練模型。其中 Att-BLSTM 提出利用注意力機制獲取句子中最重要的信息，且在學習長距離語義上優於 TextCNN，因此第一版模型框架採用了圖 5 所示的 Att-BLSTM 方案。2018 年以來，以 BERT（可參閱《美團 BERT 的探索和實踐》一文）爲代表的預訓練模型在多項 NLP 任務中取得巨大進展，BERT 在特徵抽取上具有較強優勢，如淺層的句法特徵以及深層的語義特徵。基於上述考慮，我們用自研 MT-BERT[11] 模型對 Att-BLSTM 架構中的編碼器進行升級，並在多個業務評測上取得了顯著效果提升，部分實驗結果見下圖 6。

圖 5 篇章 / 句子級情感分析模型架構

圖 6 篇章 / 句子級情感分析模型迭代效果指標

篇章 / 句子級情感分析在美團業務中有着廣泛應用，如廣告和推薦業務中的文本安全管控和商家運營情感監測等。如圖 7(a) 所示，美團 App 和大衆點評 App 首頁信息流文案大部分抽取自用戶真實評論，需要從內容供給上嚴格控制文本質量，通過句子級情感分析對供給內容中的負向內容進行過濾，提升終端用戶體驗。此外，在商業智能場景中，句子級情感分析還可以幫助商家優化運營策略，如圖 7(b) 所示，美團商業大腦通過情感分析能力，可以監控用戶對商家評價的情感曲線以及評論情感佔比等指標，從而來改善商家的運營。

圖 7 篇章 / 句子級情感分析在美團業務場景的應用

屬性級情感分析及應用

篇章 / 句子級情感分析只是針對文本整體表達或蘊含的情感傾向分析，無法獲取針對評價觀點對象（屬性）上的情感傾向。爲了得到更細粒度的情感分析結果，我們需要針對美團業務場景構建屬性級情感分析能力，即給定一段文本，通過模型給出該文本在指定屬性上的情感傾向。

數據收集與分析： 針對大量用戶評論進行統計分析，同時參考 SemEval 數據集 [12]，並與業務產品專家溝通美團業務特點後，我們將餐飲業務下的屬性設計爲菜品、環境、價格、服務、位置，共 5 類。數據分析中發現美團業務下的用戶評論趨於多樣化和細粒度化。以該真實用戶評論“... 裝修看起來很高大上的樣子，但是因爲主廳在舉辦婚禮非常混亂，感覺特別吵...” 爲例，用戶對裝修和噪聲兩個環境細分屬性表現出相反情感傾向。因此我們將屬性從上述 5 個類別細分到 18 個子類別，最終設計爲兩級屬性體系，如下圖 8 所示：

圖 8 兩級屬性體系

爲了構建高質量數據集，我們進行了詳細數據分析和調研業界標準，最終制定了面向用戶評論的屬性級情感分析標註規則。對於每條評論，標註人員需要先判斷預定義的屬性是否在該評論中被提及，再判斷被提及屬性上的情感傾向。因此。對於每個屬性共有 4 種標籤——[未提及, 負向, 中立, 正向]。

我們對 ASAP 數據集中屬性及其對應的情感傾向分佈做了統計，如下圖 9 所示。本次標註主要面向餐飲商家下的用戶評論，所以 94.7% 的評論都提及菜品口味這一屬性。除此之外，用戶們還比較關心服務人員態度、價格水平、裝修情況等屬性。

圖 9 ASAP 數據集中屬性以及對應的情感傾向分佈

與屬性級情感分析開源數據集 SemEval RESTAURANT[13] 相比，ASAP 在數據量上遠遠超出，可以支撐深度神經網絡模型的探索。相對於單句級別的 RESTAURANT，包含多子句評論級別的 ASAP 具有更長的平均長度，因此往往包含更豐富的屬性信息。在 ASAP 數據集中平均每條評論包含 5.8 個屬性，是 RESTAURANT 數據集的 4.7 倍，相對於 RESTAURANT 數據集具有更大的挑戰性。

屬性級情感分析多任務學習框架： 在該類問題上，業界主流技術方案根據模型結構不同可以分爲兩種，分別爲基於非預訓練模型的方案和基於預訓練模型的方案。基於非預訓練模型的方案中，Att-BLSTM[9] 需要爲每個屬性單獨訓練一個模型，無論模型訓練還是模型應用都比較複雜；ATAE-LSTM[14] 通過屬性向量（Aspect Embedding）引入屬性信息，同時提出基於注意力（Attention）機制讓模型聚焦到對應的屬性相關信息上來提升模型準確率；CapsNet[15] 可以用於 ABSA 任務中學習屬性（Aspect）和文本（評論）之間關係。基於預訓練模型的方案中，QA-BERT[16] 將 ABSA 任務轉化爲問答形式的句間分類任務，每個屬性都和文本構成句對作爲輸入，實際應用中屬性數量較多時，計算量較大；CapsNet-BERT[17] 在 CapsNet 方案的基礎上將語義編碼層（Encoder）從 Bi-GRU 升級爲 BERT。上述模型都只考慮了屬性與文本的關係，把每個屬性都單獨處理，沒有考慮不同屬性間的關係。

通過數據分析部分可知，ASAP 數據集在不同屬性上的分佈非常不均衡，這會導致模型訓練時數據量小的屬性上更容易出現過擬合，不同屬性上的情感傾向表達有共性同時也有各自特定的表達方式。模型設計時需要結合業務數據特點同時兼顧計算效率，最終我們採用了多任務學習框架來兼顧屬性間關係，同時處理一條評論的多個屬性，模型整體設計爲兩層，分別爲共享層和任務相關層，如下表所示：

圖 10 美團屬性級情感分析模型架構

共享層爲語義編碼層（Encoder），目標是學習文本在不同屬性上的上下文深度語義表徵。通過參數共享實現知識的遷移可緩解數據不均衡帶來的問題，同時對新增屬性的擴展具有較好的兼容性。

其中，爲評論經過語義編碼層（Encoder）編碼後得到的向量，Ζ代表評論的長度。

任務相關層包括注意力層和分類層，注意力層設計上我們借鑑了 ATAE-LSTM 中注意力池化的方法，讓模型可以聚焦到整條評論中和指定屬性最相關的句子或者片段，減少其他屬性等無關信息的干擾，提升該屬性上的情感傾向判斷準確率。

其中，αi 是注意力權重向量，對句子中不同重要程度的詞語給予不同的權重。ri 是評論針對第 i 個屬性經過注意力池化後得到的加權表徵。

最後模型經過 Softmax 分類器，

對於給定的評論 R 屬性級情感分析的損失如下：

其中，N 爲屬性（Aspect）數量，C 是分類類別數。

隨着預訓練語言模型技術的快速發展，結合團隊自研的預訓練模型 MT-BERT 不斷迭代，我們在上述多任務框架的基礎上，對參數共享層的語義編碼（Encoder）部分做了持續的迭代，由最初的 Bi-GRU 到 Google-BERT-Base，再到 MT-BERT-Base，以及目前的 MT-BERT-Large，模型在 Benchmark 上的指標得到了進一步的提升，如下圖 11 所示：

圖 11 美團屬性級情感分析模型迭代指標

典型應用： 屬性級情感分析在美團業務中有非常多的應用場景，如精選點評、個性化推薦、智能搜索、商家運營等。大衆點評 App 的精選點評模塊是屬性級情感分析的典型應用場景之一，如圖 12 所示。精選點評模塊作爲點評 App 用戶查看高質量評論的入口，其中精選點評標籤承載着內容結構化聚合的作用，支撐着用戶高效查找目標評論內容的需求。鑑於屬性級情感分析能夠挖掘用戶評論在不同屬性上表達的情感傾向，根據其構建的屬性級情感標籤能夠較好的幫助用戶篩選查看，同時外露更多的商家信息，幫助用戶高效的從評論中獲取消費指南。

圖 12 大衆點評精選點評模塊產品形態

美團商業大腦運營分析是屬性級情感分析在美團商業智能典型應用場景，如下圖 13 所示。美團商業大腦是美團搭建起的面對生活服務業商家提供大數據分析決策支持的知識圖譜平臺，通過細緻刻畫商家服務現狀、商家競爭力分析，以及商圈洞察等方式，爲商戶提供精細化經營建議。美團商業大腦通過對用戶評論進行全方屬性級情感分析與歸納總結，從而可以發現商家在市場上的競爭優勢 / 劣勢、用戶對於商家的總體印象趨勢、商家菜品的受歡迎程度變化，並對商家提供前瞻性經營方向，智能化指導商家精準優化經營模式。

圖 13 美團商業大腦商家運營分析

觀點三元組分析及應用

在觀點三元組抽取任務中，工業界目前主流的方案是基於 Pipeline 的方案，即先分別抽取屬性和觀點，然後抽取兩者關係，最後通過句子級情感分析獲得屬性和觀點對的情感傾向。Pipeline 方案的優點是整個任務可以模塊化，複用關係抽取、情感分析等通用能力，且各模塊可以單獨迭代優化；缺點是誤差會在 Pipeline 模塊中傳導累積，後序模塊對前序模塊的準確度有較強的依賴性，且計算效率低。

在學術界，最新的一些工作 MTL[7] 和 GTS[18] 等提出了多任務學習的解決方案。結合美團業務特點同時兼顧計算效率的考慮，最終我們選擇了多任務學習的方案，模型架構如圖 14 所示。模型整體由四部分組成：Pretrained Language Model、Aspect Tagger、Opinion Tagger、Sentiment Parser，其中 Pretrained Language Model 爲基於預訓練語言模型的編碼器，兼容 BERT、RoBERTa[19]、ELECTRA[20] 等主流預訓練模型，Aspect Tagger 執行屬性序列標註任務，Opinion Tagger 執行觀點描述序列標註任務，Sentiment Parser 執行屬性與觀點描述關係依賴及其情感分析解析任務，主要爲一個 Biaffine Scorer[21]。

如圖 14 中的例子所示，Aspect Tagger 將 “蝦滑” 和“墨魚滑”這兩個屬性抽取出來，而 Opinion Tagger 則對應地將 “很不錯” 和“並不新鮮”這兩個觀點描述抽取出來，Sentiment Parser 給出句子中的所有字之間的情感依賴關係（即正向、負向、中立、無關）四分類。我們利用抽取出來的屬性和觀點描述在所有字之間的情感依賴關係上進行索引和記錄，最終可以得到 “蝦滑” 和“很不錯”之間的 23=6 個情感依賴關係中最多的關係爲正向情感，而 “蝦滑” 和“並不新鮮”之間的 24=8 個情感依賴關係中最多的關係爲無關。類似地，我們可以推斷出 “墨魚滑” 和”並不新鮮“之間的關係爲負向情感。模型訓練時，模型整體對三個子任務損失進行聯合優化。

圖 14 觀點三元組抽取多任務學習模型架構

此外，我們對 Pretrained Language Model 模塊進行了優化，由最初的 Google BERT-Base，到自研 MT-BERT-Base，再到目前的 MT-BERT-Large，模型在 Benchmark 上的指標得到了進一步的提升，如下圖 15 所示。由於觀點三元組分析既包括分類任務也包括抽取任務，評價指標上我們採用了 EM-F1 和 Fuzzy-F1，其中 EM-F1 需要任意兩個觀點三元組（屬性，觀點描述，情感）中三個元素全部正確整體纔算一次命中，Fuzzy-F1 會考慮抽取片段的重合度（包括屬性和觀點描述），EM-F1 比 Fuzzy-F1 更加嚴格。

圖 15  觀點三元組抽取模型指標迭代

通過觀點三元組分析技術可以構建基於屬性的情感觀點知識庫，其中每個屬性（商品或服務）節點都會被一個或多個帶情感依賴的觀點描述指向，如下圖 16 所示。通過【屬性 + 正向觀點】的模板方法可以構造推薦文案，例如 "酸湯魚片：酸酸甜甜，妙不可言"，可以用於美團 App 和大衆點評 App 首頁推薦或廣告文案場景，同時可以根據用戶對屬性（商品或服務）的偏好，展示個性化推薦文案，幫助用戶更加高效的獲取信息。同時這些基於屬性（商品或服務）的情感觀點信息可以幫助商家更加精細化的運營。

圖 16 基於屬性（商品或服務）的情感觀點知識庫樣例展示

情感分析服務化

很多美團業務場景對情感分析有迫切需求，例如推薦理由、Feeds 內容、廣告文案、精選評價標籤、商家運營、對話系統等場景都需要識別文本在整體或屬性上的情感傾向。針對美團業務特點我們構建了在線實時預測服務和離線批量預測服務。

圖 17 在線實時預測

圖 18 離線批量預測

在線實時預測服務主要針對需要實時計算的場景，如對話系統需要實時識別用戶對話內容的情感傾向，提供 Thrift 接口調用方式，方便美團內部業務服務調用；離線批量預測服務主要針對需要離線批量計算的場景，如每日新生產的 Feeds 內容需要批量進行情感分析後才能進入線上內容供給池。我們依託於美團機器學習平臺 MLP 搭建了情感分析離線計算服務，業務使用方僅需要簡單的配置輸入 / 輸出數據表以及計算隊列即可便捷調用，同時該服務支持了定時調度，可以便捷接入到業務方整體的調度流程中。目前，情感分析服務已經爲美團內部十多個業務場景提供了服務。

總結與展望

本文總結了美團情感分析技術的演進和在典型業務場景中的應用，包括篇章 / 句子級情感分析、屬性級情感分析和觀點三元組分析，其中屬性級情感分析工作向業界開源了迄今規模最大的基於真實場景的中文屬性級情感分析數據集 ASAP，該數據集相關論文《ASAP: A Chinese Review Dataset Towards Aspect Category Sentiment Analysis and Rating Prediction》被自然語言處理頂會 NAACL2021 錄用。在技術迭代上，緊跟預訓練語言模型技術的快速發展，結合團隊自研的 MT-BERT 模型不斷迭代升級。在業務應用上，依託情感分析技術能力構建了在線實時預測服務和離線批量預測服務，截至目前情感分析服務已經爲美團內部十多個業務場景提供服務。

屬性級情感分析已經在美團多個場景落地應用，但對於某些領域跨度較大的新場景（比如從餐飲領域到休閒娛樂領域），我們總是需要人工預定義新的屬性，並進行一定數量的數據標註。預定義屬性需要對每個業務都有深入的理解，在實際中，很難把每個業務的屬性都預定義得非常全面，尤其是某些佔比不高但具有業務特色的屬性。這些成本會對屬性級情感分析在新業務場景的快速落地有一定程度的影響。我們也在探索遷移學習、少樣本學習、屬性自動挖掘等技術在情感分析上的應用，以加速情感分析在新領域快速應用，來滿足美團業務快速發展的需求。

參考文獻

[1] https://github.com/Meituan-Dianping/asap.

[2] Bu J, Ren L, Zheng S, et al. ASAP: A Chinese Review Dataset Towards Aspect Category Sentiment Analysis and Rating Prediction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2021.

[3] https://www.luge.ai/

[4] Zhang, L. ,  S. Wang , and  B. Liu . "Deep Learning for Sentiment Analysis : A Survey." Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery (2018):e1253.

[5] Liu, Bing. "Sentiment analysis and opinion mining." Synthesis lectures on human language technologies 5.1 (2012): 1-167.

[6] Peng, Haiyun, et al. "Knowing what, how and why: A near complete solution for aspect-based sentiment analysis." In Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 05. 2020.

[7] Zhang, Chen, et al. "A Multi-task Learning Framework for Opinion Triplet Extraction." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings. 2020.

[8] Yoon Kim. 2014. Convolutional neural networks for sentence classification. arXiv preprint arXiv:1408.5882.

[9] Peng Zhou, Wei Shi, Jun Tian, Zhenyu Qi, Bingchen Li,Hongwei Hao, and Bo Xu. 2016. Attention-based bidirectional long short-term memory networks for relation classification. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 207–212.

[10] Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805 (2018).

[11] 楊揚、佳昊等. 美團 BERT 的探索和實踐.

[12] Pontiki, Maria, et al. "Semeval-2016 task 5: Aspect based sentiment analysis." International workshop on semantic evaluation. 2016.

[13] Pontiki, M. , et al. "SemEval-2014 Task 4: Aspect Based Sentiment Analysis." In Proceedings of International Workshop on Semantic Evaluation at (2014).

[14] Yequan Wang, Minlie Huang, and Li Zhao. 2016. Attention-based lstm for aspect-level sentiment classification. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 606–615.

[15] Sara Sabour, Nicholas Frosst, and Geoffrey E Hinton. 2017. Dynamic routing between capsules. In Advances in neural information processing systems, pages 3856–3866.

[16] Chi Sun, Luyao Huang, and Xipeng Qiu. 2019. Utilizing bert for aspect-based sentiment analysis via constructing auxiliary sentence. arXiv preprint arXiv:1903.09588.

[17] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. 2019. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 6281–6286.

[18] Wu, Zhen, et al. "Grid Tagging Scheme for End-to-End Fine-grained Opinion Extraction." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings. 2020.

[19] Liu, Yinhan, et al. "Roberta: A robustly optimized bert pretraining approach." arXiv preprint arXiv:1907.11692 (2019).

[20] Clark, Kevin, et al. "Electra: Pre-training text encoders as discriminators rather than generators." arXiv preprint arXiv:2003.10555 (2020).

[21] Timothy Dozat and Christopher D. Manning. 2017.Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017.

作者介紹

任磊、佳昊、張辰、楊揚、夢雪、馬放、金剛、武威等，均來自美團平臺搜索與 NLP 部 NLP 中心。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/gXyH4JrhZI2HHd5CsNSvTQ