微信看一看實時相關推薦介紹
作者：謝若冰，騰訊微信研究員
在推薦系統中，用戶在一個時間段經常會關注同一個主題。當用戶讀完一篇文章時，他往往會想要繼續閱讀和這篇文章相關的拓展文章。然而，傳統的推薦系統 feed 流難以提供這種深度的拓展閱讀（相關閱讀）功能。這是由於考慮到推薦系統多樣性和興趣試探的要求，主推薦流中的文章往往是經過多種推薦 / 召回邏輯組成的，代表了用戶的不同（潛在）興趣，很少會出現同一個主題的文章連續出現的情況。
在這類工作中，我們提出了一種新的任務——相關推薦（relevant recommendation suggestion）。這個任務的目標是：
（1）預測用戶是否需要相關文章的拓展閱讀，以及（2）基於用戶剛剛閱讀的種子文章，實時推薦相關的文章。在看一看系統中，這些模型推薦的相關文章被組織在一個相關 box（relevant box）中，並實時插入在上一次點擊的文章後面，顯式地給用戶強烈認知。
這種相關推薦的主要挑戰在於：（1）它在基本的 CTR 等點擊指標外，也需要額外考慮和種子文章的相關性以及信息增益。（2）相關 box 的實時插入，也會導致在種子文章之後的本來可能曝光給用戶的文章沒有曝光。當用戶並不想要拓展閱讀時，這種實時插入的延遲成本（delay cost）會干擾用戶，影響整體推薦效果。
爲了解決這些問題，我們提出一種新的實時相關推薦框架（Real-time relevant recommendation suggestion (R3S)），包含了文章推薦（Item recommender）和 Box 觸發（Box trigger）兩個模塊。具體地，我們從基本特徵交互、語義相關性和信息增益等多個維度抽取特徵作爲專家網絡，然後提出一種 Multi-critic multi-gate mixture-of-experts (M3oE) 模型，基於不同評論家的角度綜合考慮這些專家網絡的意見，判斷是否以及推送什麼相關文章。在實驗中，我們在看一看系統中進行了離線、線上實驗和消融實驗，均獲得顯著提升。在文章維度和 box 維度的多項提升證明了我們的 R3S 框架的有效性。目前 R3S 模型已經上線，影響千萬用戶。
本文基於 WSDM-2021 論文《Real-time Relevant Recommendation Suggestion》，論文作者是來自騰訊微信的謝若冰、王瑞、張紹亮、楊智鴻、夏鋒和林樂宇研究員。
一、模型背景與簡介
隨着信息的指數級增長，如何高效獲取有效信息成爲大衆關注點。搜索和推薦是兩種重要且互爲補充的主動 / 被動信息獲取方式。搜索通過用戶主動輸入的 query 理解用戶需求，幫助用戶主動獲取信息。當用戶不知道他們想要什麼或者不知道怎麼搜索時，推薦能夠基於用戶屬性和行爲預測用戶的潛在興趣和偏好，幫助用戶被動獲取信息。
推薦系統中，用戶往往在一個時間段只關注一個主題，例如一個新聞事件或者一場球賽。當用戶完成一個文章的閱讀並退出到主推薦流時，如果對這個文章感興趣，就很可能會想要主動地獲取更多的相關文章進行拓展閱讀。爲了實現這項功能，推薦系統需要智能地認知到用戶當前的實時偏好，並且顯式而實時地把高質量的相關文章展示給用戶。然而，在傳統推薦系統中，用戶只能被動接受推薦內容，很難把自己在相關閱讀上的實時偏好主動地反饋給系統（這點搜索中可以通過用戶 query 實現用戶 - 系統反饋）。
另外，受限於推薦系統多樣性和興趣試探的要求，推薦系統在進行實時顯式的相關推薦時也會投鼠忌器，擔心擾亂原始主推薦流中的推薦結果。在這個工作中，我們嘗試賦予推薦系統相關推薦的能力，使用戶能夠進行深度拓展閱讀，提升用戶體驗和黏性，而一個直觀的想法就是參考搜索引擎中的主動信息獲取。
在搜索中，query suggestion 需要基於用戶已經輸入的 query，預測用戶意圖，根據語義相似度輸出符合用戶意圖的一組 query 候選。query suggestion 可以看作是在搜索中的相關 query 的推薦。類似 query suggestion，在推薦中，我們提出了一個新的任務——推薦建議（recommendation suggestion），基於用戶剛剛點擊過的文章，預測用戶是否需要相關推薦以及在相關推薦上的偏好，輸出合適的相關文章。這個任務可以看作是在推薦中的搜索，用戶剛點擊過的文章即爲 query suggestion 中的 query，可以看做是用戶潛意識中給系統的重要反饋。圖 1 給出了在微信看一看中的相關推薦建議系統示意圖。
圖 1：相關推薦系統示意圖。右屏展示了實時相關推薦的產品形態和效果。相關文章都被組織在 relevant box 中，實時插入至緊靠主推薦流裏剛點擊的文章的後面。
當用戶點擊文章，讀完文章並退出到主推薦流中時，相關推薦模型會計算是否以及哪些相關文章應該推薦給用戶。爲了提升用戶對於拓展閱讀的感知，我們把相關文章組織在一個顯式的相關 box 中，同時實時地把相關 box 插入到主推薦流裏用戶剛點擊過的文章下面。這樣，相關推薦框架能夠及時地對用戶想要拓展閱讀的需求做出顯式響應，實現拓展閱讀功能。
和傳統推薦任務不同的是，相關推薦有兩個額外的挑戰：（1）相關推薦需要聯合考慮多種因素，包括 CTR 導向的特徵交互、種子文章和相關文章的語義相關性和信息增益等。由於不同用戶對於不同因素的優先級不同，個性化考慮多因素變得困難。（2）這種顯式實時的相關 box 插入帶來了額外的機會成本。在點擊的種子文章之下的本來能曝光給用戶的文章，可能會由於這種實時插入導致延遲甚至最終無法曝光（例如圖 1 左側的貓和 attention 的文章，在相關 box 插入後被擠到了更下方）。這種延遲成本（delay cost）在相關推薦模型中也需要考慮，從而使得相關 box 的實時插入對於整體效果影響儘可能小。
爲了解決這些挑戰，我們提出一種新穎的實時相關推薦框架（Real-time relevant recommendation suggestion (R3S)），希望能夠通過實時插入的方式提供相關推薦功能。R3S 系統包含了文章推薦（Item recommender）和 Box 觸發（Box trigger）兩個模塊。文章推薦模塊需要基於種子文章（被看作 query）召回語義相關的文章，並對他們進行排序。我們提出一種 Multi-critic multi-gate mixture-of-experts (M3oE) 模型，從基本特徵交互、語義相關性和信息增益等多個維度抽取特徵構建專家網絡，然後訓練不同評論家綜合考慮這些專家網絡的意見。Box 觸發模塊則通過 M3oE 模型判斷是否應該實時插入相關推薦的相關 box。
它作爲相關推薦的質量檢察官，能夠避免相關推薦內容的過召回，減少對主推薦流的影響。和文章推薦模塊不同的是，Box 觸發模塊還考慮了用戶對於種子文章的滿意度，以及相關推薦文章實時插入帶來的延遲成本。這些設計解決了以上兩項挑戰，使得 R3S 能夠同時提升文章和 Box 相關指標。我們在真實世界的微信看一看系統上進行了大量的離線、線上實驗，證明 R3S 框架的有效性。R3S 模型在文章、box 和整體指標上均有顯著提升。消融實驗也證明了模型各個模塊的有效性。這篇工作的主要貢獻點如下：
1、 我們提出一種新的相關推薦 recommendation suggestion 任務，採用了相關推薦文章實時插入的產品形態，實現了推薦中的拓展閱讀功能。
2、 我們設計了一種 R3S 框架，包含文章推薦和 Box 觸發兩個模塊。我們設計了神經網絡表徵種子文章和相關文章之間的語義相關性和信息增益的特徵，也提出一種 M3oE 模型，使用不同評論家綜合考慮不同專家信息。
3、 離線和線上實驗中的顯著提升證明了 R3S 模型的有效性。消融實驗也證明了模型各個模塊的有效性。
4、 我們已經將 R3S 框架部署於微信看一看線上系統，服務千萬用戶。模型的實用性得到了驗證。
二、模型結構
在介紹 R3S 模型細節前，我們首先介紹一下 R3S 中一些重要概念：
l 種子文章（seed）：表示當前用戶點擊閱讀過的文章。
l 相關文章（relevant item）：相關文章指的是和種子文章語義相關的文章，通常是共享相同的主題或實體。這些文章是相關推薦的候選集。
l 相關 box（relevant box）：相關文章被組織在相關 box 中（參考圖 1 右屏）。當用戶完成種子文章閱讀時，如果 R3S 系統判斷應該進行相關推薦，相關 box 會實時插入在主推薦流的種子文章之下。
l 延遲成本（delay cost）：相關 box 實時插入時會導致原推薦流中種子文章之下的文章曝光延遲或者無法曝光。這種曝光損失被稱爲延遲成本。
R3S 系統包含了文章推薦（Item recommender）和 Box 觸發（Box trigger）兩個模塊。首先，在文章推薦模塊中，輸入特徵被劃分成四個特徵組，分別是種子文章特徵、候選文章特徵、用戶屬性特徵以及推薦上下文特徵。前兩個特徵組內擁有相同數量的特徵域。具體地，我們使用了 Multi-critic multi-gate mixture-of-experts (M3oE) 模型抽取有用的特徵，M3oE 模型示意圖如下圖 2。
圖 2：M3oE 模型示意圖
我們設置了 FINet，SimNet 和 IGNet 作爲三個專家網絡，分別專注抽取（1）基於 self-attention 的特徵交互、（2）種子文章和候選相關文章的語義相似性，和（3）候選相關文章對比種子文章的信息增益。三個專家網絡的結構圖如圖 3。
圖 3：FINet，SimNet 和 IGNet 專家網絡示意圖
具體地，FINet 關注基本特徵交互，我們使用 multi-head attention 計量特徵交互：
對於 SimNet（負責語義相似度），我們重點關注了種子文章特徵組和候選文章特徵組之間的相似性，使用向量點乘和按位乘計算語義相關性：
對於 IGNet（負責信息增益），我們關注了候選文章特徵組比種子文章特徵組新增的信息，根據特徵組的類別設置了兩種計算方式。對於類別型的特徵域（如用戶感興趣的 tag），我們關注種子和候選文章的差集；對於連續型的特徵域（如用戶年齡、性別等），我們關注特徵向量的差。具體形式化定義如下：
對於這些專家的特徵聚合，我們參考 MMoE 模型，設計了 M3oE 模型。具體地，我們使用 multi-head 策略產生不同的評論家（critic），然後每個評論家分別對各個專家計算權值，最終進行加權聚合。具體如下：
最後，加權聚合特徵加入到具體 MSE loss 中訓練模型：
Box 觸發模塊和文章推薦模塊類似，也是使用 M3oE 和三個專家網絡進行特徵交互。除此之外，Box 觸發模塊在特徵計算上，還考慮了用戶對於種子文章的滿意度，以及相關推薦文章實時插入帶來的延遲成本。在最後的 loss function 中，Box 觸發模塊還在傳統交叉熵 loss 的基礎上增加了一項延遲成本相關 loss，具體如下：
我們還在論文中詳細介紹了線上部署細節和我們對於多種可能的實時相關推薦產品形態的思考。
三、實驗結果
我們針對相關推薦場景設計了離線和線上實驗，基於微信看一看的真實系統對 R3S 模型的效果進行評測。用戶相關數據和行爲數據均經過了脫敏處理。圖 4 給出了文章層級的 CTR 預估結果，圖 5 給出了相關 box 層級的 CTR 預估結果，圖 6 給出了線上實驗的結果。我們發現 R3S 在離線和線上實驗中文章和相關 box 相關指標上都有顯著提升。
圖 4：文章層級的 CTR 預估結果
圖 5：相關 box 層級的 CTR 預估結果
圖 6：線上實驗結果
四、總結
我們在這個工作中探索了實時相關推薦這個新的推薦任務場景，提出了一套 R3S 框架解決了實時相關推薦任務，在離線和線上實驗中均取得顯著提升效果。R3S 框架已經部署於微信看一看推薦系統中，服務千萬用戶。
我們認爲相關推薦能夠輔助用戶進行深度拓展閱讀，增加用戶時長，提升用戶的閱讀體驗，是推薦系統未來很值得研究的課題。在專家網絡設計、專家融合設計等方面，模型還有較大提升空間；對延遲成本的建模也是一個好的研究方向。
參考文獻：
[1] Chen W, Cai F, Chen H, et al. Personalized query suggestion diversification in information retrieval[J]. Frontiers of Computer Science, 2020, 14(3): 143602.
[2] Cheng H T, Koc L, Harmsen J, et al. Wide & deep learning for recommender systems[C]//Proceedings of the 1st workshop on deep learning for recommender systems. 2016: 7-10.
[3] Cheng W, Shen Y, Huang L. Adaptive Factorization Network: Learning Adaptive-Order Feature Interactions[C]. AAAI, 2020.
[4] Guo H, Tang R, Ye Y, et al. DeepFM: a factorization-machine based neural network for CTR prediction[C]. IJCAI, 2017.
[5] Liu B, Zhu C, Li G, et al. AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction[C]. KDD, 2020.
[6] Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1930-1939.
[7] Rendle S. Factorization machines[C]//2010 IEEE International Conference on Data Mining. IEEE, 2010: 995-1000.
[8] Riyahi M, Sohrabi M K. Providing effective recommendations in discussion groups using a new hybrid recommender system based on implicit ratings and semantic similarity[J]. Electronic Commerce Research and Applications, 2020, 40: 100938.
[9] Song W, Shi C, Xiao Z, et al. Autoint: Automatic feature interaction learning via self-attentive neural networks[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019: 1161-1170.
[10] Yi X, Hong L, Zhong E, et al. Beyond clicks: dwell time for personalization[C]//Proceedings of the 8th ACM Conference on Recommender systems. 2014: 113-120.
[11] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1059-1068.
本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/xIDffH2EpZeCXuXQP4nITg