更可信的人臉識別,騰訊優圖 TFace 正式開源!

繼神經網絡推理框架 ncnn、TNN,動作檢測算法 DBG,通用目標檢測算法 OSD,人臉檢測算法 DSFD、人臉屬性算法 FAN 等衆多優秀的框架、算法開源後,騰訊優圖實驗室又有一項人臉識別算法研究項目——TFace 正式擁抱開源啦!

🔽TFace 開源地址:

https://github.com/Tencent/TFace

項目背景

TFace 是由騰訊優圖實驗室研發的人臉識別算法研究項目,其中 TFace 中的 T 意爲 “trusty”,表達了團隊在可信人臉識別技術方向上的願景。

人臉識別算法是指在檢測到人臉並定位面部關鍵特徵點之後,裁剪出主要的人臉區域,並經過預處理後饋入後端的識別算法。因爲有着方便友好、易於接受、不易僞造等一系列優點,

在過去 30 多年裏,人臉識別一直都是人工智能領域的研究熱點。並被廣泛應用在公共安全、身份驗證、門禁考勤、金融支付等領域。隨着人臉識別技術的大規模應用,進入 “看臉時代” 的同時,人臉識別也正在一步步向着 “可信” 發展。

基於可信人臉識別的理念,TFace 重點關注人臉識別領域的四個研究方向:精準、公平、可解釋以及隱私。經過多年的行業實戰經驗,優圖在每個方向都積累了大量硬核技術,其中很多提煉後作爲學術成果發表在相關頂級 CV 會議中。爲了方便研究人員快速復現我們的工作,已發表文章的代碼全部在 TFace 中開源;

在研究工作開展的過程中,我們開發了一套成熟的算法訓練和測試框架,框架主要由數據增強、骨幹網絡模型庫、模型評估、訓練範式等高度抽象化模塊組成,通過簡單的修改配置文件就可以開展相應的實驗,支持多種骨幹網絡結構和 heads, 復現了學術界主流的 SOTA 方法和效果,同時也利用工業界主流的推理框架測試了不同模型的推理耗時。

  1. 在數據預增強模塊中,除了傳統的圖像處理操作外,針對困難場景下識別精度低這一難題,TFace 採用從 2D 和 3D 兩條路線進行數據增強,目前已開放 2D 數據增強代碼,可以擴增成戴口罩、戴眼鏡、戴頭巾等樣本,後續 TFace 也會逐漸開放對於光線、表情、姿態這些細粒度屬性的 3D 增強代碼;

  2. 在骨幹網絡模型庫中,TFace 實現了十餘種學術界常見的人臉識別提特徵網絡結構,可以滿足終端和後臺等常用場景下的耗時需求;

  3. 模型評估模塊主要包括了推理耗時評估和精度評估,推理耗時評估主要測試了不同模型在 X86 CPU, ARM CPU, GPU 具體設備上的推理速度,精度評估主要提供了在常見學術測試集上的評估工具以及不同模型的結果,這些可以供開發者選擇模型結構時參考;

  4. 在訓練範式上,TFace 支持常見的數據並行 + 模型並行以及混合精度訓練,提升大規模訓練的效率,支持多數據分支訓練,採用類似多任務學習的方式同時訓練多個數據集,提升模型的精度,此外 TFace 後續將會開放量化感知訓練、模型蒸餾、聯邦訓練等代碼。

算法介紹

1.CurricularFace 一種用於人臉識別基礎模型訓練的損失函數,發表於 CVPR2020, 主要的思路是將課程學習的思想結合到常用的人臉識別損失函數,訓練過程中自動挖掘困難樣本,先易後難漸進學習,提升識別模型訓練魯棒性及難樣本識別性能。

文章鏈接:https://arxiv.org/abs/2004.00288

2.DDL 一種用於提升特定場景下人臉識別性能的方法,發表於 ECCV2020,主要的思路是針對某一特定場景的難樣本,爲其尋找一個合適的教師場景,通過拉近兩種場景下的人臉相似度分佈,從而提升該場景下困難樣本的識別性能。

文章鏈接:https://arxiv.org/abs/2002.03662

3.CIFP 一種提升個體識別公平性的方法,發表於 CVPR2021, 提出了基於誤報率懲罰的損失函數,即通過增加實例誤報率(FPR)的一致性來減輕人臉識別偏差。

文章鏈接 https://arxiv.org/abs/2106.05519

4.SDD-FIQA 一種基於人臉識別相似度分佈的無監督人臉質量評估方法,發表於 CVPR2021, 通過計算同人和非同人相似度分佈的韋氏距離作爲目標圖像的質量分僞標籤, 最終通過圖像 + 質量僞標籤訓練得到質量分模型。

文章鏈接:https://arxiv.org/abs/2103.05977

5.SCF 一種基於人臉特徵置信度的人臉識別方法,發表於 CVPR2021, 核心思想包含兩點:a. 將人臉樣本特徵從確定向量升級爲概率分佈,從而獲得額外刻畫樣本識別置信度的能力;b. 提出適配於超球流形 r-radius von Mises Fisher 分佈建模特徵,理論可解釋性與方法收斂性較 PFE 更佳。

文章鏈接:

https://openaccess.thecvf.com/content/CVPR2021/papers/Li_Spherical_Confidence_Learning_for_Face_Recognition_CVPR_2021_paper.pdf

目前,TFace 項目中的算法能力已應用在內外多個業務中,對內廣泛支撐了騰訊內部如微信,QQ 中的身份識別需求,對外則通過騰訊雲服務的形式,提供了 ToC、ToB 的相關能力,典型應用案例如跨年齡尋人、人臉核身、刷臉支付等。現在,TFace 已在 GitHub(https://github.com/Tencent/TFace)上正式開源,歡迎大家一起使用與評測!

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/jxw5O4YA1w84Od17GgU7aA