GazeOnce: Real

Real"/>

GazeOnce: Real

原文链接
data下载链接

概述：这篇文章提出了一个新的场景：实时多人视线估计。提出相关数据集MPSGaze，提出一个金字塔结构的端到端的多人视线检测算法，并通过自监督约束进一步提升算法性能。
MPSGAZE数据集

这个数据集是通过Gaze数据集ETH-Gaze和脸部检测数据集WiderFace生成，具体做法如下。
1.Face matching：对于给定高质量WiderFace图像 f w f_w fw​，通过脸部属性提取SOTA网络Fairface筛选与他最相似的ETH-Gaze图像。
a根据性别初筛ETH-Gaze集合 f e f_e fe​
b对 f w f_w fw​进行ETH-Gaze一致的归一化，记录缩放矩阵W以及旋转矩阵R。
c根据脸部关键点以及头部姿态计算 f w f_w fw​ f e f_e fe​匹配误差筛选n个 f e f_e fe​

d在n个中根据年龄和种族相似性最后筛选出最相似的 f e s f_{es} fes​

2.Gaze swapping：交换Gaze图像和face detection图像的眼部/脸部图像，视线标签由Gaze图像得到。
a根据 W − 1 W^{-1} W−1、 R − 1 R^{-1} R−1对 f e s f_{es} fes​进行变换
b采用1c式计算变换后 f e s f_{es} fes​和 f w f_w fw​脸部关键点和头部姿态的匹配误差。
c给定阈值，匹配误差低于阈值则仅交换眼部区域，反则交换脸部区域。
d采用泊松混合方法使重叠图像看起来真实
e f e s f_{es} fes​gaze标签 R − 1 R^{-1} R−1z作为 f w f_{w} fw​标签

多任务端到端的多人视线估计

采用金字塔结构+上下文模块(残差+累加多层卷积代替大卷积)保障提取的特征兼顾多尺度和感受野
多任务同时检测人脸和预测Gaze，损失函数

3D视线以及其2D投影自监督约束
同时预测2D以及3D视线，预测3D视线投影和2D视线的一致性。



实验结果