Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye

Gaze from Afar: Deep Gaze Estimation from Temporal Eye"/>

Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye

原文链接
数据集代码
概述：在监控等场景下，几乎看不清眼部图像，作者建立了这样的3D视线估计的数据集。并且设计了一个联合考虑头部姿态和身体姿态关系，并且结合不确定性估计、时序信息的网络。

VMF
VMF是一个用于概率分布的统计模型，它是基于多元正态分布在单位球面上的推广。在von Mises-Fisher分布中，每个数据点是一个在单位球面上的向量，而不是在欧几里得空间中的向量。

式中， μ \mu μ代表预测值， κ \kappa κ代表不确定度
损失函数

交替训练 μ \mu μ, κ \kappa κ
κ \kappa κ用于加权
Head and Body Network
采用降分辨率的人体姿态数据集AGORA进行训练，得到头部和身体姿态以及它们的不确定性
Head–Body Conditional Temporal Gaze Prior
多帧加权的头部身体姿态6维向量输入时序网络预测得到视线
Opportunistic Eye Appearance Integration
不确定度加权融合脸部预测得到的视线
Multi-view Gaze Estimation

加权融合多视角得到的估计视线(VMF极大似然估计）
实验结果