Gaze: Purifying Gaze Feature for Generalizable Gaze Estimation AAAI2022"/>
PureGaze: Purifying Gaze Feature for Generalizable Gaze Estimation AAAI2022
论文
代码
概述:首次在视线估计进行域泛化探索→通过生成对抗网络最小化提取特征的视线无关分量。
视线估计问题可以定义为 g = F ϕ ( E θ ( I ) ) g=F_{\phi}(E_{\theta}(I)) g=Fϕ(Eθ(I)),其中 E θ E_{\theta} Eθ是特征提取函数(如神经网络), f ϕ f_{\phi} fϕ是回归函数。I是外观信息,g是真实预测视线。用Z表示提取的特征,即 Z = E θ ( I ) Z=E_{\theta}( I) Z=Eθ(I),可以简单地将特征划分为两个子集,视线特征G和视线无关特征N,其满足,我们希望最小化提取特征和图像特征的交集,最大化提取特征和视线特征的交集。
具体来说, 对应最大化重建误差 , 对应最小化实现估计误差 ,因此骨干网络loss为 , ,为避免重建网络直接惰性欺骗骨干网络陷入局部极小值,同时设置重建任务交替训练。
局部纯化损失:使得对抗重建损失的关注点在眼睛周围,即设置,
权重α满足高斯分布的权重->两个眼睛中心坐标均值为均值
截断损失:避免重建图像差异过大(甚至像素翻转)截断像素差大于给定k值
更多推荐
PureGaze: Purifying Gaze Feature for Generalizable Gaze Estimation AAAI2022
发布评论