GaTector: A Unified Framework for Gaze Object Prediction CVPR2022

Framework for Gaze Object Prediction CVPR2022"/>

GaTector: A Unified Framework for Gaze Object Prediction CVPR2022

原文
概述：1作者设计了一个specific-general-specific的框架，使场景、视线分支共享general结构，简化了网络，并且使得两部分能够联合优化，生成任务特定特征。2作者为了使得预测更加准确，loss约束gaze heatmap大小。3.作者同时预测二维视线位置和进行物体检测，相当于给出新场景Gaze Object Prediction，他相较于传统Gaze Target Prediction同时检测出注视点物体所在边界框，作者对于该场景设计了一个类似GIOU的评价指标。

defoucs layer
零售场景，小物体特征分辨率增加

Loss

E B E_B EB​, E I E_I EI​分别为对应区域为gaze概率平均值

该Loss约束gaze heatmap大小使其集中

评价指标

p p p为预测物体所在区域， g g g为视线所在区域gt，a为p、g的最小闭包，该评价指标考虑到了p、g不相交时的性能评估，并且能够约束预测边界框的大小。
实验结果