详解"/>
《TDN: Temporal Difference Networks for Efficient Action Recognition》论文详解
论文地址:.10071
代码地址:
该文章在2020年12月份发表于arxiv,文章提出了short-term TDM和long-sterm TDM模块来高效的获取local motion信息和global motion信息。从而在速度和精度上都取得了较好的成绩。
一、网络结构
网络结构如下图所示,从图中可以看出大体的框架类似于TSN模型(实际从代码上来说用的也是TSN的框架),虽然图中在short term和long term画了多个网络,实际上这都是一个网络,类似于TSN文章中的网络结构图。
为了更好的说明网络的工作原理,我们先来看一下图中,也是本文的创新点,short-term TDM和long-term TDM两种模块的结果和工作原理。
1.1 short-term TDM
TDM全名为 temporal difference module,可以知道TDM模块里存在一些差值的计算,而short-term指的就是短时间内局部信息的差值。举例说明,对于给定的一个视频V来说,首先类似TSN的处理方式,将视频等时长的分为T份。然后在等分的子视频中随机抽取一帧图像,那么视频V就可以输出T帧图像,用符号表示为 I = [ I 1 , I 2 , . . . , I T ] I = [I_1, I_2, ..., I_T] I=[I1,I2,...,IT], I i I_i Ii表示抽取出来的一帧图像,这里I的维度为[T, C, H, W]。接着获取的帧输入到2D CNN中提取特征,得到 F = [ F 1 , . . . , F T ] F=[F_1, ..., F_T] F=[F1,...,FT], F表示获取到的特征,维度为 [ T , C ′ , H ′ , W ′ ] [T, C', H', W'] [T,C′,H′,W′]。上述2DCNN就是接下来要解释的short-term TDM的一部分,short-term TDM是为了更好的来表示local motion而设计的。(这里框架图和short-sterm TDM图有一点点不太一样,框架图里面的S-TDM实际上是short-sterm TDM图中去除conv1后的其余部分结构,但是不影响理解。)
short-term TDM用公式表示如下:
F ^ i = F i + H ( I i ) \hat{F}_i = F_i + H(I_i) F^i=Fi+H(Ii)
F ^ i \hat{F}_i F^i表示short-term TDM的输出,H表示的是short-term TDM的核心部分。
H用公式表示如下:
H ( I i ) = U p s a m p l e ( C N N ( D o w n s a m p l e ( D ( I i ) ) ) ) H(I_i)=Upsample(CNN(Downsample(D(I_i)))) H(Ii)=Upsample(CNN(Downsample(D(Ii))))
上式中 D ( I i ) = [ D − 2 , D − 1 , D 1 , D 2 ] D(I_i) = [D_{-2}, D_{-1}, D_{1}, D_{2}] D(Ii)=[D−2,D−1,D1,D2]为以采样图片帧 I i I_i Ii为中心局部抽取帧之间的帧差结果。
short-term TDM的示例图如下所示:
可以从图片看出,在抽取出 I = [ I 1 , I 2 , . . . , I T ] I = [I_1, I_2, ..., I_T] I=[I1,I2,...,IT]图像后,short-term TDM会先根据抽取的图像帧,从他们周围在多抽取几帧,其中 I i I_i Ii帧为中心且直接输入到conv中提取出特征 F i F_i Fi,其余的周围的帧和 I i I_i Ii帧一起互相做差值,然后经过一些resnet中提出的res层和上采样下采样融合出short-term TDM的输出特征。文章表示这样输出的特征能比较好的获取局部的motion特征,然后将得到的short-term TDM特征作为long-term TDM的输入。
1.2 long-sterm TDM
long-sterm TDM的输入为short-sterm TDM的输出,下面用 F i F_i Fi表示。
因为long-sterm TDM结构有点复杂,用公式表示会多比short-sterm TDM多一点,如下所示:
F ^ i = F i + F i ⊙ G ( F i , F i + 1 ) \hat{F}_i=F_i + F_i \odot \mathcal{G}(F_i, F_{i+1}) F^i=Fi+Fi⊙G(Fi,Fi+1)
G ( F i , F i + 1 ) = 1 2 [ M ( F i , F i + 1 ) + M ( F i + 1 , F i ) ] \mathcal{G}(F_i, F_{i+1}) = \frac{1}{2}[M(F_i, F_{i+1})+M(F_{i+1}, F_i)] G(Fi,Fi+1)=21[M(Fi,Fi+1)+M(Fi+1,Fi)]
M ( F i , F i + 1 ) = S i g m d ( C o n v ( ∑ i n C N N j ( C ( F i , F i + 1 ) ) ) ) M(F_i, F_{i+1}) = Sigmd(Conv(\sum^{n}_{i}CNN_j(C(F_i, F_{i+1})))) M(Fi,Fi+1)=Sigmd(Conv(∑inCNNj(C(Fi,Fi+1))))
C ( F i , F i + 1 ) = F i − C o n v ( F i + 1 ) C(F_i, F_{i+1})=F_i-Conv(F_{i+1}) C(Fi,Fi+1)=Fi−Conv(Fi+1)
上式中 ⊙ \odot ⊙表示点乘。
公式看起来复杂点,看图会比较好理解,long-sterm TDM如下图所示。因为也是TDM模块,所以也有做差值的操作。
上图中有个地方需要额外说明一下,就是F经过conv1后得到 F t , F t + 1 F_t, F_{t+1} Ft,Ft+1,且通道数变成了C/r。首先通道数变化好理解,就是conv1输出通道数是输入的1/r。为什么conv1输出了不同的 F t , F t + 1 F_t, F_{t+1} Ft,Ft+1呢,这里可以理解为经过conv1输出的feature在T维度向前移和向后移了一个单位。这也是TDM的表示所在,文章认为这样做可以获取全局的motion feature信息。
通过了解了提出的两个模块结构后,可以知道网络里类似于TSN一样计算,将一个样本视频提取的多个帧放入batch维度(输入的是NCTHW, 实际计算是 ( N × T ) × C H W (N\times T)\times CHW (N×T)×CHW)。这样实际上上图显示的多个网络实际都是一套网络参数。还需要注意的是TDN网络图中的block不是单纯的long-sterm模块,而是以long-sterm模块为核心的residual模块(类似于在原始的resnet里面插入一个L-sterm TDM)。
到这里基本的创新原理就讲完了,具体的实验方式和实验结果可以查看论文与代码获取更多信息。
视频算法交流qq群:657626967
更多推荐
《TDN: Temporal Difference Networks for Efficient Action Recognition》论文详解
发布评论