admin管理员组

文章数量:1589757

Compositional Learning for HOI(ECCV 2018)

文章
  作者的的想法是因为我们很难搜集到所有组合之间的interaction,所以必须会面临的问题就是要识别在数据集中从未见到过的情况,也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的,而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hammer去hit the nail,同样也可以用hard-cover book做相同的事情。因此作者考虑可以使用这种unique composition帮助实现新的动作。
  但是这种compositional的学习面临的一个主要的问题是:模型怎样可以学会在context中组合出新的动作
  作者使用下面a中的graph来表示interaction。verb和noun通过圆形的action节点相连接,然后会存在某些verb-verb连接和noun-noun连接,我想这种连接应该是代表了某种相似性和可迁移的特性。
  首先,从知识库中提取出subject-verb-object(SVO)triplets建立一个外部的知识图。这个图覆盖了大部分的HOI,其中每个verb和noun节点都以其word embedding作为这个节点的特征。

本文标签: 论文CompositionalLearningInteractionobject