付彦伟：零样本、小样本以及开集条件下的社交媒体分析

编者按：随着社交媒体及数字采集设备的普及，网络上存在着海量的视频及图像数据，如果能够充分利用这些数据，将促进相关计算机视觉任务的发展。然而这些数据却面临着数据样本分布不均衡、以及样本无监督等问题，因此如何在样本量不足甚至零样本、以及样本无标注的情况下，充分利用社交媒体中的数据，成为了计算机视觉领域的开放式问题。本文中，来自复旦大学大数据学院的付彦伟副研究员将就这一问题进行讨论。大讲堂特别在文末提供文章以及代码的下载链接。

首先介绍一下我本人，我博士就读于伦敦玛丽女王大学，导师是向涛教授和龚少刚(Shaogang Gong)教授。之后在匹兹堡CMU的Disney Research做博士后。

我今天介绍的内容可以概括为四个单词：Overview，Definition，Embedding，More.

Overview

对社交媒体中的大数据进行分析，其数据来源分为两个部分，一是YouTube，Flicker和Instagram上的图像视频数据，二是Facebook，Wechat，Google+上的用户关系数据。这二者都属于社交媒体分析中的大数据，是我研究的主要topic。

首先来说对图像、视频数据的分析，众所周知，这种数据量非常庞大，可以用来做零样本、小样本以及开集条件下的图像分类，动作识别，活动识别，以及感情识别。基于以上四个问题，我主要介绍下面几个工作：

对于关系型数据，我们从统计里的ranking和概率图模型的角度来分析更多类型的问题，比如crowdsourcing ranking on Internet和social network。对于这类问题，也是要分析one-shot、zero-shot等条件下的识别，我们也做了一些工作：

Definition

首先说一下对one-shot，zero-shot，open-set recognition的定义。对于识别任务而言，人类通过视觉系统和听觉系统获取图像信息和声音信息，再经人脑处理得到识别结果。这就启发我们去做监督识别。

深度学习将传统方法从训练数据、低层次特征提取、特征编码和池化再到大规模语义建模的过程变为端到端的学习过程。但是大千世界芸芸众生，能收集到的样本只是一小部分，尤其人类可以动态构造一些新类别，因此需要收集一些新数据来训练模型。

One-shot learning 是基于监督学习的，在某个空间（如视觉空间），根据语义标签训练相应的分类器，因为training inference较少，所以称之为o