admin管理员组文章数量:1567539
2024年3月26日发(作者:)
第38卷第3期
2021年3月
计算机应用与软件
ComputerApplicationsandSoftware
Vol38No.3
Mar.2021
基于样本冗余度的主动学习优化方法
,2
范纯龙
1
王翼新
1
宿 彤
1
张振鑫
1
1
2
(沈阳航空航天大学计算机学院 辽宁沈阳110136)
(辽宁省大规模分布式系统实验室 辽宁沈阳110136)
摘 要 主动学习解决了因训练样本过大而导致需要大量人力物力的问题,核心问题是如何选择有价值的样
本减少标注成本。以神经网络为分类器,大多数方法选择信息量大的样本并没有考虑所选择样本间的信息冗余
问题。通过对冗余问题的研究,提出一种降低信息冗余的样本选择优化方法。用不确定性方法选出信息量大的
样本构成候选样本集,同时用网络中计算的潜变量向量表示样本信息,利用该向量计算候选样本间的余弦距离选
择出间隔距离大、信息冗余度低的子集。在Mnist、Fashionmnist,以及Cifar10数据集中与几种不确定性方法相
比,在相同样本准确率下,该方法最低减少11%标记样本。
关键词 主动学习 信息冗余 余弦距离 不确定性方法
中图分类号 TP181 文献标志码 A DOI:10.3969/j.issn.1000386x.2021.03.044
ACTIVELEARNINGOPTIMIZATIONMETHODBASEDONSAMPLEREDUNDANCY
1,2111
FanChunlong WangYixin SuTong ZhangZhenxin
1
2
(SchoolofComputer,ShenyangAerospaceUniversity,Shenyang110136,Liaoning,China)
(LargescaleDistributedSystemLaboratoryofLiaoningProvince,Shenyang110136,Liaoning,China)
Abstract Activelearningsolvestheproblemofexcessivetrainingsamples,andthecoreproblemissampleselection.
Withneuralnetworksasclassifiers,mostmethodschoosealargeamountofinformationanddonotconsiderthe
informationredundancybetweenselectedsamples.Byresearchingtheredundancyproblem,asampleselection
optimizationmethodforreducinginformationredundancyisproposed.Thismethodusedtheuncertaintymethodtoselect
thesamplewithlargeamountofinformationtoformthecandidatesampleset,andthevectoroflatentvariablescalculated
inthenetworkwasrepresented.Thesampleinformationusedthevectortocalculatethecosinedistancebetweenthe
candidatesamplestoselectasubsetwithalargeseparationdistanceandlowinformationredundancy.Comparedwith
severaluncertaintymethodsinthemnist,fashionmnist,andcifar10datasets,thelowestsamplesizecanbereducedby
11%withthesamesampleaccuracy.
Keywords Activelearning Informationredundancy Cosinedistance Uncertaintymethod
技术的普遍应用可以使人们很容易获得海量数据,但
0 引 言
近几年,图像识别及其分类是深度学习领域中的
重要应用,其中有监督学习是重要方法之一。但是利
用该方法解决图像分类问题需要大量的有标签数据,
然后利用分类器的参数学习样本中的特征,从而达到
较好的分类效果。对于大量有标签数据的需求,网络
1-3]
是在一些实际应用中
[
,取得无标签样本很容易而
标注样本是代价昂贵或耗费时间的。基于此类常见的
[1]
问题,Angluin提出了“主动学习”。
主动学习的目的是减少对样本数据的标注成本,
用最少的有标签样本达到接近全样本训练效果。主动
学习按照样本抽样模式可分为流样本模式和池样本模
式,由于流样本模式的选择策略需要根据不同的任务
2019-08-29。范纯龙,博士,主研领域:时序数据分析,飞机试验数据和环境管理,飞机保障和维修。王翼新,硕士收稿日期:
生。宿彤,硕士生。张振鑫,硕士生。
292 计算机应用与软件2021年
进行适当的调整,很难作为通用方法使用。所以,近些
4-6]
年来主动学习主要在池样本模式上发展
[
,即在固
定的大量无标签样本集中,根据选择策略反复选择对
池样本模式下,根据不同分类器有不同选择策略。
以SVM为分类器条件下,利用样本与支持向量之
VM的批间的距离明确地度量了样本的信息量,例如S
20-22]
模式主动学习方法等
[
,但是考虑到样本之间分布
当前分类器而言信息量大的样本,其中按照选择策略
3,5,7-8]
、泛化能原理不同,主要有基于不确定度
[
[9-10][11-12]
、模型空间等方法。这些策略都是根据力
样本与当前分类器或样本分布之间的关系,每次选择
MaximumMeanDiscrepancy,问题,使用最大均值差异(
[23]
MMD)度量了样本集之间的分布差异,从而保证了
的样本数量多、信息量大且训练效果明显,但是没有考
虑到样本对分类器而言信息重叠问题,即信息冗余问
无标签集和有标签集的分布一致性,例如边缘分布批
[13]
模式方法(BatchModeActiveLearning,BMAL)、代
表性方法(DiscriminativeandRepresentativeModelAc
题。尽管每次选择样本的信息量足够大,但是信息冗
余问题会导致选择多余的无意义样本,主动学习会因
此失去意义。
主动学习的分类器选择主要有SVM
[5,7,13]
、神经
网络
[3,8-9,14]
和KNN分类器
[15]
。为了解决选择样本
信息冗余问题,很多学者在以SVM为分类器的基础上
做了很多研究
[13,16-17]
,提出了样本相似性、代表性等
概念解决了该问题。但是这些方法在计算这些指标时
的计算量很大,且在多分类时训练分类器个数较多,实
用性不高。进一步地,有学者提出将神经网络作为分
类器,神经网络有能同时进行多分类且分类效果好的
优点。目前方法主要考虑如何更准确度量样本不确定
性,利用不确定性选择分类边界附近样本,并将之作为
信息量大的样本。在解决信息冗余问题上,由于神经
网络没有明确的可解释性,除了可视化方法外,无法明
确地判断样本对神经网络的信息具体是什么,所以目
前方法考虑更好地度量样本对分类器的不确定
性
[3,8-9,14,18]
,没有考虑冗余问题。
综上所述,SVM在计算量大、样本类别多的情况
下训练麻烦,在以神经网络为分类器条件下没有解决
多个样本之间信息冗余问题。针对此问题,提出
DRAL(DiscriminativeAndRedundancyActiveLearning)
方法,该方法用带有多层感知机(multilayerpercep
tion,MLP)的卷积神经网络CNN计算得到样本潜变量
向量表示样本信息,用不确定性方法选择信息量大的
样本构成候选集,利用余弦距离从候选集选出信息量
大且冗余度小的样本集。不确定性方法经过该方法提
升后,在LeNet5和NIN(NetworkinNetwork)
[19]
神经
网络上,用Mnist、Fashionmnist和Cifar10数据集测
试,在相同准确率条件下,最低减少11%标记样本。
本文的主要贡献在于:通过利用神经网络计算的
潜变量,在度量样本信息量基础上提出一种降低样本
冗余度方法。
1 相关工作
样本选择策略是主动学习过程中的核心问题,在
tiveLearning,DRMAL)
[16]
。进一步地,使用相似度稀
疏模型(DissimilaritybasedSparseModelingRepresenta
tiveSelection,DSMRS)
[24]
和互信息方法度量了样本集
之间相似性从而降低了样本集之间的冗余性。例如自
适应主动学习方法
[15]
、凸规划主动学习方法(Convex
ProgrammingActiveLearning,CPAL)
[25]
等。
以神经网络为分类器条件下,与SVM类似,越接
近分类边界的样本信息量越大,目前大多数采用不确
定性方法度量。由于神经网络未能明确解释原因,有
些学者认为当前方法选择样本不够接近分类边界,需
要重新选择在分类边界附近的样本,例如:计算多次
dropout后的结果均值作为最终分类结果的贝叶斯算
法(DeepBayesianActiveLearning,DBAL)
[8]
;利用生
成对抗样本的Deepfool算法
[26]
攻击无标记样本(Deep
FoolActiveLearning,DFAL)算法;考虑到样本分布关
系,为了保证有标记样本集和无标记样本集的分布一
致性,利用加入了分类器自定标签的高可信样本方法
(CostEffectiveActiveLearning,CEAL)
[27]
,用欧氏距离
把样本选择问题变成K中心问题
[9]
,这些方法都保证
了分布一致性且可以选择信息量大且数量多的样本,
但是没有解决信息冗余问题。本文提出DRAL方法降
低了冗余度,达到更好的效果。
2 问题描述
本节定义了主动学习问题,通过带有MLP的CNN
中的“潜变量”间接度量了样本信息量和样本信息冗
余度。结合主动学习过程,定义了最小化冗余度问题。
假设有m类n个样本。基于池样本选择样本模式
的主动学习问题如下:
问题1 假设有标记集样本数量为n
L
,L={x
i
|
i=1,2,…,n
L
};无标记集样本数量为n
U
,U={x
i
|
i=1,2,…,n
U
},x
k
i
∈
R且n
L
+n
U
=n;样本标签集:
Y={y
i
|i=1,2,…,n
L
}且y
m
i
∈
R。CNN模型的损
失函数为l(L,Y;f(
θ
)),其映射为R
n
L
×k
×R
n
L
×m
→
R
n
L
。
第3期 范纯龙,等:基于样本冗余度的主动学习优化方法 293
每次从U中选择k个样本构成S集放入到L中,主动学
i
习问题为:
min E[l(L,Y;f())]-E[l(L+U;f())]
θθ
L
s.t.
S
=k且L=
∪
S
i
i
i=1:T
其中损失函数是信息交叉熵函数,即:
1
l(L,Y,)=-
∑∑
1{y}logp(y|x;)(1)
θθ
i
=j
i
=j
i
n
j=i=11
L
式中:T是迭代次数;1{·}是指示函数,当CNN预测
正确时为1,否则为0;p(y|x;)是经过Softmax
θ
i
=j
i
n
L
m
样本集之间信息冗余少,冗余问题主要在S
i
集中的样
本之间。
集的冗余度问题分析如图1所示,其中:圆关于S
i
形、三角形代表两类样本m、m;虚线是初始分类边
12
界;实线是选择样本后的分类边界;网格点是候选样本
(i)
集;实点是选择的样本集。样本分为两类m、m,m
12j
表示属于第j类样本中的第i个样本子集。假定根据
不确定性方法已经选择了一些样本并做标记。情况如
(1)(2)
图1(a)所示,在CNN分类边界附近的mm
1
、
2
样本
过程后在j类的输出结果。
由于CNN没有明确的可解释性,所以明确样本对
CNN的具体信息是什么很困难。鉴于此问题,假定
CNN经过卷积层后接有MLP全连接层,并规定MLP
中的隐层输出向量为潜变量,通过潜变量抽象表示样
本信息。潜变量向量的模长表示信息量,通过计算样
本间距离大小表示信息冗余。常用距离度量有欧氏距
离和余弦距离,余弦距离计算效果更好且计算得出结
论相同,所以选择余弦距离。进一步地,内积度量样本
间的信息冗余度,即内积越大表示潜变量的相似度越
高,被比较的两个样本间的信息量冗余度越高。
定义1 对于样本x
i
、x
j
,经过CNN计算的潜变量
为x′、x′,且x′
n
iji
,x′
j
∈
R,则n个样本间的信息冗余矩
阵R和信息量I为:
r
11
r
12
…r
1k
R=
r
21
r
22
…r
2k
r
k1
r
k2
…r
kk
I=[I
1
,I
2
,…,I
n
]
式中:r〈
1
ij
=x′
i
,x′
j
〉;I
i
=
‖
x′
i
‖
2
2
。
为了解决问题1,通过降低冗余度达到该目的,即
选择信息量大且冗余度小的样本集。问题1变为如何
选择样本集S
i
,使得样本间冗余度最小。
问题2 假设已有冗余度矩阵R,从U中选择样本
集S
i
,使得R的均值最小,即:
min
L
average(R)
s.t.
S
i
=k且L=
i
∪
=1:T
S
i
3 冗余度方法
冗余问题主要在多次选择的S
i
样本集之间或者
单次选择的S
i
集中样本之间。假设每次选择完S
i
,经过
标记后CNN在集合L上收敛,因此,每次迭代选择的S
i
集中选择了若干样本,经过迭代训练后,原来的虚线边
界变成了实线边界,结果并不能完全将两类样本分开。
由此可见,根据不确定性方法选择的样本集具有信息
冗余性。针对此问题,本文提出DRAL方法。
图1
s
i
集的冗余度问题分析情况
3.1 不确定性方法
基于池样本模式的样本选择原理主要是在无标记
池中选择信息量大的样本来使CNN快速拟合样本,信
息量大意味着无标记样本经过CNN计算后,在各个分
类上的概率接近
1
[26]
m
,或者在最可能的分类上不确
定,此类样本接近分类器边界即为图1(a)中选择的样
本。目前的几种不确定性方法如下:
(1)低可信度
[26]
:
x
=argmax
x
[1-p(y
max
|x
i
;
θ
)](2)
式中:y
max
=max(y
i
=j|x
i
;
θ
)。样本在各个分类概率
中的最大值由小到大排序,选择前K个样本。
(2)信息熵
[26]
:
x
=argmax
x
-
∑
p(y
i
=j|x
i
;
θ
)logp(y
i
=j|x
i
;
θ
)(3)
i
按照信息熵由大到小排序,选择前K个样本。
(3)贝叶斯估计
[8]
:
T
p=
1
T
∑
p(y
i
=j|x
i
;
θ
,dropout
t
)(4)
t=1
在多次dropout值条件下平均分类结果,然后结合
式(2)和式(3)选择样本。
3.2 冗余度算法
如图1(a)所示,上述不确定性方法选择样本过程
仅是按照给定计算指标排序选择一些样本作为S
i
集,
该过程中并没有考虑样本冗余,从而选择了无意义的
294 计算机应用与软件2021年
/方法(3),在
U中选择NK个样本,构成候选集C
/
4. Dis=D(C);
/构成距离矩阵D
计算所有样本之间余弦距离,
/
5. Q=R(Dis,K);/从候选集
C中得到样本
由算法1可得,
/数目为K的待标记样本集Q
/
6. L=L+Q;U=U-Q;
/
,从无标签集删除Q
/
在有标签集添加
Q
(CNN,L);7. CNN=train/上训练CNN
在
L
/
样本。基于此问题提出DRAL方法,如图1(b)所示,
将位于CNN分类边界附近的样本构成候选样本集,该
集合包括所有类别。最后,从该候选样本集中选择冗
余度小的样本子集。
根据不确定性方法选择位于CNN分类边界附近
的样本构成候选样本集。计算所有候选样本间的潜变
量间余弦距离矩阵:
d
11
d
12
…d
1k
D=
d
21
d
22
…d
2k
R
(5)
=
2
槡
I
T
×I
d
k1
d
k2
…d
kk
利用距离矩阵得到冗余度小的样本集,即每次从
候选集选出与待标记集最不相似的样本,特别地,若L
为空集则选择与候选集最相似样本。冗余度算法如算
法1所示。
算法1 冗余度算法
输入:距离矩阵
D;样本数目k
。
输出:待标记样本集
L
。
1.While|L|<k
2. IfL=
:
3. P=average_column(D);/
根据式(5)计算距离矩阵D
行均值向量
/
4. Index=min(P);/
得到与整个候选集最相似的样本索
引
/
5. Else
6. D1=D(L);P=average_row(D1);/
按照
L中样本在
候选集中索引,把D行向量拼接成D矩阵,计算D
列均值
/
7. Index=max(P);/
取出与
L
样本集最不相似的样
本
/
8. L=L+index;/
做标记,放入
L
中
/
9. D=L-D;/
按照
L中样本在候选集中索引,把D
列向量
删除
/
10.Endwhile
11.returnL
3.3 DRAL方法
从上述算法可看出,利用余弦距离、冗余度算法的
目的是从候选样本集中选择具有类别多样性、冗余度
小的样本集。结合上述不确定性方法,DRAL算法过
程如算法2所示。
算法2 DRAL算法
输入:有标签样本集
L;无标记样本集U;每次选择样本数K;候
选样本数NK;最大迭代次数T;当前迭代次数t
。
输出:CNN模型。
1.在L上初始化CNN;
2.whilet<TandNK<|U|
3. C=uncertain(U);/
根据不确定方法(1)或方法(2)或
8.endwhile
9.returnCNN
假设在无标记样本池中,一轮内选出K个样本,以
LeNet5网络为分类器有S个卷积核,设单个卷积核计
算时间为t
s
,DRAL方法和不确定性方法的时间复杂
度分析如下:
不确定性方法:
T
U
=T
s
+T
k
(6)
DRAL方法:
T
D
=T
s
+T
k
+T
R
(7)
式中:T
s
是经过网络训练时间;T
k
是排序选择样本时
间;T
R
是冗余度计算时间。
T
s
=t
s
KS=O(t
s
S)(8)
T
k
=K=O(1) T
R
=NK=O(N)(9)
显然,t
s
S
N>1,则T
s
T
R
>T
k
,时间主要消
耗在训练神经网络上,则式(6)与式(7)有如下关系:
T
U
≈
T
D
≈
O(t
s
S)(10)
由式(10)可得出两种方法的运行时间大致相同。
4 实验与结果分析
4.1 数据集和网络结构
在Lenet和NIN模型上对Mnist、Fashionmnist,以
及Cifar10进行多次实验。神经网络结构见表1和表
2,数据集的说明如下:
(1)Mnist:28×28灰度图,共10类。用于识别手
写数字数据集,其中:训练集50000幅,验证集5000
幅,测试集10000幅。实验用10000幅作为无标记样
本池。
(2)Fashionmnist:28×28灰度图,共10类。用
于识别时尚服装数据集,其中:训练集50000幅,测试
集10000幅。由于复杂度比Mnist更高,实验用
20000幅作为无标记样本池。
(3)Cifar10:32×32×3彩色图,共10类。用于
识别普适物体的小型数据集,其中:训练集50000幅,
测试集10000幅。实验用20000幅作为无标记样
本池。
第3期 范纯龙,等:基于样本冗余度的主动学习优化方法
续表2
类型
Fc(dropout25%)
Fc
Softmax
核尺寸/步长
—
—
—
输出尺寸
1×1×512
1×1×10
1×1×10
295
表1 Mnist和Fashionmnist实验网络结构
类型
卷积
池化
卷积
池化
Fc(dropout50%)
Fc
Softmax
核尺寸/步长
3×3/1
2×2/2
3×3/1
2×2/2
—
—
—
表2 Cifar10实验网络结构
类型
卷积
批归一化
卷积
卷积
池化
卷积
批归一化
卷积
卷积
池化
卷积
BN
卷积
卷积
核尺寸/步长
5×5/1
—
1×1/1
1×1/1
3×3/2
5×5/1
—
1×1/1
1×1/1
3×3/2
3×3/1
—
1×1/1
1×1/1
输出尺寸
32×32×192
32×32×192
32×32×160
32×32×96
15×15×96
15×15×192
15×15×192
15×15×192
15×15×192
7×7×192
7×7×192
7×7×192
7×7×192
7×7×64
输出尺寸
28×28×32
13×13×64
13×13×64
6×6×64
1×1×128
1×1×10
1×1×10
4.2 实验参数
为了降低实验偶然性的影响,每个数据集实验都
是平均了5次的结果。每次实验中,为了避免模型在
训练过程中具有倾向性,每次迭代选择的验证集是从
现有的有标签集中的每类随机均匀抽取2%样本,且
NN初始化网络参数一样。在各个数据集实验的C
实验使用Python平台的Keras工具包,将DRAL
26]26]
方法与不确定性方法中的低可信度
[
、信息熵
[
和
8]
贝叶斯方法
[
进行了多次对比。对于Mnist数据集,
n00,T=15,N=3,K=100,特征向量长度128,
0
=1
网络结构见表1。对于Fashionmnist数据集,n
0
=
200,T=20,N=10,K=150,特征向量长度256,网络
结构见表1,特别地,Fc层输出长度变为256。Cifar10
数据集,考虑到数据集复杂性和网络训练问题为了能
减少过拟合和结果稳定性,dropout值降低,n
0
=
1000,T=20,N=30,K=150,dropout=0.25,特征向
12。本文实验对比的是3.1节的不确定性量长度5
方法。
4.3 实验结果分析
为了验证DRAL算法有效性,由于数据集的复杂
度不同,因此不同的数据集使用不同的网络结构。结
果见图2。
图2 DRAL算法在不同数据集上的实验结果
296 计算机应用与软件2021年
可以明显看出,DRAL算法在原有的不确定性方
法中有明显的提升。以不确定性方法的最高准确率所
nist中,不确定性方法达到98%需样本为对比,在M
时,entropy最高减少28%样本,Bayesian方法最低减
少16%样本;在Fashionmnist中,不确定性方法达到
85%时,least最高减少30%样本,entropy最少减少
14%样本;在Cifar10中,三种方法在达到52%准确率
时,least最高减少22%,Bayesian最少减少11%样本。
从上述结果分析可知,DRAL方法在三种方法最高减
网络参数不一致,对于此问题,本实验尽可能让初始化
网络在测试集上效果相同。可以看出,当模型准确率
达到80%时,前者比后者多了100个有标记样本。所
以,特征向量越长所带有的信息量更多。
图3(b)实验是在同样的数据集中,在n00、
0
=2
T=20、K=100、特征向量长度为256的条件下,候选
集的样本数量分别是300和1000,初始化网络参数均
相同。同样地,当模型准确率达到80%时,前者比后
者多用了100个有标记样本。通过该实验可以比较
少30%样本,最低减少11%样本。
从这些结果中可以发现,原来的三种不确定性方
法所选择的样本的信息对于分类器而言具有冗余性。
因为DRAL算法主要是经过冗余度算法选出冗余度小
的样本集。图2中准确率升高,相同样本数目下,信息
量变大,冗余度因此降低。以时间为代价,DRAL方法
可以合理有效提升不确定性方法。
为了降低潜变量特征向量长度和候选样本数目对
样本冗余度研究的影响,对潜变量特征向量长度和候
选样本数目进行了实验。在Fashionmnist中,特征向
量分别是128和256以及候选样本数目分别是300和
1000的条件下,都经过DRALleast方法的两组实验。
信息冗余度与特征向量长度和候选样本数目关系实验
结果如图3所示。
图3 DRAL算法中特征向量长度
和候选样本数与冗余度的关系
图3(a)实验是在Fashionmnist数据集中,候选样
本数量1000的条件下,特征向量长度分别为128和
256。由于CNN在最后一层的宽度不同,所以初始化
出,若候选样本数量较少时,候选样本集所带有的信息
量不足,但冗余度小,此时会受到样本数目的影响。
经过上述实验可以看出,经过CNN计算得出的特
征向量维度越高,候选样本越多带有的信息量越多,经
过DRAL算法提升后效果越明显。而所选择的候选样
本数目越多,信息冗余性越强。经过DRAL算法提升
效果越好。
5 结 语
在主动学习池样本选择模式下,本文提出一种减
少样本信息冗余的DRAL方法,使用不确定性方法经
过CNN选择大量的候选样本构成候选集,在候选集中
利用样本余弦距离关系进行第二次筛选,从而得到信
息量较大且冗余度小的样本集。该方法可以有效地减
少样本数据冗余,进一步减少模型所需的有标记样本
数量。未来可以进一步优化不确定性方法。
参考文献
[1]AngluinD.Queriesandconceptlearning[J].MachineLearn
ing,1988,2(4):319-342.
[2]吴莹,罗明.基于改进的半监督主动学习的雷达信号识别
[J].信号处理,2018,34(6):661-667.
[3]ZhouZ,ShinJ,ZhangL,etal.FineTuningconvolutional
neuralnetworksforbiomedicalimageanalysis:Activelyand
incrementally[C]//2017IEEEConferenceonComputerVi
sionandPatternRecognition(CVPR),2017.
[4]任红格,李冬梅,李福进.动态神经网络分类器主动学习
算法及其智能控制应用[J].计算机应用与软件,2016,33
(7):247-251.
[5]TongS,KollerD.Supportvectormachineactivelearningwith
applicationstotextclassification[J].JournalofMachine
LearningResearch,2002,2(1):999-1006.
[6]WuD.Poolbasedsequentialactivelearningforregression
[J].IEEETransactionsonNeuralNetworksandLearning
Systems,2019,30(5):1348-1359.
[7]TongS,KollerD.SupportVectorMachineActiveLearning
第3期 范纯龙,等:基于样本冗余度的主动学习优化方法 297
withApplicationstoTextClassification[J].JournalofMa
chineLearningResearch,2002,2(1):999-1006.
[8]GalY,IslamR,GhahramaniZ.Deepbayesianactivelearning
[C]//34thInternationalConferenceonMawithimagedata
chineLearning,2017.
[9]SenerO,SavareseS.Activelearningforconvolutionalneural
networks:Acoresetapproach[EB].arXiv:1708.
00489,2017.
[10]CohnD,AtlasL,LadnerR.Improvinggeneralizationwithac
[J].MachineLearning,1994,15(2):201tivelearning
[J].IEEETransactionsonPatternAnalysissubsetselection
andMachineIntelligence,2016,38(11):2182-2197.
[25]ElhamifarE,SapiroG,YangA,etal.Aconvexoptimization
frameworkforactivelearning[C]//2013IEEEInternational
ConferenceonComputerVision,2013.
[26]MoosaviDezfooliSM,FawziA,FrossardP.DeepFool:Asim
[J].
pleandaccuratemethodtofooldeepneuralnetworks
2016IEEEConferenceonComputerVisionandPatternRec
ognition(CVPR),2016.
[27]WangK,ZhangD,LiY,etal.CostEffectiveactivelearning
-221.
11]FreundY,SeungHS,ShamirE,etal.Selectivesamplingu
singthequerybycommitteealgorithm[J].MachineLearn
ing,1997,28(2-3):133-168.
12]DaganI,EngelsonSP.CommitteeBasedsamplingfortrain
ingprobabilisticclassifiers[C]//TwelfthInternationalCon
ferenceonMachineLearning,1995:150-157.
13]ChattopadhyayR,WangZ,FanW,etal.Batchmodeactive
samplingbasedonmarginalprobabilitydistributionmatching
[J].ACMTransactionsonKnowledgeDiscoveryfromData,
2013,7(3):1-25.
14]DucoffeM,PreciosoF.Adversarialactivelearningfordeep
networks:Amarginbasedapproach[EB].arXiv:1802.
09841,2018.
15]CardosoTNC,SilvaRM,CanutoS,etal.Rankedbatch
modeactivelearning[J].InformationSciences,2017,379:
313-337.
16]WangZ,YeJ.Queryingdiscriminativeandrepresentative
samplesforbatchmodeactivelearning[J].ACMTransac
tionsonKnowledgeDiscoveryfromData,2015,9(3):1
-23.
17]LiX,GuoY.Adaptiveactivelearningforimageclassification
[C]//2013IEEEConferenceonComputerVisionandPat
ternRecognition,2013:859-866.
18]HuangSJ,JinR,ZhouZH,etal.Activelearningbyquer
yinginformativeandrepresentativeexamples[C]//23rdIn
ternationalConferenceonNeuralInformationProcessingSys
tems,2010.
19]LinM,ChenQ,YanS.Networkinnetwork[J].arXiv:1312.
4400,2013.
20]FuY,ZhuX,LiB.Asurveyoninstanceselectionforactive
learning[J].KnowledgeandInformationSystems,2013,35
(2):249-283.
21]ActiveLearning[J].Science,2011,332(6031):765-765.
22]SettlesB.Activelearningliteraturesurvey[D].US:Universi
tyofWisconsinMadison,2009.
23]KimB,PineauJ.Maximummeandiscrepancyimitationlearn
ing[C]//RoboticsScienceandSystems,2013.
24]ElhamifarE,SapiroG,SastrySS.Dissimilaritybasedsparse
fordeepimageclassification[J].IEEETransactionsonCir
cuitsandSystemsforVideoTechnology,2017,27(12):2591
-2600.
(上接第268页)
[12]LiuZ,MaJ,PeiQ,etal.Keyinfection,secrecytransfer,
andkeyevolutionforsensornetworks[J].IEEETransac
tionsonWirelessCommunications,2010,9(8):2643
-2653.
[13]JiaX,XinF,ChuanWR.Adaptivestrayroutingforoppor
tunisticnetworks[J].InternationalJournalonSmartSensing
andIntelligentSystems,2013,6(1):95-119.
[14]吕琳媛.复杂网络链路预测[J].电子科技大学学报,
2010,39(5):651-661.
[15]LibenNowellD,KleinbergJ.Thelinkpredictionproblem
forsocialnetworks[J].JournaloftheAmericanSocietyfor
InformationScienceandTechnology,2007,58(7):1019
-1031.
[16]PujariM,KanawatiR.Supervisedrankaggregationapproach
forlinkpredictionincomplexnetworks[C]//21stWorld
WideWebConference,2012:1189-1196.
[17]LüL,PanL,ZhouT,etal.Towardlinkpredictabilityof
complexnetworks[J].ProceedingsoftheNationalAcademy
ofSciences,2015,112(8):2325-2330.
[18]BenchettaraN,KanawatiR,RouveirolC.Supervisedma
chinelearningappliedtolinkpredictioninbipartitesocial
networks[C]//2010InternationalConferenceonAdvances
inSocialNetworksAnalysisandMining(ASONAM),2010:
326-330.
[19]姚飞亚,陈肞.基于相似度传播的二分网络链接预测
[J].计算机科学,2016,43(4):86-91.
[20]LiX,ChenH.Recommendationaslinkpredictioninbipar
titegraphs:Agraphkernelbasedmachinelearningapproach
[J].DecisionSupportSystems,2013,54(2):880-890.
[21]DezaMM,DezaE.Encyclopediaofdistances[M].Spring
er,2009.
[22]彭海.皮尔逊相关系数应用于医学信号相关度测量[J].
电子世界,2017(7):163.
[
[
[
[
[
[
[
[
[
[
[
[
[
[
版权声明:本文标题:基于样本冗余度的主动学习优化方法 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dianzi/1711426564a309167.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论