发布日期：2024-10-06 20:27 点击次数：83
跟着大数据时间的到来， 深度学习模子也曾在图像分类、文分内类等任务中取得了先进遵循.但深度学习模子的顺利， 很猛进度上依赖于多半锤真金不怕火数据.而在现实宇宙的果然场景中， 某些类别只须极少数据或极少标注数据， 而对无标签数据进行标注将会消耗多半的本领和东说念主力.与此相背， 东说念主类只需要通过极少数据就能作念到快速学习.例如， 一个五六岁的小孩子从未见过企鹅， 但要是给他看过一张企鹅的图像， 当他参加动物园看到信得过的企鹅时91porn com， 就会立时认出这是我方也曾在图像上见过的“企鹅”， 这等于机器学习和东说念主类学习之间存在的差距.受到东说念主类学习不雅点的启发[1]， 小样本学习(few-shot learning)[2， 3]的成见被提议， 使得机器学习愈加围聚东说念主类想维.
早在20世纪八九十年代， 就有一些研究东说念主员贯注到了单样本学习(one-shot learning)的问题.直到2003年， Li等东说念主[4]才厚爱提议了单样本学习的成见.他们认为: 当新的类别只须一个或几个带标签的样本时， 也曾学习到的旧类别不错匡助预测新类别[5].小样本学习也叫作念少样本学习(low-shot learning)[6]， 其缱绻是从极少样本中学习到治理问题的方法.与小样本学习关系的成见还有零样本学习(zero-shot learning)[7]等.零样本学习是指在莫得锤真金不怕火数据的情况下， 驾御类别的属性等信息锤真金不怕火模子， 从而识别新类别.
小样本学习的成见最早从算计机视觉(computer vision)[8]领域兴起， 近几年受到平凡瞻仰， 在图像分类任务中已有好多性能优异的算法模子[9-11].但是在当然话语处理领域(natural language processing)[12]的发展较为缓慢， 原因在于图像和话语特色不同.图像比较文本更为客不雅， 是以当样本数目较少时， 图像的特征索求比文本愈加容易[13].不外连年来， 小样本学习在当然话语处理领域也有了一些研究和发展[14-16].凭据所接受方法的不同， 本文将小样本学习分为基于模子微调、基于数据增强和基于迁徙学习这3种.基于模子微调的方法最初在含有多半数据的源数据集上锤真金不怕火一个分类模子， 然后在含有极少数据的缱绻数据集上对模子进行微调.但这种作念法可能导致模子过拟合， 因为极少数据并不行很好地反应多半数据的果然散播情况.为治理上述过拟合的问题， 基于数据增强和基于迁徙学习的小样本学习方法被提议.基于数据增强的方法是驾御扶持数据集或者扶持信息增强缱绻数据都集样本的特征或扩张对缱绻数据集， 使模子能更好地索求特征.本文凭据学习方法的不同， 将基于数据增强的小样本学习方法进一步细分为基于无标签数据、基于数据合成和基于特征增强这3类方法.基于迁徙学习的方法是目下比较前沿的方法， 是指将也曾学会的学问迁徙到一个新的领域中.本文凭据学习框架， 将基于迁徙学习的方法细分为基于度量学习、基于元学习和基于图神经辘集(graph neural network)的方法.在度量学习的框架下， 目下已有许多性能较好的小样本学习模子， 例如比较著名的原型辘集(prototypical network)[9]和匹配辘集(matching network)[17]等.基于元学习的方法不仅在缱绻任务上锤真金不怕火模子， 况且从许多不同的任务中学习元学问， 当一个新的任务到来时， 驾御元学问调养模子参数， 使模子粗略快速管制.连年来， 跟着图神经辘集的兴起， 研究者将图神经辘集也应用到小样本学习中， 取得了先进的斥逐.
除了图像分类和文分内类这两个主要任务， 许多其他任务也濒临着小样本问题.在算计机视觉应用中， 驾御小样本学习进行东说念主脸识别[8， 18， 19]、食物识别[20]、样式识别[21]、手写字体识别[22， 23]以偏激他的图像识别[24].在当然话语处理当用中， 使用小样本方法末端对话系统[25]、白话协调[26]， 或者完成NLP的基本任务， 例如word embedding[27].在多媒体领域应用中， 不错使用小样本方法末端影像索求[28]和声纹识别[29]等.在生物与医学领域， 不错应用于疾病会诊[30， 31]、临床实验[32， 33]、顾问才能评价[34]、农作物病害识别[35， 36]、水量分析[37]等.在经济领域， 可应用于产物销量预测[38]等.在工业与军事领域， 可应用于齿轮泵寿命预测[39]、军事缱绻识别[40]和缱绻要挟评估[41]等.
本文最初从基于模子微调、基于数据增强和基于迁徙学习这3种方法先容小样本学习的研究进展， 总结小样本学习的几个著名数据集以及已有模子在这些数据集上的实验斥逐; 接下来， 本文对小样本学习的研究近况和主要挑战进行总结; 终末预测了畴昔的发展趋势.
1 基于模子微调的小样本学习基于模子微调的方法是小样本学习较为传统的方法， 该方法往往在大范围数据上预锤真金不怕火模子， 在缱绻小样本数据集上对神经辘集模子的全联接层或者尖端几层进行参数微调， 得到微调后的模子.若缱绻数据集和源数据集散播较雷同， 可接受模子微调的方法.
为了使微调后的小样分内类模子取得较好的效果， 使用何种微调方法需要被斟酌.Howard等东说念主[14]在2018年提议了一个通用微调话语模子(universal language model fine-tuning， 简称ULMFit).与其他模子不同的是， 此方法使用了话语模子而非深度神经辘集.该模子分为3个阶段: (1) 话语模子预锤真金不怕火; (2) 话语模子微调; (3) 分类器微调.该模子的改进点在于改变学习速度来微调话语模子， 主要体当今两个方面.
1) 传统方法认为， 模子每一层学习速度相似; 而ULMFit中， 话语模子的每一层学习速度均不相似.模子底层知道广泛特征， 这些特征不需要很大调养， 是以学习速度较慢; 而高层特征更具有稀奇色， 更能体现出任务和数据的稀奇特征， 于是高层特征需要用更大的学习速度学习.总体看来， 模子底层到最高层学习速度不停加速.
2) 关于模子中的归并层， 当迭代次数变化时， 自身学习率也会相应地产生变化.作家提议了斜三角学习率的成见， 当迭代次数从0脱手加多时， 学习速度渐渐变大; 当迭代次数增长到某个固定值时， 此时也曾学习到了充足学问， 固定值之后的学习率又脱手渐渐下落.
论文从纵向和横向两个维度学习速度的变化对话语模子进行微调， 让模子更快地在小样本数据集上管制; 同期， 让模子学习到的学问更符总缱绻任务.另外， Nakamura等东说念主[42]提议了一种微调方法， 主要包含以下几个机制: (1) 在小样本类别上再锤真金不怕火的过程使用更低的学习率; (2) 在微调阶段使用自适当的梯度优化器; 3) 当源数据集和缱绻数据集之间存在较大各异性时， 不错通过调养整个这个词辘集来末端.
基于模子微调的方法较简便， 但是在果然场景中， 缱绻数据集和源数据集频频并不雷同， 接受模子微调的方法会导致模子在缱绻数据集上过拟合.为治理模子在缱绻数据集上过拟合的问题， 两种治梦想路被提议: 基于数据增强和基于迁徙学习的方法.这两种方法将在接下来的两个章节中轮换先容.
2 基于数据增强的小样本学习小样本学习的根蒂问题在于样本量过少， 从而导致样本千般性变低.在数据量有限的情况下， 不错通过数据增强(data augmentation)[43]来提高样本千般性.数据增强指借助扶持数据或扶持信息， 对原有的小样本数据集进行数据扩张或特征增强.数据扩张是向原罕有据集添加新的数据， 不错是无标签数据或者合成的带标签数据; 特征增强是在原样本的特征空间中添加便于分类的特征， 加多特征千般性.基于上述成见， 本文将基于数据增强的方法分为基于无标签数据、基于数据合成和基于特征增强的方法三种.接下来， 就这3种方法分别先容小样本学习的进展.
2.1 基于无标签数据的方法基于无标签数据的方法是指驾御无标签数据对小样本数据集进行扩张， 常见的方法有半监督学习[44， 45]和直推式学习[46]等.半监督学习是机器学习领域研究的重心问题[47]， 将半监督方法应用到小样本学习当今也曾有了许多尝试.2016年， Wang等东说念主[48]在半监督学习的想想下， 同期受到CNN可迁徙性的启发， 提议驾御一个附加的无监督元锤真金不怕火阶段， 让多个顶层单位斗争果然宇宙中多半的无标注数据.通过饱读舞这些单位学习无标注数据中低密度分离器的diverse sets， 拿获一个更通用的、更丰富的对视觉宇宙的描摹， 将这些单位从与特定的类别集的磋议中解耦出来(也等于不单是能知道特定的数据集).作家提议了一个无监督的margin最大化函数来协调臆测高密度区域的影响并推测低密度分离器.低密度分离器(LDS)模块不错插入任何程序的CNN架构的顶层.除此以外， Boney等东说念主[49]在2018年提议使用MAML[11]模子来进行半监督学习， 驾御无标签数据调养镶嵌函数的参数， 用带标签数据调营养类器的参数.MAML算法本文将在第3.2节详实先容.2018年， Ren等东说念主[50]在原型辘集[9]的基础上进行更正， 加入了无标注数据， 取得了更高的准确率.此模子本文将在第3.1节进行详实先容.
直推式学习可看作半监督学习的子问题.直推式学习假定未标注数据是测试数据， 方针是在这些未标记数据上取得最好泛化才能.Liu等东说念主[51]使用了直推式学习的方法， 在2019年提议了转导传播辘集(transductive propagation network)来治理小样本问题.转导传播辘集分为4个阶段: 特征镶嵌、图构建、标签传播和赔本策计.该模子在特征镶嵌阶段， 将整个的标注数据和无标注数据通过镶嵌函数f映射到向量空间中; 在图构建阶段， 使用构建函数g将镶嵌向量构建为无向图中的节点， 连边权重由两个节点算计高斯相似度得到; 随后， 凭据公式F*=(I-αS)(-1)Y来进行标签传播(其中， F*是标签预测斥逐， S是归一化之后的连边权重， Y是脱手标签的矩阵)， 让标签从标注数据传播到无标注数据; 终末， 通过交叉熵函数算计赔本， 用反向传播更新镶嵌函数和构建函数的参数.另外， Hou等东说念主[52]也提议了一个交叉贯注力辘集(cross attention network)， 基于直推式学习的想想， 驾御贯注力机制为每对类特征和查询生成交叉贯注映射对特征进行采样， 杰出缱绻对象区域， 使索求的特征更具辩认性.其次， 提议了一种转移推理算法， 为了缓解数据量过少的问题， 迭代地驾御未标记的查询集以加多支撑集， 从而使类别特色更具代表性.
2.2 基于数据合成的方法基于数据合成的方法是指为小样本类别合成新的带标签数据来扩张锤真金不怕火数据， 常用的算法有生成对抗辘集(generative adversarial net)[53]等.Mehrotra等东说念主[54]将GAN应用到小样本学习中， 提议了生成对抗残差成对辘集(generative adversarial residual pairwise network)来治理单样本学习问题.算法使用基于GAN的生成器辘集对不可见的数据散播提供有用的正则知道， 用残差成对辘集行动判别器来度量成对样本的相似性， 如图 1的历程图所示.
Fig. 1 An indicative figure of generative adversarial residual pairwise network[54]
图 1 生成对抗残差成对辘集知道图[54]
● 输入样本为xt， 为了平定生成器简便复制原样本， 最初对xt进行碎裂得到损坏样本${\tilde x_t}$， 将${\tilde x_t}$输入到生成器G中得到生成样本x， x的另一个来源是果然的数据集.
● 其次， xt空间变换后输入到判别器D中， 同期输入的还有样本x.
● 随后， 判别器会给出3种判别斥逐: (1) x是果然样本， 况且x与xt不同; (2) x是果然样本， 况且x与xt相似; (3) x是假样本.
除了基于GAN的数据合成方法， Hariharan等东说念主[55]提议了一种新的方法， 该方法分为两个阶段: 知道学习阶段和小样本学习阶段.
● 知道学习阶段是指在含有多半数据的源数据集上学习一个通用的知道模子， 在此阶段中， 作家提议一个新的赔本函数——往常梯度量级赔本(SGM)$ {L}_{D}^{SGM}(\phi ， W)=\frac{1}{\left|D\right|}{\displaystyle \sum _{(x，y)\in D}\alpha (W，(x)，y)\left|\right|\phi (x)|{|}^{2}}$来擢升知道学习的效果.
● 小样本学习阶段是指在极少数据的新类别中微调模子， 在此阶段中， 本文提议了生成新数据的方法来为小样本类别进行数据增强.
作家认为， 属于归并类别的两个样本之间存在着一个转移.那么给定新类别的一个样本x， 通过这个转移， 生成器G不错生成属于该类别的新样本.
Wang等东说念主[56]将元学习与数据生成相结合， 提议了通过数据生成模子生成杜撰数据来扩张样本的千般性， 并结合刻下比较先进的元学习方法， 通过端到端方法共同锤真金不怕火生成模子和分类算法.通过让现存图像的一些属性和特征发生变化， 如拍照姿态改变、光照改变、位置迁徙等， 迁徙到新的样本上， 从而生成具有不同变化的新样本图像， 末端数据的扩张.此外， 本模子不错套用任何元学习模子， 具有天真性.
但是现存的数据生成方法具有以下弊端: (1) 莫得捕捉到复杂的数据散播; (2) 不行泛化到小样本的类别; (3) 生成的特征不具有可解释性.Xian等东说念主[57]为治理上述问题， 将变分编码器(VAE)和GAN进行结合， 充分驾御了两者的上风集成了一个新的辘集f-VAEGAN-D2.这个辘集再完成小样本学习图像分类的同期， 粗略将生成样本的特征空间通过当然话语的方法领略出来， 具有可解释性.Chen等东说念主[58]对此连续研究， 提议不错驾御元学习对锤真金不怕火集的图像对支撑集进行插值， 变成扩张的支撑集荟萃: 最初， 从元锤真金不怕火集的麇都集每一类或然选拔几个样本， 变成荟萃G; 其次， 针对某个任务索求支撑集的特征， 变成最隔邻分类器， 对荟萃G中的整个图像分类， 找到概率最高的N个图像; 将对应的图像加权得到扩张的图像， 图像标签与原图像保持一致; 终末， 用扩张的支撑集与查询样本算计分类赔本， 用来优化权更生成子辘集.
2.3 基于特征增强的方法以上两种方法都是驾御扶持数据来增强样本空间， 除此以外， 还可通过增强样本特征空间来提高样本的千般性， 因为小样本学习的一个要津是何如得到一个泛化性好的特征索求器.Dixit等东说念主[59]提议了AGA(attributed- guided augmentation)模子学习合成数据的映射， 使样本的属性处于守望的值或强度.然则， 将基于合成数据的辘集应用到果然图像中具有迁徙学习的问题， 但之前的方法都不适用于具有姿态物体的迁徙， AGA是一个治理方法， 但是它的轨迹是糟蹋的， 不行连气儿.是以基于此， Liu等东说念主[60]提议了特征迁徙辘集(FATTEN)， 用于描摹物体姿态变化引起的畅通轨迹变化.与其他特征索求不同的是， 该方法对物品的外不雅和姿态分别有一个预测器.辘集包括一个编码器和一个解码器， 编码器将CNN对缱绻图像的特征x映射为一双外不雅A(x)和姿态P(x)参数， 然后， 解码器需要这些参数产生相应的特征向量x.
此外， Schwartz等东说念主[61]提议了Delta编码器， 通过看到极少样蓝本为不可见的类别合成新样本， 将合成样本用于锤真金不怕火分类器.该模子既能索求同类锤真金不怕火样本之间可滚动的类内变形， 也能将这些增量应用到新类别的小样本中， 以便有用地合成新类样本.但此方法的特征增强过于简便， 无法权贵改善分类范畴[1].为治理这个问题， Chen等东说念主[62]提议了一个双向辘集TriNet， 他们认为， 图像的每个类别在语义空间中具有更丰富的特征， 是以通过标签语义空间和图像特征空间的相互映射， 不错对图像的特征进行增强.该模子用一个4层卷积神经辘集ResNet-18索求图像的视觉特征， 再通过TriNet的编码器将视觉特征映射到语义空间， 在语义空间中进行数据增强; 之后， 通过TriNet的解码器将增强后的语义特征映射回图像的特征空间.例如， shark这个类别在语义空间中与已知的一些类别fish， whale_shark和halobios距离较近， 即代表它们的语义相似， TriNet可借用这些附进类别的特征来调养辘集结用于特征索求的参数， 匡助模子更好地索求图像特征.
但是在上头的方法中， 分类辘集往往索求的特征只瞻仰最具有判别性的区域， 而忽略了其他判别性较弱的区域， 不利于辘集的泛化.为了治理这个问题， Shen等东说念主[63]提议不错把固定的贯注力机制换成概略情的贯注力机制M.输入的图像经索求特征后进行平均池化， 分类得到交叉熵赔本l.用l对M求梯度， 得到使l最大的更新标的从而更新M.其次， 将索求的特征与更新后的M相乘， 得到对抗特征， 得到分类赔本l1; 将脱手特征再经过多个卷积， 得到一维特征对其分类， 得到分类赔本l2.这两个分类器分享参数， 从而使得高层特征对底层特征具有一定的相通作用， 从而优化辘集.
通过梳理基于数据增强的小样本学习模子的研究进展， 不错想考畴昔的两个更正标的.
1) 更好地驾御无标注数据.由于果然宇宙中存在着多半的无标注数据， 不驾御这些数据会赔本好多信息， 更好、更合理地使用无标注数据， 是一个相配遑急的更正标的.
2) 更好地驾御扶持特征.小样本学习中， 由于样本量过少导致特征千般性裁减.为提高特征千般性， 可驾御扶持数据集或者扶持属性进行特征增强， 从而匡助模子更好地索求特征来擢升分类的准确率.
3 基于迁徙学习的小样本学习迁徙学习是指驾御旧学问来学习新学问， 主要缱绻是将也曾学会的学问很快地迁徙到一个新的领域中[64].例如诠释: 一个次第员在掌合手了C话语的前提下， 粗略更快地协调解学习Python话语.迁徙学习主要治理的一个问题是小样本问题.基于模子微调的方法在源数据集和缱绻数据集散播精真金不怕火相似期有用， 散播不相似时会导致过拟合问题.迁徙学习则治理了这个问题.迁徙学习只需要源领域和缱绻领域存在一定关联， 使得在源领域和数据中学习到的学问和特征粗略匡助在缱绻领域锤真金不怕火分类模子， 从而末端学问在不同领域之间的迁徙.一般来说， 源领域和缱绻领域之间的关联性越强， 那么迁徙学习的效果就会越好[65].连年来， 迁徙学习这个新兴的学习框架受到了越来越多研究东说念主员的瞻仰， 好多性能优异的小样本算法模子被提议.在迁徙学习中， 数据集被分别为3部分: 锤真金不怕火集(training set)、支撑集(support set)和查询集(query set).其中， 锤真金不怕火集是指源数据集， 一般包含多半的标注数据; 支撑集是指缱绻领域中的锤真金不怕火样本， 包含极少标注数据; 查询集是缱绻领域中的测试样本.
跟着深度学习的发展， 深度神经辘集常被用来学习样本的镶嵌函数， 如卷积神经辘集(convolutional neural network)[66]、轮回神经辘集(recurrent neural network)[67]和诅咒期记念辘集(long short-term memory)等.在图像分类任务中， 常使用卷积神经辘集行动镶嵌辘集， 比较常用的变型包括VGG， Inception， Resnet等.Wang等东说念主[68]基于迁徙学习的想想， 在2016年提议了回顾辘集(regression network)来治理小样本问题.他们认为: 一个由极少样本锤真金不怕火的模子和一个由多半样本锤真金不怕火的模子之间存在一个通用的忽略类别的转移T， 这个转移T由回顾辘集学习得到.通过T的转移， 不错把由小样本锤真金不怕火得到的效果欠安的模子， 映射为由多半样本锤真金不怕火得到的效果较好的模子.两个模子的转移实质上是模子参数的映射， 即， 将一个模子的权重映射到另一个模子.
连年来， 跟着迁徙学习的兴起， 与之关系的模子也不停泄漏.但是在往常的迁徙学习算法中， 源辘集结的某一层迁徙到缱绻辘集结的某一层是东说念主工给定的， 况且是将整个的特征映射都迁徙， 莫得斟酌迁徙到那边和迁徙些许的问题.Jang等东说念主[69]专注于迁徙学习中迁徙什么(what)和迁徙到那边(where)的问题， 提议驾御元学习来学习迁徙特征映射的权重和迁徙层的权重来治理这个问题， 同期提议了一步学习的战略， 只用一步来适当缱绻数据集.该方法同期在小样本数据集上进行了实验， 但是效果擢升莫得大范围数据集多.凭据迁徙学习的方法不同， 本文将其分为基于度量学习、基于元学习和基于图神经辘集的方法这3类.接下来就这3类方法中典型的算法模子及研究进展进行先容.
3.1 基于度量学习的方法在数学成见中， 度量指预计两个元素之间距离的函数， 也叫作念距离函数[70].度量学习也称为相似度学习， 是指通过给定的距离函数算计两个样本之间的距离， 从而度量它们的相似度[71].在深度学习中， 咱们往往接受欧氏距离、马氏距离和余弦相似度等[72， 73]行动距离函数.将度量学习的框架应用到小样本学习上， 顾名想义， 等于通过算计待分类样本和已知分类样本之间的距离， 找到附进类别来详情待分类样本的分类斥逐.基于度量学习方法的通用历程如图 2所示， 该框架具有两个模块: 镶嵌模块和度量模块， 将样本通过镶嵌模块镶嵌向量空间， 再凭据度量模块给出相似度得分.基于度量学习的方法往往接受episodic training， 是指将数据集分为多个任务进行锤真金不怕火， 每个任务从锤真金不怕火都集或然采样C-way K-shot的样本， 即选出C个类别， 每个类别含有K个样本， 通过屡次采样构建多个任务.当进行锤真金不怕火时， 将多个任务轮换输入到模子中， 这等于episodic training.在测试时， 一般从剩余的样本中考中一个batch来进行测试.
Fig. 2 Generalized flow chart of the metric learning based models[17]
图 2 基于度量学习的模子通用历程图[17]
Koch等东说念主[74]在2015年起原提议使用孪生神经辘集(siamese neural network)进行单样本图像识别.孪生神经辘集是一种相似性度量模子， 当类别数多但每个类别的样本数目少的情况下， 可用于类别的识别.孪生神经辘集从数据中学习度量， 进而驾御学习到的度量比较和匹配未知类别的样本， 两个孪生神经辘集分享一套参数和权重.其主要想想是: 通过镶嵌函数将输入映射到缱绻空间， 使用简便的距离函数进行相似度算计.孪生神经辘集在锤真金不怕火阶段最小化一双相似类别样本的赔本， 最大化一双不同类别样本的赔本.该模子使用两个CNN索求输入图像的特征， 将图像映射成向量.输入是一双样本而不是单个样本， 归并类样本标签为1， 不同类为0;然后， 通过交叉熵函数算计赔本.关于单样本学习， 锤真金不怕火都集每个类别只须一个样本， 是以测试都集的每张图像和锤真金不怕火都集的每个样本都组成一个样本对， 轮换输入到孪生神经辘集结， 得到每对样本的距离.考中距离最小的锤真金不怕火样本的标签行动测试样本的类别， 从而完因素类.
Vinyals等东说念主[17]连续就单样本学习问题进行潜入探讨， 在2016年提议了匹配辘集(matching network)， 该辘集可将带标签的小样本数据和不带标签的样本映射到对应的标签上.针对单样本学习问题， 该模子使用LSTM将样本映射到低维向量空间中， 新样本与每个带标签样本算计相似度， 使用核密度臆测函数(kernel density estimation)输出预测标签.核密度臆测函数专注于从数据样本自身启程来研究数据的散播特征， 是在概率论顶用来臆测未知的密度函数， 属于非参数测验方法.该模子在两个方面进行了改进.
● 一是在模子层面提议了匹配辘集的成见.匹配辘集使用公式$ \widehat{y}={\displaystyle \sum _{i=1}^{k}a(\widehat{x}，{x}_{i}){y}_{i}}$算计缱绻样本与已知标签样本之间的相似度， 其中， 支撑集$S = \{ ({x_i}，{y_i})\} _{i = 1}^k$， $\hat x$是待分类样本， $\hat y$是待分类样本的预测标签.在此公式中， a不错看作贯注力机制， yi看作管制于xi的记念单位， 即匹配辘集在算计中引入了外部记念和贯注力机制.
● 二是锤真金不怕火过程中保持锤真金不怕火集和测试集的匹配.这与机器学习中孤立同散播的成见相似， 在保证锤真金不怕火集和测试集孤立同散播的要求下， 锤真金不怕火模子在测试集上也能取得较好的效果.
Jiang等东说念主[75]基于匹配辘集的想想， 将镶嵌函数更正为4层的卷积神经辘集， 分别接受双向LSTM和基于贯注力机制的LSTM算法潜入索求锤真金不怕火样本和测试样本中愈加要津和有用的特征并进行编码; 终末， 在往常欧氏距离上驾御softmax非线性分类器对测试样分内类.实验斥逐标明， 更正的匹配辘集在类别数更多而样本数较少的复杂场景下具有更好的分类效果.
在基于度量学习的单样本图像分类方面， 上述方法都是从图像自身特征启程， 莫得斟酌到分类标签这一信息.Wang等东说念主[76]认为需要将图像的分类标签纳入斟酌， 并提议了多贯注力辘集模子(multi-attention network).该模子使用GloVe Embedding将图像的标签镶嵌到向量空间， 通过构建标签语义特征和图像特征之间的贯注力机制， 得到一张图像属于该标签的特征主要都集于哪一个部分(单贯注力)或哪几个部分(多贯注力)， 驾御贯注力机制更新该图像的向量， 终末通过距离函数算计相似度得到分类斥逐.
尽管上述模子也曾取得了较好的遵循， 但它们针对的都是单样本学习问题.为了进一步潜入治理小样本问题， Snell等东说念主[9]在2017年提议了原型辘集(prototypical network).作家认为， 每个类别在向量空间中都存在一个原型(prototype)， 也称作类别中心点.原型辘集使用深度神经辘集将图像映射成向量， 关于同属一个类别的样本， 求得这一类样本向量的平均值行动该类别的原型.通过不停锤真金不怕火模子和最小化赔本函数， 使得归并类别内的样本距离更为围聚， 不同类别的样本更为远隔， 从而更新镶嵌函数的参数.原型辘集的想路如图 3所示， 输入样本x， 比较x的向量和每个类别原型的欧式距离.凭据算计发现， x与原型2的距离更近， 也就代表x与原型2所代表的类别更为相似， 于是将x分到类别2.
Fig. 3 A case study of prototypical networks[9]
图 3 原型辘集样例[9]
原型辘集的想想和末端方法都十分简便了了， 但效果与之前的责任比较得到了一定的擢升.但是只是使用标注数据得到的斥逐不一定是准确的， 因为样本量太少会导致分类范畴偏差.针对这个不及之处， Ren等东说念主[50]于2018年在原型辘集的基础上进行扩展， 使用了半监督学习的想想， 在锤真金不怕火都集加入了不带标签的数据来改善分类范畴.实考诠释注解: 无标签数据的加入， 提高了分类效果.原因在于: 原型辘集只使用带标签数据进行原型的算计， 但是带标签数据数目较少导致了类别中心的算计不准确; 而更正的辘集加入了无标签数据之后， 对类别的原型进行了修正， 使得待分类样本粗略得到正确的分类.论文中对这种使用半监督方法的原型辘集提议了3种变型.
● 第1种， 整个的无标签数据都属于带标签的数据所属的类别.在这种假定下， 将无标签数据和带标签数据全部算计新的原型.
● 第2种， 无标签数据要么属于带标签数据所属的类别， 要么属于一个另外的类——插手类(distractor class).插手类脱手以原点(0， 0)行动原型， 模子学习的是插手类的半径.
● 第3种， 无标签数据要么属于已知的类别， 要么被掩饰(masked).这种变型的提议， 是因为第2种假定的分歧感性.第2种假定下， 把整个莫得标签的数据分到归并个类清晰是不相宜履行场景的， 是以作家又提议了一种新的算法: masked K-means算法.在这种假定下， 论文用一个多层感知机(multi-layer perception， 简称MLP)来学习每个类的半径和斜率， 用这两个参数和距离得到一个莫得标签的数据属于每个类别的概率.
作家认为: 一个样本离原型越远， 它就越容易被掩饰.但是上头的辘集在算计时均莫得斟酌样本的权重， 只是作念了一个简便的平均数算计.在很厚情况下， 用来算计原型的样本的遑急进度是不同的， 尤其当样本是噪声数据的时候， 体现的更为彰着.受到这个问题的驱动， Gao等东说念主[77]提议了基于东说念主工贯注力的原型辘集.比较于传统的原型辘集， 该模子多了两个部件: 样本级别的贯注力机制和特征级别的贯注力机制， 来分别捕捉对分类更遑急的样本和特征.作家分别用含有0%， 10%， 30%和50%的噪声数据集进行了效果评测， 均比baseline取得了更好的效果; 况且噪声越多， 擢升效果越好.诠释该模子具有很好的鲁棒性.Sun等东说念主[78]也为治理这个问题提议了脉络贯注力原型辘集(HAPN)， 比起传统的原型辘集添加了特征级别、词语级别和样本级别的3种贯注力机制.词语级别的贯注力机制是文分内类中常用的方法， 在这里不再赘述.基于东说念主工贯注力的原型辘集和脉络贯注力原型辘集均添加了样本级别和特征级别的贯注力机制， 标明不同的样本和特征关于分类任务的遑急性如实不同， 只作念简便的平均算计是远远不够的， 需要对样本的特征进行加权处理.
上述模子都是基于距离函数来算计相似度， 这么固然简便易操作， 但有时候距离函数却并不适用于一些特定的任务.针对这个问题， 一些研究东说念主员提议不错使用深度神经辘集来进行度量[1].Sung等东说念主[79]在2018年提议了一个新的模子——关系辘集(relation network， 简称RN)， 该模子分为两个模块: 镶嵌模块和关系模块.其中， 镶嵌模块f是一个4层的卷积神经辘集， 用来学习样本到低维向量空间的镶嵌; 关系模块g是一个相似度比较模块， 使用ReLU来进行相似度算计， 用来输出两个样本的相似度得分.关系辘集在3种问题上作了计议.
1) 单样本学习.每种类别有一个支撑样本x， 镶嵌向量为f(x)， 针对查询样本y取得镶嵌向量f(y)， C(f(x)， f(y))知道两个向量的联接， 将这个联接后的向量放到关系模块g中， 得到相似度打分， 完因素类.
2) 小样本学习.关于每一类的支撑样本， 将它们的镶嵌向量相加行动整个这个词类别的特征映射.剩下的过程和单样本学习相似.
3) 零样本学习.关于莫得标注样本的问题， 驾御每个类别的语义特征镶嵌向量v， 使用新的镶嵌函数f2， 得到这个类别的特征映射f2(v)， 剩下过程与上头相似.
在关系辘集的基础上， Zhang等东说念主[10]提议了深度比较辘集(deep comparison network， 简称DCN)， 将镶嵌学习认识为一系列模块， 并将每个模块与一个关系模块配对.关系模块驾御相应镶嵌模块的知道算计一个非线性度量对匹配进行打分.为了保证整个镶嵌模块的特征都被使用， 关系模块被深度监控.终末， 通过学习噪声调遣器进一步提高泛化性.Hilliard等东说念主[80]也使用了一种新的体捆绑构， 消逝了传统的度量学习方法， 通过锤真金不怕火一个辘集来实施类别之间的比较， 而不是依赖于静派头量比较.该辘集不错决定一个类的哪些方面关于分类比较遑急， 从而更好地区分类别范畴.
之前的方法贯注力都集在一阶统计量的成见知道上， Li等东说念主[81]提议了一个协方差度量辘集(CovaMNet)， 在基于小样分内类任务的散播一致性上， 驾御了协方差知道和协方差矩阵， 其中， 协方差知道用来拿获二阶统计信息， 协方差矩阵用来预计query样本与新类别之间的散播一致性.但由于现存的方法忽略了局部特征的信息， 为了捕捉局部特征， Li等东说念主[82]又提议了深度最隔邻神经辘集(DN4).与其他方法的最大不同是: 在终末一层用图像到类别的局部描摹符来代替图像级别的特征测量， 查询样本在进行特征映射时， 为每个空间特征算计一个相似性.针对一个查询样本特征映射的每个空间特征， 找到支撑特征映命中最相近的K个特征来算计相似性， 终末将整个位置相似性加和， 得到此查询样本的相似性.
但是上头的方法是针对每个任务索求不同的特征， 仍旧忽略了支撑都集整个图像之间的语义关系.受到这个想法的驱动， Li等东说念主[83]提议不错驾御模子整合支撑都集整个图像的信息， 从而找到最具有判别性的特征.
● 最初， 凭据支撑集得到一个channel attention; 随后， 对整个的图像应用channel attention， 关于支撑都集的图像索求特征， 经过一个卷积层求得原型; 将整个类联接， 得到一个特征; 再经过卷积， 得到一个channel attention.
● 其次， 将支撑集特征和查询样本特征经过一个卷积层， 与上述得到的attention相乘， 得到更具有判别性的特征.
● 终末， 关于更新后的特征作念度量学习.
由上头的模子不错看出: 基于度量学习的方法履历了从治理单样本问题到治理小样本问题再到同期治理小样本问题和零样本问题的变革， 模子渐渐趋近于老练; 同期， 也履历了从基于传统距离函数的方法到基于深度辘集的方法的更正.连续接受基于传统距离函数的方法很难在小样分内类准确率方面得到较大的擢升， 是以加强对基于神经辘集进行度量方法的研究， 将是今后重可瞻仰的标的.
3.2 基于元学习的方法元学习(meta-learning)也叫作念学会学习(learning to learn)[84]， 是机器学习领域一个前沿的研究框架， 针关于治理模子何如学习的问题.元学习的方针是让模子取得一种学习才能， 这种学习才能不错让模子自动学习到一些元学问.元学问指在模子锤真金不怕火过程以外不错学习到的学问， 比如模子的超参数、神经辘集的脱手参数、神经辘集的结构和优化器等[85].在小样本学习中， 元学习具体指从多半的先验任务中学习到元学问， 驾御以往的先验学问来相通模子在新任务(即小样本任务)中更快地学习.元学习中的数据集往往分为元锤真金不怕火集和元测试集， 二者均包含了原始模子所需要的锤真金不怕火集和测试集.如图 4所示， 分类模子的数据集包括锤真金不怕火集和测试集; 元学习模子的数据集包括元锤真金不怕火集和元测试集， 其中， 元锤真金不怕火集和元测试集均包含锤真金不怕火集和测试集.
Fig. 4 Example of meta-learning dataset[86]
图 4 元学习数据集实例[86]
早在2001年， Hochreiter等东说念主[87]就诠释注解了记念神经辘集可适用于元学习.在此责任的基础上， Santoro等东说念主[88]在2016年提议了基于记念增强的神经辘集(memory-augmented neural networks， 简称MANN)来治理单样本学习问题.作家使用了神经图灵机(neural Turing machine， 简称NTM)[89]行动MANN的基本模子， 因为NTM行动一种可微的MANN， 不错顺利通过梯度下落进行锤真金不怕火.神经图灵机既不错通过缓慢权重更新来末端恒久存储， 又粗略通过记念库末端短期存储， 这与元学习的想想透彻一致.作家努力于让神经图灵机学习到一种战略， 这个战略不错相通NTM将样本类型放入到记念库中， 同期相通它今后何如通过这些类型进行预测或者分类.
MANN是元学习方法在单样本学习问题上较早且较顺利的一次尝试， 而后， 应用元学习框架治理小样本问题渐渐参加东说念主们的视线.在2017年， Munkhdalai等东说念主[90]连续接受元学习的框架来治理单样分内类的问题， 并提议了一个新的模子——元辘集(meta network).元辘集主要分为两个部分: base-learner和meta-learner， 还有一个额外的记念块， 这个记念块不错匡助模子快速学习.
Base-learner在职务空间中学习， meta-learner在概述的元空间中不时学习况且从不同的任务中获取元学问.当新任务到来时， base-learner对刻下任务进行分析， 并将元信息反馈给meta-learner; Meta-learner收到元信息之后， 凭据元信息对自身和base-learner快速参数化.具体来说， 元辘集分为一个缓慢权重化的过程和一个快速权重化的过程， 在学习不同任务之间的泛化信息时权重更新缓慢， 而当对一个新任务快速适当时， 则需要快速权重化.
固然上头两个责任也曾将元学习的框架带进了小样本学习中， 但是它们治理的都是单样本问题.为了使模子愈加适用到小样分内类问题上， Finn等东说念主[11]在2017年提议了未知模子的元学习方法(model-agnostic meta- learning， 简称MAML).使用这个模子， 从很少的数据中进行少步数的锤真金不怕火， 就不错得到较好的分类效果.MAML最初使用RNN从整个任务的散播中来学习学问， 而不是只是学习单一任务.MAML努力于找到神经辘集结对每个任务较为明锐的参数， 通过微调这些参数， 让模子的赔本函数快速管制.模子的脱手参数为θ， 针对不同的任务分别算计赔本， 凭据每个任务的赔本更新对应的模子参数.MAML的缱绻是求得脱手化参数θ， 使得模子在面对新任务时， 粗略使用梯度下落的方法在很少的步数内得到管制.为了幸免元学习器的偏移， 况且提高元学习器的泛化性， Jamal等东说念主[91]提议了算法未知任务元学习法(task-agnostic meta-learning， 简称TAML).在这项责任中， 为了幸免元学习模子对锤真金不怕火任务过拟合， 作家在输出预测时加入了一个正则化项.正则化要么会使预测具有更高的熵(即预测的概率不会看起来像一个独热矢量)， 要么使模子在不同任务之间的各异更小(即， 在不同任务上领略相似).清晰， 关于小样本学习来说， 有一个重大的正则化机制是十分遑急的.本文作家在MAML的基础上测试了该方法， 得到了更优的性能.
MAML在小样本图像分类任务中也曾得到了平凡使用， 但是在当然话语处理领域， 小样本学习的问题还亟待治理.比较图像分类的任务， 文分内类的任务更具有挑战性， 这和文本自身的性质磋议.例如， 使用微博褒贬作念心思分析任务， 将会濒临拼写子虚、缩略词等难题; 而针对一张图像， 模子只需要索求它的图像特征即可， 因为图像是一个客不雅的实体.由于上述原因， 文分内类比图像分类更具有挑战性[13].不外， 近几年文本方面的小样本学习仍取得了一些打破性进展[14-16].Xiang等东说念主[15]在2018年将MAML迁徙到了文才能域， 况且在方法中加入了贯注力机制， 提议了基于贯注力机制的未知任务元学习法(attentive task-agnostic meta-learner， 简称ATAML).在文分内类中， 不同的词关于分类的遑急进度不同.例如， 对书的褒贬进行心思分析的任务中， “我以为这本书十分兴味兴味”中的“兴味兴味”， 关于将这条褒贬判定为正面心思起着更遑急的作用.贯注力机制不错将文本中的词语赋予不同的权重， 使得对分类起着更遑急作用的词语粗略有更高的影响力.ATAML主要分为两个部分: 一是忽略任务的知道学习， 二是面向任务的贯注力学习.第1部分是在许多任务中学习一个通用的镶嵌模子， 将一段文本中的每个词都知道为向量， 模子参数为θE; 第2部分是针对特定的任务学习特定的参数θT， θT={θW， θATT}， 其中， θATT为贯注力机制参数， θW为分类器参数.
但是MAML存在着一些弊端: 一是锤真金不怕火时需要数目充足多的任务才不错管制; 二是这种方法一般只适用于浅层辘集， 在深层辘集结泛化性较差， 容易过拟合.Sun等东说念主[92]提议: 不错让MAML只学习终末一层行动分类器， 用整个锤真金不怕火数据预锤真金不怕火一个特征索求器， 固定特征索求器.该算法驾御了MAML的想想， 或然脱手化分类器W的参数; 然后针对每个任务， 驾御支撑集来优化W， 得到更新后的W; 算计查询集的赔本， 梯度更新W， 以得到新的W.Liu等东说念主[93]也在MAML上作念了一些更正， 他们认为: 关于一个元学习的任务， 超参数的斥地是十分遑急的.不错驾御元学习对辘集结每一层学习一个超参数， 况且在往往情况下， 一个分类用具有抵拒定性， 不错在MAML的机制上学习何如交融多个分类器: 最初， MAML内循坏更新脱手参数屡次， 得到多个分类器; 其次， 在MAML外轮回优化分类器的脱手参数、超参数和多个分类器交融所有.其中， 测试集上的预测类别为多个分类器预测值加权乞降， 驾御测试集的赔本函数更新上述参数.
为了更好地融入语义信息， Wang等东说念主[94]提议了任务感知特征镶嵌辘集(TAFE-Net).在这项责任中， 标签镶嵌被用来预测数据特征索求模子的权重.该方法通过权重认识， 作念到只需要预测一个较低维的权重向量， 使得权重预测愈加方便.此外， 该方法还通过镶嵌赔本使得语义镶嵌和图像镶嵌对都.除此以外， 还有好多元学习的方法.例如， Ravi等东说念主[86]在2017年提议了驾御优化器的元学习模子进行小样本图像分类， 该模子使用基于LSTM的元学习器学习优化算法， 用优化算法的参数更新规章更新分类器的辘集参数， 使得分类器在小样本数据上能取得较好的分类效果.同样地， 使用上述方法也不错匡助分类器学习到一个较好的脱手化参数， 使得模子粗略在新的小样本数据集上快速管制.模子的具体历程如下: 最初， 元学习器给分类器一个脱手化参数θ， 将第1个batch的数据输入分类器进行锤真金不怕火， 得到刻下的损成仇斜率， 并将其反馈给元学习器; 元学习器凭据赔本更新模子参数， 将更新后的参数传给分类器.按照这个方法轮回迭代.因为元学习器参数更新和LSTM细胞情状更新的过程十分相似， 是以在此方法中， 不错把LSTM细胞单位更新的算计方法应用到元学习器的参数更新中.Gidaris等东说念主[95]提议了一种方法， 该方法包含一个基于贯注力机制的权更生成器， 同期， 在特征知道和类别权重向量之间从头联想一个CNN行动余弦相似度函数.先使用锤真金不怕火集锤真金不怕火得到特征索求器; 然后关于新的小样本数据， 通过一个元学习器来生成对应的参数权重.在含有多个样本时， 使用了贯注力机制来选拔对应的脱手权重， 而不是作念一个简便的平均.
在上述基于元学习的方法中， 元学习器从多个任务中学习学问， 但是关于不同的任务学习到的模子脱手参数是相似的， 忽略了不同任务之间的各异性.而在现实宇宙中， 不同任务之间截然不同， 基于这个前提， Yu等东说念主[16]在2018年提议了多任务聚类的元学习法.该模子对整个任务进行聚类， 将不同的任务分红不同的簇， 归并簇中的任务较为相似， 它们分享一套分类器参数.当新任务到来时， 算计每个簇的分类器在刻下小样本数据上的适当效果， 该适当效果由适当参数v知道; 随后， 刻下分类任务的模子参数由整个簇的参数与v线性组合得到; 终末输出分类斥逐.
通过梳理连年来基于元学习的小样本学习模子， 不丢丑出: 跟着元学习的兴起， 各式元学习方法层见叠出.元学习方法履历了从单样本学习到小样本学习的改变， 同期也从图像领域迁徙到了文才能域.元学习方法为小样本学习带来了很大打破， 到今后很长一段本领都将是小样本学习的主流方法.研究东说念主员不错联想新的元学习器， 让分类器在极少样本上学得更快更好.
3.3 基于图神经辘集的方法在算计机科学中， 图行动一种数据结构， 由点和边组成.图这种数据结构， 具有领略力强和展示直不雅的优点.跟着连年来机器学习的兴起， 机器学习渐渐被应用到图的分析上.图神经辘集是一种基于深度学习的处理图领域信息的模子， 由于其较好的性能和可解释性， 它最近已成为一种平凡应用的图分析方法[96].图神经辘集有好多种变体， 比较常用的有图卷积神经辘集(graph convolutional network)、门控图神经辘集(gated graph neural network)和图贯注力辘集(graph attention network)等.
Garcia等东说念主[97]在2018年使用图卷积神经辘集末端小样本图像分类.在图神经辘集里， 每一个样本被看作图中的一个节点， 该模子不仅学习每个节点的镶嵌向量， 还学习每条边的镶嵌向量.卷积神经辘集将整个样本镶嵌到向量空间中， 将样本向量与标签向量联接后输入图神经辘集， 构建每个节点之间的连边; 然后通过图卷积更新节点向量， 再通过节点向量不停更新边的向量， 这就组成了一个深度的图神经辘集.如图 5所示， 5个不同的节点输入到GNN中， 凭据公式A构建边， 然后通过图卷积更新节点向量， 再凭据A更新边， 再通过一层图卷积得到终末的点向量， 终末算计概率. 驾御公式
Fig. 5 Model process of GNN[97]
图 5 GNN模子历程图[97]
上头的方法是对图中的节点进行分类， Kim等东说念主[98]从另一个方面进行斟酌， 对图中的边进行分类.最初， 对图中的边特征向量进行脱手化， 边的特征向量有两维: 第1维知道链接的两个节点属于归并类的概率， 第2维知道它们不属于归并类的概率.随后， 用边的特征向量更新节点向量， 边的两维特征分别对应节点的类内特征和类间特征.经过屡次更新后， 对边进行二分类， 得到两个节点是否属于归并类.为了对传统的GNN进行更正， Gidaris等东说念主[99]在GNN中加入了降噪自编码器(DAE)， 以修正小样本类别的权重.DAE表面指出: 关于被高斯噪声插手的输入， DAE粗略估算其输入w的密度的能量函数p(w)的梯度.最初， 在进行锤真金不怕火时加入部分的高斯噪声数据来平定过拟合， 样本经过镶嵌辘集之后， 输入到图神经辘集结行动节点.凭据未加入高斯噪声的各类脱手权值向量的余弦相似性， 将最近的类联接起来， 而图的两个节点之间的边的旯旮强度(边的权值)等于两个节点的余弦相似性的softmax函数值， 凭据softmax函数输出斥逐.基于图神经辘集的方法比较基于度量学习和基于元学习的方法较少， 但图神经辘集可解释性强况且性能较好， 不错想考何如对其进行更正， 从而提高分类准确率.
4 数据集与实验在小样本图像分类任务中， 一些程序数据集被平凡使用.单样本学习最常用的是Omniglot数据集[100]， 小样本学习最常用的数据集是miniImageNet[101].除此以外， 常用数据集还有CUB[102]、tieredImageNet[50]等， 同期， CIFAR- 100、Stanford Dogs和Stanford Cars常用作细粒度小样本图像分类.接下来对每个数据集进行简便先容.
(1) Omniglot包含50个字母的1 623个手写字符， 每一个字符都是由20个不同的东说念主通过亚马逊的Mechanical Turk[103]在线绘图的.
(2) miniImageNet是从ImageNet[104]分割得到的， 是ImageNet的一个精缩版块， 包含ImageNet的100个类别， 每个类别含有600个图像.一般64类用于锤真金不怕火， 16类用于考证， 20类用于测试.
(3) tieredImageNet是Mengye等东说念主[50]在2018年提议的新数据集， 亦然ImageNet的子集.与miniImageNet不同的是， tieredImageNet中类别更多， 有608种.
(4) CUB(caltech-UCSD birds)是一个鸟类图像数据集， 包含200种鸟类， 共计11 788张图像.一般130类用于锤真金不怕火， 20类用于考证， 50类用于测试.
(5) CIFAR-100数据集: 共100个类， 每个类包含600个图像， 分别包括500个锤真金不怕火图像和100个测试图像. CIFAR-100中的100个子类所属于20个父类， 每个图像都带有一个子类标签和一个父类标签.
(6) Stanford Dogs: 一般用于细粒度图像分类任务.包括120类狗的样本共计20 580个图像， 一般70类用于锤真金不怕火， 20类用于考证， 30类用于测试.
(7) Stanford Cars: 一般用于细粒度图像分类任务.包括196类车的样本共计16 185个图像， 一般130类用于锤真金不怕火， 17类用于考证， 49类用于测试.
本文考中一些著名模子在上述数据集上的实验斥逐进行总结， 整个方法都考中了5-way 1-shot(即5个类别， 每个类别具有1个样本)和5-way 5-shot(即5个类别， 每个类别具有5个样本)的斥逐进行对比.图像分类的任务一般使用CNN行动镶嵌辘集， 常用的有VGG， Inception和Resnet等.具体见表 1.
Table 1 Comparison of precision in few-shot learning methods
表 1 小样本学习方法准确率对比
表 1考中了Omniglot和miniImageNet数据集的实验斥逐行动对比参考， 因为其他的数据集使用次数较少， 是以在此未几加计议.由表 1可看出， 每个数据都集5-shot的准确率均比1-shot的高.标明锤真金不怕火数据越多， 学到的特征也越多， 分类效果越好.在Omniglot数据集上， 整个模子在1-shot场景下的准确率都达到了97%， 在5-shot任务下的准确率均达到了98%， 可擢升起间较少; 在miniImageNet数据集上， 不同模子之间的擢升较大， 在1-shot任务下效果最好的模子比效果最差的准确率擢升了15%傍边， 在5-shot任务下准确率擢升了高达21%， 标明在此数据集上还有较大的擢升起间.
5 小样本学习总结与预测 5.1 小样本学习总结由于果然宇宙的某些领域中样本量很少或标注样本很少， 而样本标注责任会耗尽多半本领和东说念主力， 连年来， 小样本学习渐渐成为东说念主们重可瞻仰的问题.本文先容了图像分类和文分内类两个任务中小样本学习的研究进展， 总体上看， 小样本图像分类已有了许多性能优异的算法模子， 但小样本文分内类仍是个亟待治理的问题.凭据小样本学习方法的不同， 本文将其分为基于模子微调、基于数据增强和基于迁徙学习的方法这3类， 其中， 基于数据增强的方法不错细分为基于无标签数据、基于数据合成和基于特征增强的方法这3种， 基于迁徙学习的方法不错细分为基于度量学习、基于元学习和基于图神经辘集的方法这3种.本文对以上几种方法作念了总结， 况且比较了它们的优点和弊端， 具体见表 2.
Table 2 Comparison of advantages and disadvantages in different few-learning methods
表 2 小样本学习方法优弊端对比
总体来说， 小样本学习研究已有很猛进展， 但和东说念主类分类准确率比较还有很大差距.为了治理基于模子微调方法带来的过拟合问题， 基于数据增强和基于迁徙学习的方法被提议.基于数据增强的方法是对小样本数据集进行数据扩张或特征增强， 这种方法不错不对模子进行参数调养， 但是容易引入噪声数据.基于迁徙学习的方法是将旧领域学到的学问迁徙到新领域， 况且不需要两者之间有很强的关联性， 但关联性越强， 迁徙效果越好.在基于迁徙学习的方法中， 基于度量学习的方法最简便、容易操作， 只需要通过距离来预计样本之间的相似度， 但是学习到的学问太少.基于元学习比基于度量学习的方法学习才能更强， 不错学习到更多学问.基于图神经辘集的方法在3种方法中展示最为直不雅、可解释性较强， 但样本总额变大时， 会导致算计复杂度增高.
5.2 小样本学习挑战尽管连年来小样本学习也曾得到潜入研究， 况且取得了一定进展， 但仍濒临着一些挑战.
(1) 强制的预锤真金不怕火模子[4]
在已有的小样本学习方法中， 无论是基于模子微调的方法如故基于迁徙学习的方法， 都需要在多半的非缱绻数据集上对模子进行预锤真金不怕火， 甚而“小样本学习”一定进度上变成个伪命题.因为模子的预锤真金不怕火依旧需要多半标注数据， 从本色上来看， 与小样本学习的界说以火去蛾中.从根蒂上治理小样本问题， 就要作念到不依赖预锤真金不怕火模子， 不错研究驾御其他先验学问而非模子预锤真金不怕火的方法.
(2) 深度学习的可解释性
由于深度学习模子自身是一个黑盒模子， 在基于迁徙学习的小样本深度学习模子中， 东说念主们很难了解到特征迁徙和参数迁一霎保留了哪些特征， 使得调养参数愈加禁绝[105].提讲究度学习的可解释性， 能匡助协调特征迁徙， 在源领域和缱绻领域之间发现合适的迁徙特征[106].在此方面已有了一些责任[107].
(3) 数据集挑战
现存的小样本学习模子都需要在大范围数据上预锤真金不怕火， 图像分类任务中也曾有了ImageNet行动预锤真金不怕火数据集， 而文分内类中， 短缺雷同的预锤真金不怕火数据集， 是以需要构建一个被各式任务平凡使用的小样本文分内类预锤真金不怕火数据集.同期， 在小样本图像分类任务中， miniImageNet和omniglot是两个被平凡使用的程序数据集.但在小样本文分内类任务中， 不同责任所接受的缱绻数据集截然不同， 有好多都是网上爬取的数据集.是以， 构建一个适用于文分内类任务的小样本缱绻数据集是需要斟酌的问题.为治理这个问题， Han等东说念主[108]在2018年提议了一个小样本关系抽取数据集FewRel， 其中包含100种分类， 共70 000个实例， 范围和miniImageNet高出.
女同做爱(4) 不同任务之间复杂的梯度迁徙[90]
在基于元学习的小样本学习方法中， 从不同任务中学习元学问的过程梯度下落较慢.将模子迁徙到新任务中时， 由于样本数目较少， 是以守望模子能在缱绻数据集上快速管制， 在此过程中， 梯度下落较快.针对基于元学习的方法联想合理的梯度迁徙算法， 亦然目下需要研究并亟待治理的问题.
(5) 其他挑战
在小样本文分内类中， 不同话语的分类难度不同.英文的文分内类比较老练， 但是汉文分类由于分词等问题， 目下还不是很老练.另外， 跨语种或者多语种的文分内类是一个难题， 由于源话语与缱绻话语的特征空间进出甚大， 同期， 列国的话语、笔墨又包含了不同的话语学特征， 这无疑加大了跨话语文分内类的难度[105].
5.3 小样本学习预测通过对刻下小样本学习研究进展的梳理， 不错预测畴昔小样本学习的发展标的.
1) 在数据层面， 尝试驾御其他先验学问锤真金不怕火模子， 或者更好地驾御无标注数据.为了使小样本学习的成见更围聚果然， 不错探索不依赖模子预锤真金不怕火、使用先验学问(例如学问图谱)就能取得较好效果的方法.固然在好多领域中标注样本数目很少， 但果然宇宙中存在的多半无标注数据蕴含着多半信息， 驾御无标注数据的信息锤真金不怕火模子， 这个标的也值得潜入研究.
2) 基于迁徙学习的小样本学习濒临着特征、参数和梯度迁徙的挑战.为更好地协调哪些特征和参数妥贴被迁徙， 需要提讲究度学习的可解释性; 为使模子在新的领域新任务中快速管制， 需要联想合理的梯度迁徙算法.
3) 针对基于度量学习的小样本学习， 提议更有用的神经辘集度量方法.度量学习在小样本学习中的应用也曾相对老练， 但是基于距离函数的静派头量方法更正空间较少， 使用神经辘集来进行样本相似度算计将成为以后度量方法的主流， 是以需要联想性能更好的神经辘集度量算法.
4) 针对基于元学习的小样本学习， 联想更好的元学习器.元学习行动小样本学习领域刚兴起的方法， 目下的模子还不够老练.何如联想元学习器， 使其学习到更多或更有用的元学问， 也将是今后一个遑急的研究标的.
5) 针对基于图神经辘集的小样本学习， 探索更有用的应用方法.图神经辘集行动这几年比较火热的方法， 也曾覆盖到好多领域， 况且可解释性强、性能好， 但是在小样本学习中应用的模子较少.何如联想图辘集结构、节点更新函数和边更新函数等方面， 值得进一步探究.
6) 尝试不同小样本学习方法的交融.现存小样本学习模子都是单一使用数据增强或迁徙学习的方法， 今后不错尝试将二者进行结合， 从数据和模子两个层面同期进行更正， 以达到更好的效果.同期， 连年来， 跟着主动学习(active learning)[109]和强化学习(reinforcement learning)[110]框架的兴起， 不错斟酌将这些先进框架应用到小样本学习上.
6 末端语由于果然宇宙中样本稀缺的问题， 小样本学习越来越受到东说念主们的好奇.跟着机器学习和深度学习的不停发展， 基于小样本学习的分类问题也曾在算计机视觉和当然话语处理领域有了潜入的研究91porn com， 并将在医疗领域(如疾病会诊)、金融领域(如资金很是)等不同领域展现出讲究的应用出路.本文对目下小样本学习的研究进展进行了详实发扬， 同期分析了目下小样本学习濒临的挑战， 终末对其进行了出路预测.
