零样本学习研究进展
近几年来，深度学习在机器学习研究领域中取得了巨大的突破，深度学习能够很好地实现复杂问题的学习，然而,深度学习最大的弊端之一，就是需要大量人工标注的训练数据，而这需要耗费大量的人力成本。因此，为了缓解深度学习存在的这一问题，Palatucci等于2009年提出了零样本学习(Zero-shot learning)。
零样本学习是迁移学习的一种特殊场景，在零样本学习过程中，训练类集和测试类集之间没有交集，需要通过训练类与测试类之间的知识迁移来完成学习，使在训练类上训练得到的模型能够成功识别测试类输入样例的类标签。零样本学习的意义不仅在于可以对难以标注的样例进行识别，更在于这一方法模拟了人类对于从未见过的对象的认知过程，零样本学习方法的研究，也会在一定程度上促进认知科学的研究。鉴于零样本学习的应用价值、理论意义和未来的发展潜力，文中系统综述了零样本学习的研究进展，首先概述了零样本学习的定义，介绍了4种典型的零样本学习模型，并对零样本学习存在的关键问题及解决方法进行了介绍，对零样本学习的多种模型进行了分类和阐述，并在最后指明了零样本学习进一步研究中需要解决的问题以及未来可能的发展方向。
【全文链接】：http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180429
1.概述
零样本学习衍生于迁移学习，是迁移学习的变种之一，零样本学习与其他迁移学习最主要的区别是，训练类样本集和测试类样本集没有交集。随着近年来的不断发展，零样本学习已经逐渐脱离迁移学习，成为一个独立的机器学习研究方向。零样本学习方法与现有的分类方法相比，具有如下三点优势：
（1）对于某些还没有建立样本集的特定类(例如新定种的生物物种或濒危物种，最新设计的工业产品等)，通过零样本学习，可以成功地对这些对象进行识别、分类，既能满足实际需求，又可以降低人工和经济成本。
（2）零样本学习的核心机制与人类的学习机制有很多的共通之处，对于零样本学习进行深入的研究，会为人类认知科学领域提供强有力的帮助。
（3）零样本学习与深度学习并不矛盾，两者可以有机结合、博采众长、融合发展,从而更好地满足未来对象识别领域的需求。
零样本学习目前虽然有多种模型，但在本质上都是相似的。而且，零样本学习并不是完全不需要训练样本，零样本学习专注于研究对于特定的某些类缺失对应的训练样本，但模型在使用其他类的训练样本训练后仍然可以对这些特定类的输入做出预测的情况。一般来说，零样本学习中对象类集合应分为两种：训练类(又称已见类)和测试类(又称未见类)。零样本学习的基本思想是利用训练集中的样本，和样本对应的辅助信息(例如文本描述或者属性特征等)对模型进行训练，在测试阶段利用在训练过程中得到的信息，以及模型的测试类辅助信息对模型进行补足，使得模型能够成功对测试集中的样例进行分类。目前来看，零样本学习的研究仍然处于发展阶段，还没有明确一致的定义，因此为了更清晰地阐述零样本学习问题,本文对零样本学习定义如下：零样本学习如果模型在训练过程中，只使用训练类的样本进行训练，且在测试阶段可以识别从未见过的测试类样例，那么就认为该模型实现了零样本学习。
2.零样本学习的典型模型
零样本学习在2009年正式提出之前，就已经有多位学者对这一领域进行了一系列深入研究。零样本学习发展过程中，具有重要节点意义的4种模型
分别是：新任务的零数据学习、语义输出编码零样本学习、基于属性类间迁移的未见类学习、以及跨模态迁移的零样本学习。
2.1新任务的零数据学习
零数据学习的目标在于如何构造模型学习没有可用的训练数据、且只有类
描述的分类器学习问题。因此，在定义上，零数据学习与零样本学习本质上是相同的，并有两种学习方法：输入空间方法和模型空间方法，这两种方法为之后的零样本学习的发展指出了具有启发意义的方向。
2.2语义输出编码零样本学习
2009年，Palatucci等首次提出“零样本学习”这一概念，并提出利用语义输出编码(Semantic output code，SOC)分类器以及包含大量语义知识的标签库，将训练模型的分类能力推广到测试类上，实现零样本学习。首先定义一个维的语义特征空间，每个维度都对应一个二值编码特征。例如，对于“狗”这一类标签来说，在“多毛”、“有尾巴”、“水下呼吸”、“肉食性”和“可以快速移动”5条语义特征下的语义空间中，“狗”这一类可以利用布尔值表示为语义特征向量[1，1，0，1，1]，这一表示方法与Dietterich等提出的方法在思路上较为相似。
2.3基于属性类间迁移的未见类学习
上一模型中所提到的语义编码，本质上是与类相对应的属性特征编码。根据人类认知科学的研究，人类在遇到从未见过的对象时，也会首先判断对象的特征属性，从而与自身的先验知识相结合，做出其所属类别的判断。
但在2009年之前，大多数学者所关注的属性仍然较为简单，仅仅考虑了图像中的几何形状以及颜色等属性。Farhadi等于2009也提出了通过语义属性预测对象类标签的模型，实现了对类附加特定的属性描述,并将属性泛化到不同的类中。同年，Lampert等提出了基于属性类间迁移的未见类检测方法，这一模型可谓是零样本学习的奠基之作，现有的零样本学习方法多都继承了该模型的思想。
2.4跨模态迁移的零样本学习
跨模态迁移的零样本学习由Socher等于2013年提出，该方法的意义在于首次将零样本学习问题转化为子空间问题。从2013年开始，有很多学者延续了将零样本学习问题转化为子空间问题这一思路，基本上他们都是受到了这篇论文的影响。跨模态迁移学习的核心思想是将图像和类标签同时映射到相同的子空间内，目前通常是将图像和类标签同时映射(或称为嵌入(Embedding))到语义空间中，并在语义空间内，利用一定的相似性度量方法，去确定测试类输入图像的类标签。这一部分中所说明的这4种模型在零样本学习的形成阶段奠定了零样本学习的基础，但由于当时的局限性，这4种模型仍然有不可忽视的缺点。新任务的零数据学习在当时只给出了“模型空间方法”和“输入空间方法”的概念，两种方法的具体细节并没有给出，这两种方法的意义在于为零样本学习指出了概念上的实现方向。语义输出编码模型虽然首次提出了零样本学习这一概念，但这一方法与后来的零样本学习方法相比过于简陋，只是使用训练后得到的矩阵将图像特征线性映射到语义空间中，实验效果较差。基于属性的类间迁移模型首次正式地将“属性” 这一概念引入零样本学习，并希望以此实现较为准确的测试类识别，但由于该方法使用属性分类器对测试类进行识别，导这致其对于属性的识别准确度较高，对于测试类的识别准确度却较低。跨模态迁移模型首次将零样本学习问题考虑为特征子空间的映射问题，这一思路真正意义上开创了零样本学习的发展空间，但这一方法也带来了零样本学习中最为关键的问题之一，映射域偏移问题，在训练类上训练的映射模型，在映射测试类样例时产生的偏差，会显著影响零样本学习模型的识别准确度。
3.零样本学习关键问题
虽然目前来说零样本学习仍处于快速发展的阶段，前景十分可期，但零样本学习自身方法中存在的问题使得前进道路上横亘着三个无法忽视的障碍。这三个障碍分别是广义零样本学习（Generalized zero-shot learning）、枢纽度问题（Hubness）、映射域偏移问题（The projection domain shift problem）。
3.1广义零样本学习
在实际应用中，目前的零样本学习与现实应用的学习环境出现了一定程度的矛盾，这是因为零样本学习中假设“零样本学习在测试阶段，只有未见类样例出
现。”这在实际应用中是不现实的，已见类的对象往往是现实世界中最为常见的对象，而且，如果在训练阶段已见类样本容易得到、未见类样本难以获取，那么在测试阶段就也不应只有未见类样例出现。所以，为了让零样本学习真实反应实际应用中的对象识别场景，零样本学习模型应对所有输入样例进行识别，即少量的未见类样例夹杂在大量的已见类样例中，输入样例的可能类标签大概率属于已见类，但也有可能属于未见类。
3.2枢纽度问题
枢纽化问题(Hubness)并不是零样本学习所特有的问题，所有利用特征子空间的机器学习模型，都在实验中发现了这一现象，维度越高，这一现象愈发明显，在嵌入空间中，这一问题尤为严重。而且由于目前零样本学习最为流行的方法就是将输入样例嵌入到特征子空间中，这也导致了零样本学习中的枢纽化问题尤为突出。枢纽化问题最早是在2010年由 Radovanovi等提出，这一问题是指将原始空间(例如图像特征空间或类标签空间)中的某个元素映射到特征子空间中，得到原始空间中某个元素的在特征子空间中的新表示，这时如果使用K近邻方法进行相似性度量时，可能会有某些原始空间中无关元素映射到多个测试样本特征空间中表示最近的几个近邻中，而这些无关向量就称为“枢纽(hub)”，枢纽的出现污染了测试类的近邻列表，对零样本学习产生了较大的影响。
映射域偏移问题的根源在于映射模型较差的泛化能力：模型使用了训练类样本学习由样例特征空间到类
签语义空间的映射，由于没有测试类样本可以用于训练，因此，在映射测试类的输入样例时,就会产生一定的偏差。
供稿：于路
编辑：张梓汶
