小样本学习登Nature！计算效率高170倍，彻底起飞

中科院新提出的社会行为图谱SBeA登上Nature子刊！

SBeA是一个用于多动物3D姿势估计、身份识别和社会行为分类的小样本学习框架，能够全面量化自由群居动物的行为，使用较少的标记帧数（约 400 帧）进行多动物三维姿态估计。

结果显示SBeA成功地量化了社会行为模块的聚类性能，可以有效的分类社会行为。

在多动物身份识别方面，SBeA的准确率超过 90%。这类小样本学习方法能够在有限的数据情况下训练模型，降低收集和标注数据的成本，同时加快模型的开发和部署速度，让模型能够学习到更加泛化的特征，提高对新任务或类别的适应性和识别能力。

因此，小样本学习一直是重要的研究方向。这次我整理了16个小样本学习创新方案，来自近一年高引用的顶会文章，原文以及开源代码已附，方便同学们复现。

论文原文以及开源代码需要的同学看文末

Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework

方法：论文介绍了一种名为SBeA的多动物三维姿态跟踪和社交行为映射方法。该方法旨在全面量化自由社交动物的行为。除此之外，研究还提出了一种基于多视图几何的方法用于多动物的三维重建。通过该方法可以计算出多个动物的三维坐标。此外，研究还使用SBeA方法对Shank3B基因敲除小鼠进行了社交行为的识别。

创新点：

通过使用多视角摄像机阵列进行视频捕获和人工标注，作者开发了一个名为SBeA的计算框架，用于多动物三维姿势估计、无标签识别和无监督动态学习等任务。
作者提出了角度谱聚类的方法来减少社交行为模块的冗余，并通过基于特征角度分离的方式合并社交行为模块。
作者利用SBeA成功鉴定了自闭症谱系障碍基因突变小鼠的异常社交行为表型，并发现了新的社交行为表型，如好奇行为和独立梳理行为。

GPr-Net: Geometric Prototypical Network for Point Cloud Few-Shot Learning

方法：论文提出了一种轻量级的几何原型网络（GPr-Net），利用局部几何特征和超几何空间来实现高效的点云少样本学习。在ModelNet40数据集上，GPr-Net相比现有方法具有5%更高的准确率和170倍较少的参数。

创新点：

提出了一种轻量级的几何原型网络（GPr-Net），用于点云少样本学习。该方法利用手工设计的矢量化内在几何解释器和拉普拉斯向量来提取和评估点云的形态，从而改进了少样本学习的表示。此外，拉普拉斯向量使得可以从含有较少点的点云中提取有价值的特征。为了解决少样本度量学习中的分布漂移挑战，作者利用双曲空间，证明了他们的方法比现有的点云少样本学习方法更好地处理类内和类间方差。
提出了一种新的视角来处理点云少样本学习，挑战了复杂的网络设计和训练策略的假设。他们的方法通过采用简单而有效的几何特征，包括内在几何解释器和拉普拉斯向量，来捕捉点云的内在拓扑结构，并在ModelNet40数据集上取得了优越的性能。

Frequency Guidance Matters in Few-Shot Learning

方法：在论文中，研究了不同频率成分对小样本学习任务的影响，并提出了一种新的频率引导的小样本学习框架（FGFL），该框架利用任务特定的频率成分来自适应地掩蔽相应的图像信息，采用了一种新颖的多级度量学习策略，包括原始图像、掩蔽图像和未掩蔽图像之间的三元损失，以及掩蔽和原始支持集和查询集之间的对比损失，以利用更具有判别性的信息。

创新点：

频率引导的少样本学习（FGFL）框架：该框架利用任务特定的频率组件自适应地遮蔽相应的图像信息，包括原始、遮蔽和未遮蔽图像之间的三元损失以及遮蔽和原始支持和查询集之间的对比损失，以利用更有区分性的信息。
多层度量学习策略：包括样本级三元损失和类级对比损失，能够更好地利用样本和任务级别的频率信息，并鼓励模型捕捉更多与任务相关的频率信息，从而提高空间域中的分类性能。

Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models

方法：论文利用了最近的多模态基础模型，如CLIP，将不同模态映射到相同的表示空间，并提出了一种简单的跨模态适应方法，从不同模态的少样本示例中学习。通过利用额外的类别名称作为额外的一次训练样本，研究人员在视觉-语言适应中取得了最新的结果。

创新点：

跨模态自适应是作者提出的最重要的创新之一。作者提出了一种简单的跨模态自适应方法，通过将不同模态的样本视为额外的少样本示例来实现。这种方法将原来的“n-shot”问题转化为“(n+1)-shot”问题，取得了令人瞩目的结果，并且可以应用于现有的微调方法或者其他模态。
跨模态学习解决了少样本学习的不确定性问题。作者通过使用现有的文本标签作为免费的训练样本来证明了这一点。跨模态学习的一个吸引人的方面是，学习的模型自然适用于多模态的测试数据，如同时包含视觉和音频信号的视频的分类。