[解读] Unsupervised Feature Learning via Non-Parametric Instance Discrimination

Unsupervised Feature Learning via Non-Parametric Instance Discrimination

• 链接: https://arxiv.org/abs/1805.01978v1
• 解释链接: https://blog.csdn.net/qq_16936725/article/details/51147767

本文提出了一种视觉特征的无监督学习算法, 这种方法能够学习到实例间的相似性和差异性. 首先利用卷积网络进行特征学习, 再通过非参数的 Softmax 变换, 将一个图片转换成一个特征表示.

相关的工作

在特征之间可以定义一种度量, 特征学习可以视为某种度量学习, 这方面有许多的研究 [15, 33], 本文将利用度量学习中的正则化方法 [35, 22, 43]. Exemplar CNN [5] 与本文的工作有相似之处, 但最重要的区别是这个方法需要一种参数范式, 而本文的方法是非参数的.

方法

按照传统的卷积网络分类器设计思路, 要进行实例级别的分类任务, 对每一个样本都需要一个权重向量 $\mathbf{w}$ , 样本属于某一类的概率为
$$P(i|\mathbf{v})=\frac{\exp \left({\mathbf{w}}_i^T\mathbf{v}\right)}{{\sum }_{j=1}^n\exp \left({\mathbf{w}}_j^T\mathbf{v}\right)},$$
其中 $\mathbf{v}$ 是卷积网络输出的特征表示. $i$ 是预测类别(实例级). 参数 $\mathbf{w}$ 是需要优化的, 然而 $\mathbf{w}$ 做为分类(大类)原型, 不能做到实例间的区分. 本文将每一个样本做为一个类别, 实现实例级别的判别, 主要的改进如下:
$$P(i|\mathbf{v})={\sum }_{j=1}^n\exp ($$