【论文极速看】CLIP-Lite：一种不依赖于负样本数量的高效多模态学习方法

FesianXu 20220201 at Baidu Search Team

联系方式：

e-mail: FesianXu@gmail.com

github: https://github.com/FesianXu

微信公众号：机器学习杂货铺3号店

传统的CLIP [1]对比学习模型依赖于海量的图文对训练数据，以及每个正样本对应的负样本的数量，为了弥补CLIP模型对于负样本数量的极度依赖，而单纯通过当前batch size提供足够的负样本又强烈依赖于显卡资源的现况，有些方案提出采用虚拟batch size（即是memory bank）进行弥补 [2]。MoCo [3]模型提出采用动量编码器和负样本队列的方式，可以利用训练历史上的负样本，从而扩大了参与训练的负样本数量。

在文章[4]中，作者提出了CLIP-Lite，该模型通过Jensen-Shannon散度对互信息进行下界估计，而不是像CLIP采用infoNCE对互信息进行估计。互信息（Mutual Information, MI）描述了『在知道某个随机变量后，对于另一个随机变量的不确定性的减少程度』，对于离散随机变量而言，其联合概率分布为，其互信息可表示为，那么：定义随机变量的熵（entropy）和条件熵（conditional entropy）为：其中有: 联合(1-2)和(1-3)，我们有：因此互信息可以理解为在知道了额外信息（随机变量）后，对于随机变量的不确定性的减少程度。显然，当且仅当的时候，有，此时可以理解为随机变量是完全独立的。

对互信息进行优化在表征学习中有着广泛地应用，通过最大化互信息可以学习到更好的表征。不难看出，互信息可以用Kullback-Leibler(KL) 散度表示，为：然而，对高维的连续随机变量进行互信息估计是一件很困难的事情，特别是当联合概率分布和边缘概率分布都是未知分布的情况下。因此存在有一些方法尝试对互信息进行下界估计，通过对下界进行求最优化从而间接达到对互信息进行优化的目的。目前最常用的有几种下界估计，Donsker-Varadhan（DV）下界，infoNCE下界和Jensen-Shannon（JS）散度下界。DV下界 [5,6] 如(1-6)所示，其中的是一个参数为的神经网络判别器，，其对和的相关程度进行判断。假设是对输入进行求表征的函数，是表征神经网络的参数。那么对进行最优化，需要同时优化。表示为： infoNCE下界如式子(1-8)所示：从式子(1-6)和(1-8)中，我们发现DV下界和infoNCE下界都依赖于负样本数量，越多负样本才能有越好的效果（笔者暂时还不太理解DV下界为啥依赖于负样本数量）。而在CLIP-Lite中作者提出用JS下界去替代CLIP中的infoNCE下界，而JS下界不依赖于负样本数量，因此每个正样本至多只需要一个负样本就可以进行下界优化，如Fig 1.1所示。JS下界见式子(1-9):

Fig 1.1 CLIP-Lite对比CLIP，每个正样本只需要一个负样本即可完成有效的表征对比学习。

其中的同样是个以为参数的神经网络判别器，用于判断当前输入的图文对是正样本还是负样本，最后的优化目标同样是同时对和进行优化：其中的和是图片和文本的编码器，如Fig 1.2所示。

Fig 1.2 图片编码器和文本编码器，通过优化JS下界间接进行互信息优化。

Reference

[1]. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., … & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020.

[2]. https://fesian.blog.csdn.net/article/details/119515146

[3]. He, K., Fan, H., Wu, Y., Xie, S., & Girshick, R. (2020). Momentum contrast for unsupervised visual representation learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9729-9738).

[4]. Shrivastava, Aman, Ramprasaath R. Selvaraju, Nikhil Naik, and Vicente Ordonez. "CLIP-Lite: Information Efficient Visual Representation Learning from Textual Annotations." arXiv preprint arXiv:2112.07133 (2021).

[5]. M.D Donsker and S.R.S Varadhan. Asymptotic evaluation of certain markov process expectations for large time, iv. Communications on Pure and Applied Mathematics, 36(2):183–212, 1983.

[6]. Hjelm, R. Devon, Alex Fedorov, Samuel Lavoie-Marchildon, Karan Grewal, Phil Bachman, Adam Trischler, and Yoshua Bengio. "Learning deep representations by mutual information estimation and maximization." arXiv preprint arXiv:1808.06670 (2018).