之前我们在[1]中介绍过超大负样本对于对比学习训练的重要意义，并且在[2,3]中介绍了MoCo，Memory Bank等方法去突破硬件限制地去进一步增大负样本数量。然而，之前这些方法都尝试在单模态数据上进行对比学习[4]，在文章[5]中，作者团队提出了WenLan项目，尝试在多模态模型中采用MoCo的形式进行大尺度负样本对比学习。

文章[1]的作者发现在多模态分类模型中，经常出现最好的单模态模型比多模态模型效果还好的情况，作者认为这是由于多模态模型的容量更大，因此更容易过拟合，并且由于不同模态的信息过拟合和泛化有着不同的节奏，如果用同一个优化策略进行优化，那么很可能得到的不是一个最佳的结果。也就是说作者认为目前的多模态融合方式还不是最合适的，因此在[1]中提出了一种基于多模态梯度混合的优化方式...

CLIP是近年来在多模态方面的经典之作，其用大量的数据和算力对模型进行预训练，使得模型的zero-shot性能甚至可以匹敌众多数据集上的监督SOTA，实在让人惊叹不已，本文简要纪录下笔者阅读该文后的读后感以及一些启发。

【论文极速看】CLIP-Lite：一种不依赖于负样本数量的高效多模态学习方法

在之前的博文[1,2]中已经说明了在对比学习中提高batch size的巨大作用，然而在大尺度对比学习的训练过程中，被广泛实践证明有效的Batch Norm层则很容易出现过拟合的现象。

之前在博文[2-4]中介绍了一些图文多模态语义对齐相关的模型，分别是WenLan 1.0， WenLan 2.0和CLIP等，这些模型都是双塔结构模型，然而在实际的应用场景中，我们会有使用单塔模型的需求，笔者在本文将介绍一篇论文[1]的思路，将单塔模型和双塔模型结合在一起进行图文多模态语义融合和对齐。

在SVM的推导中，在得到了原问题的拉格朗日函数表达之后，是一个最小最大问题，通常会将其转化为原问题的对偶问题即是最大最小问题进行求解，我们这里简单介绍下最优化问题的对偶问题。本人无专业的数学学习背景，只能在直观的角度上解释这个问题。

在以前的文章中，我们介绍了支持向量机的基本表达式，那是基于硬间隔线性支持向量机的，即是假设数据是完全线性可分的，在数据是近似线性可分的时候，我们不能继续使用硬间隔SVM了，而是需要采用软间隔SVM，在这里我们简单介绍下软间隔线性支持向量机。

近日笔者在阅读Shift-GCN[2]的文献，Shift-GCN是在传统的GCN的基础上，用Shift卷积算子[1]取代传统卷积算子而诞生出来的，可以用更少的参数量和计算量达到更好的模型性能，笔者感觉蛮有意思的，特在此笔记。

在SVM的推导中，出现了核心的一个最优化问题，这里我们简单介绍下最优化问题，特别是带有约束的最优化问题，并且引入拉格朗日乘数法和广义拉格朗日乘数法，介绍并且直观解释了KKT条件，用于解决带约束的最优化问题。本人无专业的数学学习背景，只能在直观的角度上解释这个问题，如果有数学专业的朋友，还望不吝赐教。