之前笔者在[1]中介绍过MoCo v1模型通过解耦batch size和负样本队列大小，从而实现超大负样本队列的对比学习训练方案；在[2]中我们提到了当前对比学习训练中提高负样本数量的一些方法；在[3]中提到了将MoCo扩展到多模态检索中的方案。在本文，我们介绍下MoCo v3，一种尝试在Transformer模型中引入MoCo机制的方法，并且最重要的，介绍其中作者得到的一些训练的小技巧（Trick）。

最近笔者需要基于Efficient Net作为图片编码器进行实验，之前一直没去看原论文，今天抽空去翻了下原论文，简单记下笔记。

线性复杂度的Transformer...

从实习开始算起，土豆已经工作一年半了，不过从正式入职的时间来看还不到一年，那么四舍五入下就算个工作一年吧，正好写个工作总结，记录一下心路历程。土豆先后在腾讯，蚂蚁金服和百度三家公司实习过，虽然都是算法工程师岗位，但是三份实习工作的工作内容都不太相同。在腾讯的时候，主要是对一些视频识别&分类的论文进行总结和跟踪，然后在Kinetics数据集上进行复现和一些新方法的探索，在这个期间也总结了一篇比较长的博文《万字长文漫谈视频理解》[1]，以及其他一些相关工作的博文[2]...

笔者在之前的大规模对比学习训练过程（训练CLIP）中，发现在混合精度训练时候，对比学习的交叉熵损失（带温度系数）容易出现的一个小问题，特此笔记下，希望对读者有所帮助。

本文翻译自《Up-sampling with Transposed Convolution》，这篇文章对转置卷积和反卷积有着很好的解释，这里将其翻译为中文，以飨国人。

在TensorFlow中自带有queue和TFrecord以用为异步并行加载数据，以提高整体系统的性能，但是有些情况下，并不需要或者不能用TFrecord，这个时候，可以手动写一个简单的并行加载数据的框架，可以大大提高系统的性能。

A little trick...

在TensorFlow中，一旦模型训练完成，就需要对其进行持久化操作，也就是将其保存起来，在需要进行对新样本进行测试时，程序加载已经持久化后的模型。在这个过程中就涉及到了模型的持久化操作，在这里简单分享下自己的所见所学。

本文翻译自： 《Prototyping kernels and advanced visualization with Python ops》， 如有侵权请联系删除，仅限于学术交流，请勿商用。如有谬误，请联系指出。