线性复杂度的Transformer...

从实习开始算起，土豆已经工作一年半了，不过从正式入职的时间来看还不到一年，那么四舍五入下就算个工作一年吧，正好写个工作总结，记录一下心路历程。土豆先后在腾讯，蚂蚁金服和百度三家公司实习过，虽然都是算法工程师岗位，但是三份实习工作的工作内容都不太相同。在腾讯的时候，主要是对一些视频识别&分类的论文进行总结和跟踪，然后在Kinetics数据集上进行复现和一些新方法的探索，在这个期间也总结了一篇比较长的博文《万字长文漫谈视频理解》[1]，以及其他一些相关工作的博文[2]...

笔者在之前的大规模对比学习训练过程（训练CLIP）中，发现在混合精度训练时候，对比学习的交叉熵损失（带温度系数）容易出现的一个小问题，特此笔记下，希望对读者有所帮助。

本文翻译自《Up-sampling with Transposed Convolution》，这篇文章对转置卷积和反卷积有着很好的解释，这里将其翻译为中文，以飨国人。

在TensorFlow中自带有queue和TFrecord以用为异步并行加载数据，以提高整体系统的性能，但是有些情况下，并不需要或者不能用TFrecord，这个时候，可以手动写一个简单的并行加载数据的框架，可以大大提高系统的性能。

A little trick...

在TensorFlow中，一旦模型训练完成，就需要对其进行持久化操作，也就是将其保存起来，在需要进行对新样本进行测试时，程序加载已经持久化后的模型。在这个过程中就涉及到了模型的持久化操作，在这里简单分享下自己的所见所学。

本文翻译自： 《Prototyping kernels and advanced visualization with Python ops》， 如有侵权请联系删除，仅限于学术交流，请勿商用。如有谬误，请联系指出。

本文翻译自： 《Control flow operations: conditionals and loops》， 如有侵权请联系删除，仅限于学术交流，请勿商用。如有谬误，请联系指出。

本文翻译自： 《Understanding order of execution and control dependencies》， 如有侵权请联系删除，仅限于学术交流，请勿商用。如有谬误，请联系指出。