最近有需求对特征进行稀疏编码，看到一篇论文VQ-VAE，简单进行笔记下。

基于树的模型（Tree-based model），比如GBDT，XGBoost，Random Forest等仍然是Kaggle，天池等数据比赛中最为常用的算法，在遇到表格型数据（Tabular data）的时候，这些树模型在大多数场景中甚至表现优于深度学习，要知道后者已经在诸多领域（CV，NLP，语音处理等）已经占据了绝对的优势地位。那么为何如此呢？

公司内部用的LTR（Learning To Rank）平台能够对树模型的特征依赖进行曲线绘制，其中绘制的原理没能从内部文档中找到，只是大概知道这个特征依赖曲线能够反应树模型中每个特征的输入输出响应。后面在和同事的交流中渐渐发现了一些端倪，后经过调研后初步得到一些结论，本文简单笔记之。

本文讲解hinge loss高效的一种实现方法。

这次的debug案例来自于朋友的一个问题，Embedding层的前向和反向速度是否会随着token的增多而增加呢？本文对这个问题进行讨论。

我们在进行对比学习训练时候，经常需要设置大的batch size，而显卡的显存大小是限制batch size大小的最主要因素，在实践过程中我们经常采用recompute机制，通过用计算换空间的方式，减少模型的内存消耗。然，在动态图训练时候，recompute机制需要进行手动的停止同步和梯度融合，本文纪录下这个问题。

之前北京爬山的时候，刚好遇到京东搞推荐相关的朋友，在交流过程中发现推荐系统似乎和搜索系统在模型选用上有很大差别，特别是在排序模型这块。后面在学习王喆老师的《深度学习推荐系统》一书时，发现在推荐系统中经常采用深度网络模型，以进行特征的深层次交叉，而对传统的（但具有可解释性）树模型的应用似乎没看到。

之前笔者在博文[1]中谈到了在工作一年的过程中，笔者对“业务”两个字的认识，并且尝试解释了我所理解的“技术赋能业务”。在前文的基础上，本文希望进一步纪录下此时我对于搜索业务的认识。

4年前打算写一个关于autodiff的系列文章，因为工作和学习上比较忙碌（Lan Duo :P），就一直拖到了现在。刚好最近又在学习OPEN MLSYS[2]，借此机会将静态图中的autodiff笔记也一并写完吧。

在实际工作中，我们经常会遇到一堆数据，对数据的有效分析至为关键，而数据的分布就是一种非常重要的数据属性，需要通过合适的可视化手段进行分析。