最近笔者工作中用到了GBRank模型，其中用到了GBDT梯度提升决策树，原论文的原文并不是很容易看懂，在本文纪录下GBDT的一些原理和个人理解，作为笔记。

AI算法已经渗入到了我们生活的方方面面，无论是购物推荐，广告推送，搜索引擎还是多媒体影音娱乐，都有AI算法的影子。作为多媒体中重要的信息载体，视频的地位可以说是数一数二的，然而目前对于AI算法在视频上的应用还不够成熟，理解视频内容仍然是一个重要的问题亟待解决攻克。

最近基于AI的换脸应用非常的火爆，同时也引起了新一轮的网络伦理大讨论。如果光从技术的角度看，对于视频中的人体动作信息，通常可以通过泰勒展开分解成零阶运动信息与一阶运动信息，如文献[1,2]中提到的，动作的分解可以为图片动画化提供很好的光流信息，而图片动画化是提供换脸技术的一个方法。

最近有需求对特征进行稀疏编码，看到一篇论文VQ-VAE，简单进行笔记下。

基于树的模型（Tree-based model），比如GBDT，XGBoost，Random Forest等仍然是Kaggle，天池等数据比赛中最为常用的算法，在遇到表格型数据（Tabular data）的时候，这些树模型在大多数场景中甚至表现优于深度学习，要知道后者已经在诸多领域（CV，NLP，语音处理等）已经占据了绝对的优势地位。那么为何如此呢？

公司内部用的LTR（Learning To Rank）平台能够对树模型的特征依赖进行曲线绘制，其中绘制的原理没能从内部文档中找到，只是大概知道这个特征依赖曲线能够反应树模型中每个特征的输入输出响应。后面在和同事的交流中渐渐发现了一些端倪，后经过调研后初步得到一些结论，本文简单笔记之。

本文讲解hinge loss高效的一种实现方法。

这次的debug案例来自于朋友的一个问题，Embedding层的前向和反向速度是否会随着token的增多而增加呢？本文对这个问题进行讨论。

我们在进行对比学习训练时候，经常需要设置大的batch size，而显卡的显存大小是限制batch size大小的最主要因素，在实践过程中我们经常采用recompute机制，通过用计算换空间的方式，减少模型的内存消耗。然，在动态图训练时候，recompute机制需要进行手动的停止同步和梯度融合，本文纪录下这个问题。

之前北京爬山的时候，刚好遇到京东搞推荐相关的朋友，在交流过程中发现推荐系统似乎和搜索系统在模型选用上有很大差别，特别是在排序模型这块。后面在学习王喆老师的《深度学习推荐系统》一书时，发现在推荐系统中经常采用深度网络模型，以进行特征的深层次交叉，而对传统的（但具有可解释性）树模型的应用似乎没看到。