MeCO——给预训练数据增加源信息,就能减少33%的训练量并且提升效果

Posted on 2025-01-11 | In 大模型预训练

Words count in article: 2.4k 字 | Reading time ≈ 8 分钟

最近看到一篇预训练的文章，只在每条预训练数据的前面加上一个源信息（即是该信息的URL信息），就能加速训练（+33%）并且提升下游任务的效果...

DoReMi——一种通过代理模型估计大模型预训练最佳数据配比的方法

Posted on 2025-01-05 | In 大模型预训练

Words count in article: 4.6k 字 | Reading time ≈ 16 分钟

LLM的预训练是决定其底座能力的至关重要的步骤，其预训练数据通常会包含有多种领域的数据，如何调整不同领域的数据配比（可以理解为采样频率）是极其重要的大模型预训练研究点...

Posted on 2024-12-21 | In linux使用

Words count in article: 267 字 | Reading time ≈ 1 分钟

基于shell的简单好用多进程wrapper...

Posted on 2024-11-10 | In 多模态模型

Words count in article: 3.2k 字 | Reading time ≈ 11 分钟

传统的CLIP采用对比学习的方式进行预训练，通常需要汇聚多张节点的多张设备的特征向量以进行打分矩阵的计算，训练速度通常都较慢...

Posted on 2024-11-06 | In 深度学习环境搭建

Words count in article: 578 字 | Reading time ≈ 2 分钟

穿透内网，访问jupyter notebook...

Posted on 2024-11-06 | In pytorch使用

Words count in article: 1.1k 字 | Reading time ≈ 4 分钟

pytorch中fold和unfold函数的日常使用方法...

Posted on 2024-11-06 | In linux使用

Words count in article: 241 字 | Reading time ≈ 1 分钟

rsync的基本使用方法...

Posted on 2024-11-06 | In 多模态大模型

Words count in article: 2.7k 字 | Reading time ≈ 10 分钟

在多模态大模型中，视觉连接器大致可以分为压缩型和非圧缩型，其中BLIP2提出的Q-Former [1] 是压缩型视觉连接器的代表工作之一。在论文 [2] 中，作者对Q-Former的作用提出了质疑和分析，本文进行笔记，希望对读者有所帮助...

Posted on 2024-10-18 | In 多模态大模型

Words count in article: 2.7k 字 | Reading time ≈ 10 分钟

Flamingo算是DeepMind的多模态融合LLM的一个较老的工作了（2022年），之前粗略读过没来得及及时总结，本次过年笔者重新细读了论文，发现其在50多页的论文中有着不少细节...

Posted on 2024-10-18 | In 统计机器学习

Words count in article: 2.7k 字 | Reading time ≈ 9 分钟

Learning To Rank(LTR)模型是对搜索/计算广告/推荐系统中的排序问题进行模型建模的方法，在当前的搜索系统中有着至关重要的作用...