BoNBoN——结合行为模仿和偏好对齐进行Best-of-N对齐的方法

Posted on 2025-03-24 | In 大模型

Words count in article: 496k 字 | Reading time ≈ 30:05 分钟

BoNBoN结合了行为模仿和偏好对齐，在模型的Best-of-N结果基础上进行对齐...

给定计算预算下的最佳LLM模型尺寸与预训练数据量分配

Posted on 2025-03-14 | In 大规模语言模型

Words count in article: 213k 字 | Reading time ≈ 12:55 分钟

如果给定了计算预算C，如何分配LLM的模型尺寸N和训练的数据量D，才能使得模型的效果L最好呢...

Posted on 2025-03-02 | In 大规模语言模型

Words count in article: 135k 字 | Reading time ≈ 8:10 分钟

大模型的尺度扩展定律告诉我们：『LLM的性能会随着模型的参数量、模型的训练量、模型的训练数据量的增加而增加』。训练存在尺度扩展定律，测试也存在尺度扩展定律，实践告诉我们在推理时候增大计算量，往往可以获得模型性能收益。那么在给定了计算预算的前提下，如何安排预算才能达到最好的模型效果呢？

Posted on 2025-02-09 | In 世界模型

Words count in article: 34k 字 | Reading time ≈ 2:02 分钟

本文记一下我的一个胡思乱想，也不知道有没有现有的论文去研究这个东西，有空我去看看...

Posted on 2025-02-09 | In 互联网趣闻

Words count in article: 15k 字 | Reading time ≈ 55 mins. 分钟

你我皆牛马，活在网中间~

Posted on 2025-02-09 | In 大模型后训练

Words count in article: 218k 字 | Reading time ≈ 13:13 分钟

奖励模型（Reward Model）中的尺度扩展规律（Scaling Laws），也即是通过扩展奖励模型的模型大小、数据量等去提升奖励模型的能力...

Posted on 2025-01-11 | In 大模型预训练

Words count in article: 6k 字 | Reading time ≈ 22 mins. 分钟

最近看到一篇预训练的文章，只在每条预训练数据的前面加上一个源信息（即是该信息的URL信息），就能加速训练（+33%）并且提升下游任务的效果...

Posted on 2025-01-05 | In 大模型预训练

Words count in article: 370k 字 | Reading time ≈ 22:27 分钟

LLM的预训练是决定其底座能力的至关重要的步骤，其预训练数据通常会包含有多种领域的数据，如何调整不同领域的数据配比（可以理解为采样频率）是极其重要的大模型预训练研究点...

Posted on 2024-12-21 | In linux使用

Words count in article: 3.9k 字 | Reading time ≈ 14 mins. 分钟

基于shell的简单好用多进程wrapper...

Posted on 2024-11-10 | In 多模态模型

Words count in article: 58k 字 | Reading time ≈ 3:29 分钟

传统的CLIP采用对比学习的方式进行预训练，通常需要汇聚多张节点的多张设备的特征向量以进行打分矩阵的计算，训练速度通常都较慢...