世界多胞体与世界模型

Posted on 2025-02-09 | In 世界模型

Words count in article: 844 字 | Reading time ≈ 2 分钟

本文记一下我的一个胡思乱想，也不知道有没有现有的论文去研究这个东西，有空我去看看...

从一个例子开始，理解互联网岗位分工

Posted on 2025-02-09 | In 互联网趣闻

Words count in article: 5k 字 | Reading time ≈ 17 分钟

你我皆牛马，活在网中间~

Posted on 2025-02-09 | In 大模型后训练

Words count in article: 5.5k 字 | Reading time ≈ 19 分钟

奖励模型（Reward Model）中的尺度扩展规律（Scaling Laws），也即是通过扩展奖励模型的模型大小、数据量等去提升奖励模型的能力...

Posted on 2025-01-11 | In 大模型预训练

Words count in article: 2.4k 字 | Reading time ≈ 8 分钟

最近看到一篇预训练的文章，只在每条预训练数据的前面加上一个源信息（即是该信息的URL信息），就能加速训练（+33%）并且提升下游任务的效果...

Posted on 2025-01-05 | In 大模型预训练

Words count in article: 4.6k 字 | Reading time ≈ 16 分钟

LLM的预训练是决定其底座能力的至关重要的步骤，其预训练数据通常会包含有多种领域的数据，如何调整不同领域的数据配比（可以理解为采样频率）是极其重要的大模型预训练研究点...

Posted on 2024-12-21 | In linux使用

Words count in article: 267 字 | Reading time ≈ 1 分钟

基于shell的简单好用多进程wrapper...

Posted on 2024-11-10 | In 多模态模型

Words count in article: 3.2k 字 | Reading time ≈ 11 分钟

传统的CLIP采用对比学习的方式进行预训练，通常需要汇聚多张节点的多张设备的特征向量以进行打分矩阵的计算，训练速度通常都较慢...

Posted on 2024-11-06 | In 深度学习环境搭建

Words count in article: 578 字 | Reading time ≈ 2 分钟

穿透内网，访问jupyter notebook...

Posted on 2024-11-06 | In pytorch使用

Words count in article: 1.1k 字 | Reading time ≈ 4 分钟

pytorch中fold和unfold函数的日常使用方法...

Posted on 2024-11-06 | In linux使用

Words count in article: 241 字 | Reading time ≈ 1 分钟

rsync的基本使用方法...