本仓库用于记录本人学习大语言模型(LLM)训练的完整过程、代码实践以及实验笔记。
| 章节 | 主要内容 | 进度 |
|---|---|---|
| 第一章: 传统模型 | BERT文本分类 | Todo |
| 第二章: 预训练 | 从0预训练自己的LLM | Todo |
| 第三章: 微调 | LoRA指令微调Qwen3-4B-Base | Todo |
| 第四章: 强化学习 | GRPO训练模型玩数独 | Todo |
| 第五章: 评测 | 基于EvalScope模型评测 | Todo |
| 第六章: 语音模型 | CosyVoice2实现派蒙语音的微调 | Todo |
本项目使用 SwanLab 进行实验追踪和可视化。所有训练过程、指标变化都会被完整记录。
import swanlab
# 初始化实验
swanlab.init(
# 4. 修改这里:改成你自己的项目名
project="my-llm-learning",
experiment_name="chapter1-bert"
)