Skip to content

QUICKSTART.md

Latest commit

 

History

History
133 lines (94 loc) · 2.66 KB

QUICKSTART.md

File metadata and controls

133 lines (94 loc) · 2.66 KB

快速开始指南

本指南将帮助您在 10 分钟内完成环境配置并开始微调 Qwen3-4B 模型。

📋 前提条件

  • MacBook with Apple Silicon (M1/M2/M3)
  • 至少 16GB 统一内存（推荐 32GB）
  • macOS 13.0 或更高版本
  • Python 3.8 或更高版本

🚀 5 步快速开始

步骤 1: 克隆项目

git clone <your-repo-url>
cd qwen3_test

步骤 2: 创建虚拟环境

# 创建虚拟环境
python3 -m venv .venv

# 激活虚拟环境
source .venv/bin/activate

步骤 3: 安装依赖

# 安装所有必需的包
pip install -r requirements.txt

步骤 4: 准备数据和模型

# 下载自我认知数据集
modelscope download --dataset swift/self-cognition --local_dir ./self-cognition

# 转换数据格式
python trans_data.py

# 下载 Qwen3-4B 模型
modelscope download --model Qwen/Qwen3-4B --local_dir ./Qwen3-4B

步骤 5: 开始微调

# 使用 LoRA 进行微调
mlx_lm.lora --config ft_qwen3_lora.yaml

🎯 验证安装

运行以下命令验证环境是否正确配置：

# 检查 Python 版本
python --version

# 检查 MLX 是否正确安装
python -c "import mlx.core as mx; print(mx.__version__)"

# 检查 MLX-LM 是否正确安装
mlx_lm --help

💡 下一步

完成微调后，您可以：

  1. 测试模型对话

    mlx_lm.chat --model Qwen3-4B --adapter-path my_qwen3_4b

  2. 部署 API 服务

    mlx_lm.server --model Qwen3-4B --adapter-path my_qwen3_4b

  3. 性能测试

    evalscope perf \
  --parallel 1 \
  --number 10 \
  --model Qwen3-4B \
  --url http://127.0.0.1:8080/v1/chat/completions \
  --api openai

❓ 遇到问题？

📚 深入学习

⚙️ 自定义配置

修改 ft_qwen3_lora.yaml 来调整训练参数：

# 关键参数
batch_size: 1          # 批次大小（内存受限时减小）
iters: 500             # 训练迭代次数
learning_rate: 1e-4    # 学习率
num_layers: 28         # 微调层数

# LoRA 参数
lora_parameters:
  rank: 8              # LoRA 秩（增大可能提升效果但增加计算）
  scale: 20.0          # LoRA 缩放因子

🎉 完成

恭喜！您已经成功完成了 Qwen3-4B 模型的微调。享受您的定制模型吧！

如有疑问，欢迎查看详细文档或提交 Issue。