训练生命周期：Pretrain 与 SFT

本章对应课件：《3.1 大模型工程专题》。核心知识点全部按统一模板展开：直觉、公式、逐项拆解、shape、数字算例、交互演示、代码、误区、面试问题。

21.1 大模型训练完整生命周期

Data → Tokenizer → Pretrain → SFT → RL / Preference Optimization → Evaluation → Deployment

21.2 Pretrain 数据从哪里来

课件列出的主要来源：

• Common Crawl（网页爬取，最大来源）
• GitHub（代码）
• 网页、论坛
• 电子书
• 教育 / 论文数据（如 arXiv）
• 公司内部数据

真正困难的不是「找到很多文本」，而是：

获得海量、干净、多样、高质量的数据。

21.3 数据清洗

典型步骤：

21.4 MinHash 去重 ★

公式（Jaccard 相似度）

逐项拆解（MinHash 的核心技巧）

把文档切成 n-gram 集合，用多个哈希函数 $h_1, \ldots, h_k$ 分别取集合中最小哈希值，得到签名向量。关键性质：

数字算例

两篇文章的 5-gram 集合：

• 文章 A：{今天天气很好, 天气很好啊, 气很好啊今, ...}（4 个元素）
• 文章 B：与 A 共享 3 个元素，另有 1 个不同

如果阈值设为 0.8，这两篇不会被判为重复；如果共享 4 个（J = 4/5 = 0.8），则会被去重。

from datasketch import MinHash, MinHashLSH

m1, m2 = MinHash(num_perm=128), MinHash(num_perm=128)
for d in doc1_ngrams: m1.update(d.encode("utf8"))
for d in doc2_ngrams: m2.update(d.encode("utf8"))
print(m1.jaccard(m2))      # 估计相似度

lsh = MinHashLSH(threshold=0.8, num_perm=128)
lsh.insert("doc1", m1)
print(lsh.query(m2))       # 找出近似重复的文档

21.5 数据配比

不能只拿「50% GitHub + 50% Wikipedia」随便训练。不同数据影响能力：

课件第 3～4 页专门展示了不同开源模型的数据分布。配比通常按「域（domain）」设定权重，并反复做消融实验（ablation）。

21.6 训练 Tokenizer

大模型训练之前，先训练 tokenizer。需要决定：

21.7 Warmup + Learning Rate Decay ★

公式

线性 warmup（step < warmup）：

Cosine decay（step ≥ warmup）：

其中 $r$ 是最终学习率比例（通常 0.1）。

逐项拆解

为什么有效？

• warmup：初期梯度方向不可靠（Adam 的二阶矩估计还不准），小步走避免把参数带偏；
• decay：后期接近最优时降低学习率，精细收敛、减少震荡。

import math

def lr_lambda(step):
    # 注意 +1：LambdaLR 在创建时就以 step=0 调用一次，若不 +1，
    # 第一次 optimizer.step() 会用 lr = 0（什么都不更新），第二次才真正开始 warmup。
    step = step + 1
    if step < warmup_steps:
        return step / warmup_steps
    progress = (step - warmup_steps) / (total_steps - warmup_steps)
    return 0.1 + 0.45 * (1 + math.cos(math.pi * progress))

scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)

21.8 为什么看 Loss 还不够

训练日志：

loss 3.0
loss 2.8
loss 2.6

当然重要。但异常情况可能出现 loss spike：

2.1
2.0
2.2
8.7   ← spike！
NaN

可能是：

• 数据异常（脏样本、重复样本）；
• learning rate 问题（过大或调度不当）；
• numerical instability（FP16 溢出等）；
• 梯度爆炸。

所以训练大模型时必须持续 monitor，并准备：

• 定期 checkpoint（方便回滚）；
• 梯度裁剪；
• 数据质量监控；
• 遇到 spike 时回滚到上一个 checkpoint，跳过坏数据继续。

21.9 Perplexity ★

公式

逐项拆解与数字算例

直觉：PPL 越低通常越好。但不能跨 tokenizer 随意比较，因为 tokenizer 不同、token 粒度不同：同样一句话，token 切得越细，每步预测越容易，PPL 会显得更低。

21.10 Pretrain 与 SFT ★

对比

数字算例

Pretrain 数据：
法国的首都是巴黎。巴黎是……

SFT 数据：
User: 法国首都是哪里？
Assistant: 法国的首都是巴黎。

Pretrain：学知识/能力。SFT：学怎么使用能力。

21.11 Chat Template

现代 chat model 往往写成：

<|im_start|>system
You are a helpful assistant.
<|im_end|>
<|im_start|>user
你好
<|im_end|>
<|im_start|>assistant
你好！有什么可以帮助你？
<|im_end|>

这些特殊 token 会被 tokenizer 转成 token ids。

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B-Instruct")

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "1+1等于几？"},
]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
ids = tok(text, return_tensors="pt").input_ids

21.12 SFT 的 Loss Mask ★

公式

逐项拆解

矩阵 shape

数字算例

一条数据共 10 个 token：system/user 占 6 个（mask=0），assistant 回答占 4 个（mask=1）。这 4 个位置的交叉熵分别是 [0.2, 0.5, 0.3, 0.8]：

如果不 mask，把 6 个 prompt token 也算进去（假设它们的 loss 都很小，比如 0.05），损失会被稀释、梯度预算被浪费在「模仿用户输入」上。

labels = input_ids.clone()
labels[:prompt_len] = -100        # prompt 部分忽略
loss = F.cross_entropy(
    logits.view(-1, V), labels.view(-1), ignore_index=-100
)

21.13 SFT 数据：质量与多样性

SFT 并不是数据越多越好。特别重要的是：

• 质量：错误示范会教坏模型；
• 多样性：覆盖不同任务和场景。

如果 100 万条数据全是「你好」，没有意义。好的 SFT 数据需要覆盖：

• 问答 / 写作 / coding / math / reasoning
• safety（安全性）
• multi-turn（多轮对话）
• tool use（工具调用）

21.14 Synthetic Data（合成数据）

• Self-Instruct：让模型自己生成指令 + 回答；
• Distillation（蒸馏）：强模型生成数据，小模型学习。

GPT-5 → 生成 instruction + response → 小模型学习

21.15 SFT 怎么评估

不仅看 loss。还要评估不同 task type：

• helpfulness（有用性）
• reasoning（推理）
• coding / math
• instruction following（指令遵循）
• safety（安全性）

21.16 本章总结