大模型知识体系 · 静态目录

章节目录

1. 知识地图与学习主线 — 六段式学习路线（理解 → 构建 → 扩展 → 服务 → 对齐 → 评估）、CS336 前置分层与全站导航。
2. 深度学习基础：回归、Loss、梯度与 Softmax — 线性模型、MSE、梯度下降、反向传播、Softmax、交叉熵、MLP、激活函数——全套地基。
3. 优化器：SGD → Momentum → Adam — SGD、Momentum、Adam 完整推导与算例，AdamW 解耦正则，优化器竞赛演示。
4. 模型评估与泛化：指标、过拟合与正则化 — 混淆矩阵计算器、四大指标、不平衡数据陷阱、L2、Dropout（经典 ML 评估，LLM 评测见第 23 章）。
5. 数值稳定：梯度爆炸/消失、初始化、BN 与残差 — 连乘的威力、Sigmoid 饱和、Kaiming 初始化、BatchNorm 算例、ResNet 残差。
6. 循环神经网络：RNN → LSTM → GRU — 参数共享、BPTT 长程依赖、LSTM 三门一状态、GRU、Deep RNN（历史演化，保持冻结）。
7. NLP 基础：Tokenizer、BPE 与 Embedding — BPE 真实训练器、训练与编码的区别、BBPE、Tokenizer 评估、Embedding 查表。
8. Transformer：Attention 是全部的核心 — Q/K/V、缩放原理、Multi-Head、LayerNorm、Causal Mask——25 小节 + 15 个交互演示 + 39 题面试库。
9. BERT：Encoder-only 与双向理解 — 三种 Embedding、[CLS]/[SEP]、Attention Mask、MLM、80/10/10、NSP。
10. GPT：Decoder-only 与文本生成 — Next Token Prediction、训练并行、推理循环、Temperature、Top-K/Top-P。
11. 现代 LLM 架构：技术演化视角 — LayerNorm→RMSNorm、绝对位置→RoPE、ReLU→SwiGLU、MHA→GQA、KV Cache——按技术演化组织。
12. PyTorch for LLM：动手之前的必备工具箱 — shape 操作、广播、matmul/einsum、nn.Module、autograd、DataLoader、训练循环、checkpoint。
13. Build Your Own Small LLM（上）：组件篇 — Lab 1-7：BPE Tokenizer → RMSNorm → RoPE → Attention → SwiGLU → Transformer Block → Decoder-only LM。
14. Build Your Own Small LLM（下）：训练篇 — Lab 8-14：数据准备 → 预训练 → 评估 → 生成推理 → KV Cache → SFT → DPO/GRPO 小实验。
15. Scaling Laws 与算力：为什么这样配置训练 — 参数量数法、6ND 估算、Kaplan/Chinchilla、isoFLOP 曲线、GPU hours 与 MFU。
16. GPU Fundamentals：从 SM 到 Roofline — SM/Tensor Core/warp、存储层次、算术强度、Roofline、GEMM 与 kernel fusion、Profiling 入门。
17. Distributed Training：从 DDP 到 3D 并行 — AllReduce/Ring、ZeRO 三阶段、FSDP、张量并行、流水线并行、通信计算重叠与选型指南。
18. 训练显存、混合精度与 LoRA — 显存构成、FP32/FP16/BF16、混合精度与 loss scaling、梯度累积、激活检查点、LoRA。
19. Pretraining Data Engineering：从网页到 Training Batch — HTML 抽取、规范化、语言识别、质量过滤、精确/近似去重、去污染、配比、打包、分片、流式读取——完整数据管线 + 可运行 Lab。
20. FlashAttention 与 Triton：为什么 Attention 还能更快 — HBM vs SRAM、Tiling、Online Softmax、IO-aware 优化、FA1/FA2 演进、Triton 入门与 fused softmax。
21. LLM Inference Systems：从 Prefill 到 vLLM / SGLang — Prefill/Decode、TTFT/ITL、Continuous Batching、PagedAttention、Prefix Cache、投机解码、Serving 指标模拟器。
22. 训练生命周期：Pretrain 与 SFT — 数据清洗、MinHash、配比、warmup/decay、PPL、Chat Template、Loss Mask。
23. 强化学习与偏好优化：PPO 与 GRPO — 为什么 SFT 后还要 RL、PPO/GRPO 结构、Group Relative Advantage、Policy Ratio、Clip、KL 散度。
24. LLM Evaluation：模型到底有没有变好 — PPL、Exact Match、pass@k、MMLU/C-Eval/GSM8K、LLM-as-a-Judge、置信区间、Contamination、失败案例分析 + 评测 Lab。
25. Job-Ready Track：从「会解释」到「能做出来」 — 三条岗位路线（应用/算法/Infra）、岗位能力矩阵、第一次找实习的学习顺序、Checkpoint 验收与四级学习标准。
26. Python Engineering for AI：从 0 亲手构建第一个真实项目 — Guided Build：starter + 10 个 Step（41 个分步测试从红变绿，含你自己写的 3 个边界测试）；配套 Learn 参考手册（项目结构、argparse/dataclass、typing、pathlib/JSONL、logging、异常、asyncio、pytest）与完整参考实现。
27. HuggingFace for LLM Engineering：从 0 跑通一个真正的 LLM Workflow — Guided Build：starter + 13 个 Step（38 个分步测试从红变绿）——Tokenizer、Chat Template、logits、generate、left padding、response-only mask、PEFT/LoRA、save/load，最终用 Qwen2.5 跑出你自己的实验报告；含模型缓存/HF_HOME 与执行位置说明。
28. Capstone 1 · Build Your Own Mini LLM Evaluation Harness — Guided Capstone：starter + 15 个 Step（79 个分步测试从红变绿）——Adapter × Task × Runner × Reports、并发+重试+SQLite 缓存、bad case 分类、自动报告与真实 C3/XCOPA 评测记录——Checkpoint C。
29. Retrieval & RAG Engineering：让模型用上外部知识 — Chunking 三策略、BGE 向量、FAISS、BM25 从零实现、RRF 融合、cross-encoder 精排、Recall@k/MRR/nDCG、失败分类——22 条标注查询真实评测。
30. Capstone 2 · Search + Rerank + RAG Service — 完整 RAG 服务：FastAPI（/chat、/chat/stream SSE、超时 504、线程池）+ 检索与生成分开评测 + Dockerfile——Checkpoint D。
31. Capstone 3 · Real SFT / LoRA Experiment — 真实实验闭环：48+12 指令数据 → response-only loss → LoRA → best/final checkpoint 对比 → 同套 harness 评测 → bad case → experiment.md 自动报告。
32. Capstone 4 · GPU / Inference Profiling Lab（AI Infra Track） — profiler 算子表、CUDA Event 计时、naive vs SDPA 实测、torch.compile 反例、serving TTFT/TPOT 压测客户端 + vLLM runbook（NOT EXECUTED ON CUDA）。