CS336从零构建语言模型
Stanford CS336 · Spring 2026

从零构建
语言模型

Language Modeling from Scratch

Percy Liang 与 Tatsunori Hashimoto 主讲。这里把每一讲整理成「官方讲义 + 全程文稿」的图文笔记， 讲义与讲者原话逐段穿插，可以按章节读、只读文稿，或在讲义墙里一眼扫完整讲。

从 Lecture 3 开始 →
讲座笔记
12 / 19
视频总时长
16.4 小时
讲义截图
853 张
文稿
16.4 万词
Schedule

课表

基础与架构 Basics L1–L4
3/30 周一 · Percy
L1

课程概览与分词

Overview, tokenization
笔记整理中
A1 发布
4/1 周三 · Percy
L2

PyTorch 与资源核算

PyTorch, resource accounting
笔记整理中
03 ✓
4/6 周一 · Tatsunori

架构与超参数

Architectures
89 分钟12 节67 张讲义
  1. 引入：从原版 Transformer 到你实现的现代变体
  2. 如何思考架构：数据驱动的全景
  3. 归一化：Pre/Post-norm 与 RMSNorm
  4. 激活函数与门控 FFN（*GLU）
  5. …还有 8 节
04 ✓
4/8 周三 · Tatsunori

注意力替代方案与专家混合

Attention Alternatives and Mixtures of Experts
86 分钟19 节60 张讲义
  1. 开场：注意力为什么贵
  2. 基础工具箱：局部/全局注意力与 FlashAttention
  3. 线性注意力：结合律与循环形式
  4. 线性注意力实践：MiniMax M1 / Mamba-2 / Nemotron 3
  5. …还有 15 节
系统与并行 Systems L5–L8
05 ✓
4/13 周一 · Tatsunori

GPU 与 TPU

GPUs, TPUs
78 分钟15 节55 张讲义
  1. 开场与今日组织
  2. 从 compute scaling 到 GPU vs CPU
  3. GPU 解剖：SM / warp / 内存层次
  4. 插曲：TPU 与 GPU 的异同
  5. …还有 11 节
06 ✓
4/15 周三 · Percy

算子与 Triton 实战

Kernels, Triton, XLA
87 分钟12 节71 张讲义
  1. 课程引入：从 GPU 概览到写 kernel
  2. GPU 速览：硬件规格与编程模型
  3. 方法论：Recipe for Success
  4. Benchmarking：测端到端耗时
  5. …还有 8 节
A1 截止A2 发布
07 ✓
4/20 周一 · Percy

并行

Parallelism
81 分钟9 节45 张讲义
  1. 课程引入：从单卡到多卡并行
  2. 集合通信原语：Broadcast / All-reduce / All-to-all
  3. 互连硬件：PCIe / NVLink / Infiniband / RDMA / NCCL
  4. torch.distributed 编程与演示
  5. …还有 5 节
4/22 周三 · Tatsu
L8

并行（二）

Parallelism
笔记整理中
Scaling 与推理 Scaling & Inference L9–L11
09 ✓
4/27 周一 · Tatsunori

Scaling Laws 基础

Scaling Laws – Basics
78 分钟6 节57 张讲义
  1. 引入：为什么认真对待 Scaling
  2. Part 1：Scaling Laws 的历史（1993–2017）
  3. 数据 Scaling：现象与理论
  4. 进阶数据 Scaling：混合 / 分布偏移 / 重复
  5. …还有 2 节
10 ✓
4/29 周三 · Percy

推理

Inference
85 分钟12 节107 张讲义
  1. 引入
  2. 推理的版图：哪里在用、为何要快、快 = 什么
  3. 回顾：Transformer 记号
  4. 回顾：算术强度
  5. …还有 8 节
A2 截止A3 发布
11 ✓
5/4 周一 · Tatsu

缩放定律：案例与实践细节

Scaling Laws
77 分钟10 节58 张讲义
  1. 开场：为什么要关心 scaling 的实践细节
  2. MiniCPM：muP、最优 LR/batch 与 WSD 学习率
  3. DeepSeek：直接拟合 LR/batch 缩放律
  4. 其他模型的经验：Qwen 2.5/3、Kimi K2、Hunyuan、LLaMA 3、MiniMax-01
  5. …还有 6 节
评测与数据 Evaluation & Data L12–L14
12 ✓
5/6 周三 · Percy

评测

Evaluation
78 分钟11 节71 张讲义
  1. 课程引入：为什么聊评测
  2. 什么是「好」的模型
  3. Perplexity（困惑度）
  4. 考试类基准：MMLU / GPQA / HLE
  5. …还有 7 节
A3 截止A4 发布
13 ✓
5/11 周一 · Percy

数据来源与数据集

Data I
82 分钟23 节115 张讲义
  1. 课程引入：接下来两周谈数据
  2. 为什么数据最重要：保密、长尾与人力的长尾问题
  3. 「训练数据来自整个互联网」并不成立：爬虫、动态内容与技术/法律限制
  4. 版权法：许可证、合理使用与诉讼
  5. …还有 19 节
14 ✓
5/13 周三 · Percy

数据 2：转换、过滤、去重与配比

Data II
85 分钟10 节82 张讲义
  1. 课程引入：数据的第二节
  2. 数据转换：HTML / PDF → 文本
  3. 数据过滤：以目标数据为标准的分类器
  4. 去重：精确重复与近重复
  5. …还有 6 节
后训练与对齐 Post-training L15–L17
15 ✓
5/18 周一 · Tatsu

中训练与后训练

Mid/Post-Training
80 分钟9 节65 张讲义
  1. 课程引入：从预训练到 InstructGPT
  2. SFT 数据：从 FLAN 到 ShareGPT（风格、知识与对齐）
  3. 安全 SFT：违规率与误拒率的平衡
  4. SFT 怎么训：梯度下降与「中训练」（mid-training）
  5. …还有 5 节
5/20 周三 · Tatsu
L16

后训练：RLVR

Post-training: RLVR
笔记整理中
A4 截止A5 发布
5/27 周三 · Percy
L17

对齐：多模态

Alignment: multimodality
笔记整理中
客座讲座 Guest Lectures L18–L19
6/1 周一 · Daniel Selsam
L18

客座讲座

Guest lecture: Daniel Selsam
笔记整理中
6/3 周三 · Dan Fu
L19

客座讲座

Guest lecture: Dan Fu
笔记整理中
A5 截止
Assignments

五个作业

查看作业详情 →
3/304/134/275/115/25
A1 Basics 3/30 → 4/15 A2 Systems 4/15 → 4/29 A3 Scaling 4/29 → 5/6 A4 Data 5/6 → 5/20 A5 Alignment 5/20 → 6/3
Essay

随笔

做 AI 评测，最难得的竟然是诚实
读 Lecture 12 有感 · 2026-10-20

做 AI 评测，最难得的竟然是诚实

看完 CS336 Lecture 12: Evaluation 之后 · 约 2700 字