阶段 8:生成式 AI
创作图像、视频、音频、3D 等内容。
在 GitHub 上开始本阶段
前置要求: 阶段 2“机器学习基础”、阶段 3“深度学习核心”以及阶段 7 第 14 课“从零构建 Transformer”。
第一课: 生成模型的分类与历史
从仓库根目录运行:
bash
python3 phases/08-generative-ai/01-generative-models-taxonomy-history/code/main.py记录命令、退出码、密度估计、生成的样本,以及一句解释:隐式生成器无法回答有关 p(x) 的什么问题。
下一步: 改变随机种子,比较密度估计,然后继续学习自编码器与 VAE。
共 15 课,约 15 小时。每节课都提供详细文档、可运行的 Python 演示、图表,以及供 agent 使用的具名 skill。
| # | 课程 | 时间 |
|---|---|---|
| 01 | 生成模型:分类与历史 | 约 45 分钟 |
| 02 | 自编码器与 VAE | 约 75 分钟 |
| 03 | GAN:生成器与判别器 | 约 75 分钟 |
| 04 | 条件 GAN 与 Pix2Pix | 约 75 分钟 |
| 05 | StyleGAN | 约 45 分钟 |
| 06 | 扩散模型:从零实现 DDPM | 约 75 分钟 |
| 07 | 潜在扩散与 Stable Diffusion | 约 75 分钟 |
| 08 | ControlNet、LoRA 与条件控制 | 约 75 分钟 |
| 09 | 局部重绘、外扩绘制与编辑 | 约 75 分钟 |
| 10 | 视频生成 | 约 45 分钟 |
| 11 | 音频生成 | 约 45 分钟 |
| 12 | 3D 生成 | 约 45 分钟 |
| 13 | 流匹配与校正流 | 约 45 分钟 |
| 14 | 评估:FID、CLIP Score 与人工偏好 | 约 45 分钟 |
| 19 | 视觉自回归建模 | 约 60 分钟 |