阶段 10：从零构建 LLM

构建、训练并理解大语言模型。

在 GitHub 上开始本阶段

前置要求： 阶段 5 的 NLP 基础。开始模型构建课程前，强烈建议先学阶段 7 的 Transformer。

第一课： 分词器

从仓库根目录运行：

python3 phases/10-llms-from-scratch/01-tokenizers/code/main.py

记录命令、退出码、编码/解码往返结果、已学习的合并次数和压缩率。tiktoken 是可选的对照工具。

下一步： 加入一个微型语料从未见过的词，检查它被切成的片段，然后继续学习从零构建分词器。

浏览阶段 10 的完整课程列表或跨阶段路线图。