阶段 18：伦理、安全与对齐

构建帮助人类的 AI。这不是可选项。

在 GitHub 上开始本阶段

前置要求： 阶段 10 的第 06、07、08 课，分别涉及 SFT、RLHF 和 DPO。

第一课： 把遵循指令作为对齐信号

从仓库根目录运行：

python3 phases/18-ethics-safety-alignment/01-instruction-following-alignment-signal/code/main.py

记录命令、退出码、使用与不使用 KL 惩罚的策略、奖励和 KL 轨迹，以及一句指出你观察到的代理目标失效。

下一步： 改变 KL 系数，预测策略漂移，然后继续学习奖励黑客与古德哈特定律。

浏览阶段 18 的完整课程列表或跨阶段路线图。