阶段 12:多模态 AI
能看、能听、能读,并跨模态推理的模型。
在 GitHub 上开始本阶段
前置要求: 阶段 7 的 Transformer 与阶段 4 的计算机视觉。
第一课: 视觉 Transformer 的图像块 token
从仓库根目录运行:
bash
python3 phases/12-multimodal-ai/01-vision-transformer-patch-tokens/code/main.py记录命令、退出码、图像块网格和序列长度、参数量,以及一句解释:为什么更高分辨率会产生更多视觉 token。
下一步: 改变图像或图像块尺寸之一,预测序列长度,然后继续学习CLIP 与对比式预训练。