AI 原生开放教材

外观

从零构建 AI Agent（didilili）课时教程·中文原文 ↗原件 ↓仓库 ↗

2、AutoDL 实例配置 ​

第 7 章的 AutoDL 部署操作已经介绍过这个平台。本章在 AutoDL 算力市场创建单卡实例，完成 Qwen3-0.6B 的 LoRA 训练。

如果已经有可用实例，不需要另外租赁。 先对照下面的配置，再从第 2.5 节进入 JupyterLab。只有尚未准备实例的读者，才需要完成创建步骤。

2.1 单卡与显存选择 ​

下面这组硬件和环境用于本章的 keywords-clean 训练。先准备实例与工具，再上传第 29 章清洗、划分后的数据。

项目示例环境跟做时看什么
GPU 数量1 张不需要多卡
GPU 型号 / 显存Tesla V100-PCIE-32GB / 32 GBAutoDL 页面显示为 V100-32GB，终端再确认完整型号
数据盘50 GB 起步存放训练工具、数据和输出；模型缓存位置见第 2.5 节
创建时的基础镜像PyTorch 2.8.0 / Python 3.12 / CUDA 12.8这是安装起点，不等于最终训练环境
最终训练环境Python 3.12.3、PyTorch 2.14.0+cu126第 3 节解释安装与实际计算检查
训练计算类型FP16V100 跟做使用 FP16

示例显卡有 32 GB 显存；选择显卡时还要结合样本长度、batch 和工具版本估算实际占用。

使用已有的 RTX 3090、RTX 4090 或其他显卡时，先按第 3.4 节检查实际计算是否可用，再填写训练参数。

第 32 章会沿用这台机器检查回答和导出模型；若继续部署 vLLM 服务，还需按该章核对显卡兼容性，并使用独立的推理环境。

2.2 地区与主机选择 ​

在市场页切换地区，选择有空闲卡的主机，将实际租用数量设为 1 张，并检查最终费用。

AutoDL 算力市场：先筛选 GPU 型号和数量，再查看实例卡中的显存、数据盘与 CUDA 版本

读图时按这个顺序检查：

  1. 顶部的 GPU 型号 和 GPU 数量：本课程第一轮只需要 1 张卡；
  2. 实例卡标题中的显存：图中 V100-32GB / 32 GB 表示单卡显存为 32 GB；
  3. “硬盘”区域中的 数据盘：图中为 50 GB，用于存放训练工具、数据和训练产物；
  4. “其它”区域中的 CUDA 版本：这是主机环境信息，随后仍需进入创建页选择镜像，并检查虚拟环境实际使用的 PyTorch/CUDA。

图中以 V100 为例说明选择位置；库存、价格和空闲卡数量会变化，租用时以控制台为准。

<details> <summary>选读：关机后可能没有空闲 GPU，怎样提前考虑</summary>

关机后，主机上的 GPU 可能被其他人租用，影响下次带卡开机。选主机时可参考剩余卡数，但空闲卡不会自动为你保留。若暂时把市场页的数量筛选调到 2 或 4 来查看资源较多的主机，进入创建页后须将实际租用数量改回 1，并核对费用。

</details>

2.3 数据盘与基础镜像 ​

镜像是预装了部分软件的环境起点；第 3 节会另建 .venv，安装并检查实际训练依赖。点击“可租”进入实例配置页，按下图选择单卡、50 GB 数据盘和基础镜像。AutoDL 基础镜像说明

AutoDL 创建实例页：已选择单卡、50 GB 数据盘与 PyTorch CUDA 12.8 镜像；仅保留配置区

对照截图，先找出下面四个位置：

页面区域截图中的配置跟做时注意什么
选择主机V100-32GB，单卡 32 GBV100 跟做选择 FP16，并检查 PyTorch 是否包含 sm_70 内核
GPU 数量1先以单卡跑通完整流程，不提前引入多卡变量
数据盘免费 50 GB SSD存放 LLaMA-Factory、数据与训练输出
基础镜像PyTorch 2.8.0 / Python 3.12 / CUDA 12.8镜像与虚拟环境的版本可能不同，安装后按第 3 节检查

确认配置无误后，到页面底部点击“创建并开机”。

2.4 无卡模式 ​

下载模型、上传文件时，GPU 往往没有参与工作。如果这些准备要花较长时间，可以使用 AutoDL 的无卡模式降低准备阶段的费用：

  1. 在控制台找到刚创建的实例，确认没有正在执行的任务后关机。
  2. 对同一个实例选择“无卡模式开机”。
  3. 打开 JupyterLab，完成第 3 节的环境安装，再按第 5.1 节提前下载模型、按第 6 节上传数据；这些工作不需要 GPU。
  4. 等待下载、安装任务完成并保存文件，再将这个实例关机。
  5. 对同一个实例选择正常开机，重新打开终端并激活环境，然后检查 GPU、开始训练。

实例处于“已关机”状态时，在右侧点击“更多”，再选择“无卡模式开机”：

AutoDL 容器实例列表：已关机的实例在更多菜单中提供无卡模式开机

随后会弹出确认框，明确显示无 GPU、CPU 与内存配置，以及按小时计费的提示：

AutoDL 无卡模式开机确认框：显示无 GPU、CPU 内存配置与费用提示

截图中的费用、实例编号和停机时间只代表截图时的页面状态。无卡模式适合做准备工作；需要训练或查看 GPU 显存时，必须回到带 GPU 的开机方式。

无卡模式并非免费，而且 CPU、内存配置也会降低。它适合文件准备，不适合本课程的 GPU 训练、vLLM 服务，也不适合需要大量内存或编译 CUDA 扩展的安装任务。遇到这类安装需求，就恢复正常开机再做。

2.5 JupyterLab 与工作目录 ​

实例开机后，在 AutoDL 控制台的“快捷工具”中点击 JupyterLab。进入后点击文件面板上方的 +，在启动页的“其他”区域选择 终端。

从 AutoDL 快捷工具进入 JupyterLab，再选择“其他”中的终端

接下来的安装命令都在这个远端终端中执行：

bash
cd /root/autodl-tmp
pwd
df -h .

预期第一行输出：

text
/root/autodl-tmp

这里是课程的工作根目录，用于存放 LLaMA-Factory 源码、数据、训练输出和导出模型。Qwen3-0.6B 的下载示例使用 ModelScope 默认缓存 /root/.cache/modelscope/，位于系统盘；下载前检查剩余空间，需要改放数据盘时参考第 5.3 节。

下面是数据盘检查的实际输出。第一行是当前目录；表格最后一列是挂载点，两处都应为 /root/autodl-tmp。Avail 表示剩余可用空间，图中为 39G，自己的实例以实际读数为准。

AutoDL 终端实际输出：当前目录、数据盘挂载点和剩余可用空间

text
/root/autodl-tmp/
├── LLaMA-Factory/            # 第 3 节克隆的训练工具
│   ├── data/keywords-clean/ # 第 6 节上传的数据与独立登记文件
│   └── saves/                 # 本章产生的 Adapter、日志和 checkpoint
├── models/                    # 可选：从缓存移到数据盘的基础模型
└── exports/                   # 第 32 章导出的完整模型

检查点和导出模型会持续占用磁盘，放到数据盘便于管理。数据盘中的重要结果还要下载到本机；“保存系统镜像”不会自动打包数据盘内容。AutoDL 磁盘说明