托管配方参数
使用托管请求,不在用户脚本推进优化器循环。可用字段包括 max_steps、max_length、per_device_train_batch_size、gradient_accumulation_steps、seed、labels 与受限 records;Qwen/Qwen3.8-27B 文本配方另支持 hyperparams、parent_checkpoint 和 loss_on(见下文)。发现接口返回当前 schema 以及各配方的限制,未知字段被拒绝。
GLM 使用冻结的 glm53_unsloth attention QLoRA 配方、revision 与资源模板。不支持任意 LoRA rank/optimizer、自定义 loss、RL 或优化器状态续训;保存状态不增加这些能力。通过监控读取真实 loss/指标与最终产物。相同提交沿用原 request_id 重试,不重放结果未知的优化器更新。
Qwen3.8-27B 选项
在 Qwen/Qwen3.8-27B 文本 SFT(内联 records,不带 recipe)上,请求可以接着已有的运行继续训练、设置优化参数并给 Job 打标签。所有字段都是可选的;省略时与原来完全一致:学习率 1e-4、rank 16、linear 调度、无 warmup。发现接口(GET /v1/job/training-models)在 features 与 limits 中列出允许的范围。
{
"request_id": "rsi-7-round-2",
"base_model": "Qwen/Qwen3.8-27B",
"records": [{"messages": [
{"role": "user", "content": "What is 1 + 1?"},
{"role": "assistant", "content": "2"}
]}],
"parent_checkpoint": "envloop://job_01M5KPXGHTRDW4NTWDVSPJE0SN/adapter-final",
"hyperparams": {"learning_rate": 5e-5, "epochs": 2, "lora_rank": 16, "batch_size": 8,
"warmup_ratio": 0.1, "lr_scheduler": "cosine"},
"max_length": 4096,
"loss_on": "last_assistant_turn",
"labels": {"source": "rsi-loop-dsh", "rsi_run": "rsi-7", "rsi_round": "2", "purpose": "sft"}
}
| 字段 | 规则 |
|---|---|
labels | 最多 16 个字符串键值对。键匹配 [A-Za-z0-9_][A-Za-z0-9_.-]{0,63};值为不含控制字符、不超过 256 字符的文本。所有托管文本配方都允许。Job 在状态、列表和结果中以 labels(以及 user_metadata)返回,不影响计费。 |
parent_checkpoint | 本项目内已成功的托管 Job 的 envloop://<job>/<checkpoint> 路径,须来自同一配方且 lora_rank 相同。其 adapter 权重用作新 adapter 的初值;优化器、学习率调度和步数从头开始。路径不存在、属于其他项目或尚未持久化返回 422 PARENT_CHECKPOINT_UNAVAILABLE;基础模型、配方或 rank 不同返回 422 PARENT_CHECKPOINT_INCOMPATIBLE。 |
hyperparams.learning_rate | 1e-7 至 1e-2。 |
hyperparams.epochs 或 hyperparams.max_steps | 训练长度,二选一(也不能与顶层 max_steps 同时给出)。epochs 至多 100,max_steps 至多 100,000。平台在准入时把 epochs 换算为优化步数(ceil(epochs × records ÷ batch_size))并返回将运行的步数。 |
hyperparams.lora_rank | 8、16、32 或 64(默认 16),即 qwen38-27b@1 serving profile 能加载的 rank。 |
hyperparams.batch_size | 每个优化步的样本数,1 至 256(不能与 per_device_train_batch_size、gradient_accumulation_steps 同时给出)。 |
hyperparams.warmup_ratio | 占训练长度的 0 至 0.5。 |
hyperparams.lr_scheduler | cosine、linear(默认)或 constant。 |
max_length | 至多 32,768 token(默认 8,192)。仅 8,192 是已验证的范围。 |
loss_on | last_assistant_turn,唯一模式也是默认值:只在最后一条 assistant 消息上计算 loss,之前的轮次(包括更早的 assistant 轮次)仅作上下文。 |
Job 以 hyperparameters 返回实际使用的取值。把某一轮的 checkpoint.path 作为下一轮的 parent_checkpoint 即可串联。这些选项在准入时校验:越界取值返回 422 INVALID_TRAIN_JOB_SPEC,不会被静默截断。其他模型和配方会拒绝 parent_checkpoint、hyperparams 和 loss_on。