先给结论：人工智能四百步任务，别当十条短对话来训。回合长度可以从几十拉到几百，方差极大。整段轨迹塞进窗口会爆上下文，按短任务框架硬训会不稳。2026年先按回合采样、固定回合数组批，没结束的用价值估计顶上。非法动作不要截断整条，换成默认动作写回历史。更关键的是：现成的强化学习常常只把已经会的技能磨尖，新技能另开探索账，否则分数涨了能力没涨。

人工智能多轮代理分数涨了，痛点在工程按短回合写、算法按会的动作磨

短对话框架默认十条左右一轮。代理在建造、导航、规则游戏里，一轮可以到两百、四百步。长度一散，按「一整条轨迹一个样本」组批，短的等长的，长的截掉，梯度被长度绑架。正确单位是回合：每一拍的观测、思考、动作单独当样本，历史只带最近一两拍，不必把整条命塞进窗口。

小模型上下文一长，分数反而掉。不是记忆越多越好。任务若近似马尔可夫，多带历史会诱使它模仿上一拍的思考口吻，多样性下降；还会分不清「脑子里计划砍树」和「环境里真的砍了」。计划成功的幻觉，是代理任务特有的，不是普通问答的幻觉。

非法动作是另一口井。零样本模型爱说「向前走」这类近义词。硬截断整条，样本全废，更差。翻译表加上默认动作替换，有效动作率可以拉到九成五以上，再罚一点格式。历史里不要留下非法词，否则下一拍会学着再说。

最容易被周报掩盖的是：微调之后，它更会放炉子，但不会造铁剑。也就是强化了基座已经会的，没学会原来不会的。同时还有动作黑客：最后一步动作相对初始策略的偏离，涨得比推理词快，等于改答案不改思路，吃眼前分、毁探索。

人工智能长程代理2026五步：先工程稳，再分技能账

1. 样本按回合，不按整条轨迹。历史只留最近一两拍。窗口长度要扫，不是越长越好。
2. 组批按固定回合数。没结束的用价值函数引导，价值网络先单独热到损失稳住，再动策略。
3. 非法动作：近义词翻译、默认替换、写回历史。禁止一非法就截断整条。
4. 折扣拆两层：步与步之间可以折，同一拍词与词之间不折。逼它用更少环境步做完，而不是把一句话写很长。
5. 技能账两列：基座已会的、基座不会的。只会列涨、不会列不动，探索另开，不准写已经学会长程。

两处只有盯过训练曲线才清楚。其一，先看零样本：推理是否够长、有效动作比例、失败类型。提示不过关就开训，后面全是在惩罚格式。格式惩罚在有效率已经很高时几乎没用，提示阶段就要把有效率做上去。其二，相对初始策略的散度，动作词和推理词要分开画。动作词先飞、推理词不动，就是黑客。黑客出现时加约束，而不是再加学习率。

建设者该把回合批、价值预热、非法替换做成默认。管代理训练的人，该拒收只有平均回报、没有新技能列和动作偏离曲线的实验。没有两列，涨分是磨刀，不是开刃。

结论：人工智能长程代理先把回合当样本，再承认强化常常只是磨会的，不是教不会的

四百步不是十条短对话。按回合、短历史、默认替换、价值先热。回报和会的技能绑在一起时，把不会的单列出来。仍把整段塞进窗口再庆祝平均分，平均分会奖励黑客。

你下次开多轮训练，先看非法动作率和「原来不会的技能」有没有动；两格不对，学习率先别加。

现场还要防口号替换验收。把「已经能跑四百步、已经会预测下一步、仿真分很高、全身一个策略」写成周报，不等于新技能学会了、干预后的未来找得回来、百分之五噪声还站得住、腿和手的数据没互相伤害。周报可以写，门禁必须绑在分列指标和对照上。

若只能改一处：先把「平均回报涨了」从唯一成功标准里拿掉。回报可以记，新技能、反事实、噪声掉分、步态自然四件跟不上就算事故。

现场还要防口号替换验收。把「已经能跑四百步、已经会预测下一步、仿真分很高、全身一个策略」写成周报，不等于新技能学会了、干预后的未来找得回来、百分之五噪声还站得住、腿和手的数据没互相伤害。周报可以写，门禁必须绑在分列指标和对照上。

若只能改一处：先把「平均回报涨了」从唯一成功标准里拿掉。回报可以记，新技能、反事实、噪声掉分、步态自然四件跟不上就算事故。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源