先给结论：强化学习调不通，优先当自己有 bug，而不是先换网络、先改超参。错误会在环路里几秒涂满所有指标，损失曲线只能告诉你坏了，不能告诉你坏在哪。能定位的是探针环境：每次只加一点点功能，上一只过、下一只不过，故障就被钉到半边。再配上大批次、小网络、手调奖励尺度，迭代才能按秒而不是按天。

为什么强化学习的故障看起来像「整系统一起疯」

痛点是反馈差。数值算错通常不是抛异常，而是把错的梯度送回采样端，再被采样端送回学习端。几秒之后损失爆炸、散度塌掉、回报乱抖，从外面看全坏了。回报本身又吵：实现完全正确也可能被种子和环境拖垮；实现一堆洞，网络仍可能从噪声里抠出一点信号。于是修了一个真 bug，分数不动；引入一个新 bug，分数也不动。再叠加组件之间几乎没有窄接口——演员扛着环境状态，学习者扛着权重，两边交换的是兆到吉的数组——你很难把一块掐下来喂假数据。

另一层是预期错了。别的数值代码习惯黑盒和单元测试，强化学习里环境、网络、优化器、反传、多进程、日志、加速卡都要懂一点。年轻社区又优先发新东西，可靠复现不是默认产出。所以第一份「看起来能跑」的几百行，到真正正确，经常隔着两个月。把这两个月拿去调结构和加比赛机制，几乎一定是在给还没定位的错误加盖。

五步把故障从「全坏了」收成可过的门禁

1. 先写探针环境，再碰完整任务。从「一个动作、零观测、一步、每步加一」开始，只测价值头能不能学到常数一。再逐步加：观测相关奖励、两步折扣、两个动作、观测加动作。上一只过、下一只不过，就知道坏在价值损失、反传、折扣、优势还是组批。
2. 批次开到文献里那种「大到不像话」，网络反而要小。小批次容易抽到问题的怪角落；大批次把怪角落平均掉。显存不够就砍宽度和深度，不要砍批次。四层各二百五十六的全连接，在九路棋上就能学到完美对弈，说明「先做大网络」经常是在给激活占显存。
3. 奖励手调到网络目标大概落在正负十以内，不要一上来做自适应缩放。文献超参是按这个尺度调的。自适应缩放会再加一层非平稳，等于在还没稳的系统上再叠一个会动的旋钮。等探针过了，再换回不那么人工的方案。
4. 避开像素当第一战场。像素等于先学看，还是稀疏奖励，又贵又无聊。网格世界就能养出探索、合作、竞争。并行环境要从同一开局打散，看每步重置数是不是均匀；扎堆说明样本高度相关，学习者会按时间片分段优化。
5. 仪表用相对策略熵、新旧策略散度、残差方差、终止相关、优势分布、样本陈旧度，不要把损失曲线当主证据。熵贴着一学不动，掉到零是塌缩。散度为负多半是非法动作没处理。优势长期不在零附近，优势公式就坏了。

探针智能体要和探针环境成对用。作弊智能体多给一个指向目标的向量，还学不快，就别指望原问题。自动机完全不走网络：在导航里写「左转直到视野中间出现红柱」，自动机都做不到，多半是奇数号环境的观测生成写反了。表格式智能体则适合探针环境已经极简、网络还在撒谎的时候——查表比网络好看，对得上纸笔演算才算过。

还有三条不常写进摘要的细节。其一，测试必须快过你改一行代码的时间，也就是几秒。用完整任务调试等于按天抽奖。其二，测试要同过同不过，伪随机那种「这个种子过、那个种子挂」要当成设计失败，用更简单的环境或更大的批次把随机压死。其三，加速卡上要同时记分配显存、保留显存和驱动里的总占用：前两个能分清是你捏着张量不放，还是缓存太凶；总占用才是会把进程打死的那个数。利用率长期低，导入张量库前打开同步启动，再用粗粒度分析器看是在等环境还是在等核。

从参考实现出发，按风险分层。最稳是整份能跑的实现，每次只改一小处并回归。中等是按同一接口换零件，输入相同则输出相同。最险也比从零写强：盯着别人的折扣、终止、非法动作和超参抄，这些地方你几乎一定会抄错。新手上从零写，是在一个不能自我纠正的领域里选择最慢的路。默认假设有 bug，把「我觉得对了」的门槛抬高；真没有 bug 的情况很少，但修 bug 比证明新结构更强要快一个数量级。

若时间只够改一处：不要再给损失曲线截图。先写五只探针环境，按顺序过。第一只学不到常数一，就停在价值损失和优化器，禁止碰策略。这一条能挡住最常见的两周空转。

结论：先能定位，再谈结构和超参

强化学习难，是因为错误不局部、分数很吵、接口很宽。探针环境、大批次、小网络、手调奖励，是把这三件事压回去的门禁，不是最终算法。损失曲线可以在系统半通之后帮你看学得快不快、平台在哪，但当调试工具它几乎没有分辨率。

你下次再看到回报不涨，先停掉今天计划的新结构，把探针环境跑一遍。哪一只先挂，故障就在那一只新加的那一点上。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源