先给结论：把网络当黑箱，是因为看的尺度不对。落到特征和连接这一层，单元往往能被看懂，它们之间的权重也常常对应世界上的组合规则。圆检测器由曲线拼出来，狗头由眼、鼻、毛、舌拼出来，车由轮和窗拼出来。回路是特征和边构成的计算子图。规模要小到能逐步验证每条边，权重数字才会开始有意义。

为什么「再画一张热力图」替代不了反推

痛点是方法和对象被配错。特征可视化回答「这个单元在找什么」，归因回答「这一次哪些输入位置出了力」。两者都不回答「这些单元之间实现的是哪段算法」。算法在权重里：上一层哪些特征以什么符号、什么空间偏移接到下一层。把这张子图抠出来，才能看见「曲线在特定相位相加变成圆」，而不是再讲一遍「这一层对圆敏感」。浅尝辄止会停在故事：给几个神经元起名字，再配一张漂亮的优化图。投入深度意味着把同一个网络里的一族特征、它们的连接、以及它们在真实图上的归因，反复交叉验证，直到能预测「挡住这条边会怎样」。预测能被实验打脸，回路才算被反出来。

回路不是任意子图。要选连接紧密、功能可命名的一小簇，而不是整层几千个通道。太大就回到黑箱；太碎就只剩单个滤波器。经验上，早期视觉层最容易先打通：朝向、曲线、频率边界，再组成物体部件。令人意外的是，高层视觉特征上也能找到简单逻辑：与、或、异或。这说明「可理解」不必停在边缘检测，组合规则本身也可以是对象。

五步把反推从起名收成可验证的子图

1. 先钉特征。用优化刺激、数据集着火图、合成调谐曲线三条，确认单元在做什么。三条打架，先别画回路。一条故事加一张优化图，不够。
2. 把回路写成「节点 + 带符号的边」。节点是特征，边是权重（可含空间偏移）。边要少到能一张表列完。列不完，子图还太大。
3. 用归因核对边。在真实图像上问：这个下游单元着火时，上游哪些特征在出力、哪些在抑制。权重符号和归因符号长期相反，边的故事就还是错的。
4. 做干预。遮住、消掉或翻转一条边，预测下游该怎么变，再测。只会讲「圆由曲线组成」而不做干预，回路仍是比喻。能预测相位怎么拼、缺哪条曲线会不成圆，才算算法。
5. 寻找逻辑和复用。同一组部件是否在不同物体上被复用？是否出现与或异或？复用和逻辑是「这是算法」的强证据；每个物体一套专用边，更像记忆而不是程序。

现场有三条。其一，开始看的时候预期会很乱，实际常看到对称和可命名的结构。这不能推广成「所有网络都同样干净」，只说明：在至少一种广泛使用的视觉网络上，这个尺度是可工作的。要把结论迁到别的架构和模态，必须重新走五步，而不是把曲线拼圆当普遍定理。其二，权重可视化离开特征上下文没有意义。一堆数字看不出算法；两端特征被命名之后，正负和空间偏移才变成「从左侧曲线接到圆心」。特征工作做浅了，回路图就是彩色矩阵。其三，结构现象和局部回路要分开。最后一层权重呈现全图一致的空间条带，是另一类「整层几何」，不是某个物体回路。两类都该记，但验收不同：局部回路靠干预，结构现象靠跨通道统计。

反推要押在单个网络上，是为了付得起深度。每个网络浅挖一层，得到的是可复述的故事集；一个网络挖穿，才知道「看懂」在这种对象上要多少工具、多少失败。工具包括特征可视化、权重可视化、归因、非负分解、合成刺激。缺一样，就容易把相关当电路。现场还要接受失败：有些单元就是混杂的，有些边干预之后下游几乎不动。把失败写进清单，比把它们藏进「大致看懂了」更有用。

若只能改可解释项目一处：停止以「又发现一个可命名神经元」为里程碑，改成「又验证完一条可干预的边」。边验证清单是空的，项目就还停留在图册。

结论：可理解性发生在回路尺度，不发生在整网口号里

特征和边构成算法，圆、狗头、逻辑门都是可以逐步验证的子图。热力图和优化图是零件，不是成品。规模必须小到能列边、能干预。仍把整网当黑箱，或把起名当完成，都是看错了尺度。

你下次说某层已经看懂，先拿出子图表和一条被打脸过的干预预测。拿不出来，看懂就不能写进结论。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源