先给结论：从注意力的角度看，过去每个位置几乎一样好够着，绝对远近不是默认量。位置编码给的是子词下标，模型真正要的经常是「这句话的第二个名字」「上句对应的词」。这类坐标要自己学，叫涌现位置。用「第几个 token」去探针，会把已经学好的词级坐标判成不存在。

子词下标为什么回答不了「上一个词是谁」

痛点出在分词。一个词可能切成一到多段。人说「上一词」，模型看到的是一段可变长度的碎片。间接宾语电路里，有一步是搬「这个名字是句中第一个还是第二个」——这已经不是绝对位置，是相对于名字序列的坐标。

固定前缀后面跟若干小写词、词长不一，在靠前的残差上用逻辑回归预测「这是第几个词」，往往就能过。说明中层已经有词级坐标。这不神秘：要对齐上句同一位置、或看前一个完整词，子词下标都不方便。

四步把位置探针从 token 下标换成任务坐标

1. 先列出任务真正在数什么：第几个名字、第几句、第几个英文词、第几个数字。每一种单独做标签，不要混成一个「位置」。
2. 探针打在词末 token 的残差上，不要打在词中每个碎片上。词中碎片的绝对下标噪声更大。
3. 对照绝对位置探针。绝对位置很好、任务坐标很差，说明模型还在用下标；反过来则该改电路故事，别再写「第 17 个 token」。
4. 做一次交换：把两个名字对调但绝对位置结构不变，看电路是否跟着名字序变。跟着变，才是涌现坐标被消费。

实验不必大。固定 19 个 token 的前缀，后面接七个随机小写词，词的子词数故意拉开。取约三分之一深度的残差，只取每个词最后一个子词，预测词序号。这几小时就能知道：中层有没有词级坐标。有，就别在更上层还用绝对下标讲电路。

第二条现场经验：提示模板里把名字长度故意弄得不一样，短名一个子词、长名好几个，绝对位置探针会把长度当位置。第三条：涌现坐标可以多层复用，早期层写成词序，后期层只读「第几个论元」。端到端电路若从输入 token 画到输出，会把这步折叠进注意力图案，看起来像魔法。

还有一个容易漏的对照：打乱词序但保持每个词的绝对 token 跨度结构，任务坐标探针应掉、绝对位置探针应相对稳。若两者一起掉，你的「词序」标签可能和长度、空格、标点缠在一起。做标签时用等长占位或把词都做成单子词，能把缠绕拆开。拆不开就不要宣称发现了涌现位置，那只是又一种绝对下标。

对工程的含义更硬：分词器一换，绝对下标电路会抖，词序电路更可能还在。解释「换分词器后某头坏了」，先看它读的是下标还是词序。读下标，换分词器等于换尺；读词序，坏的是切词边界，不是位置编码本身。把这个写进回归清单，比每次重训一个「位置头」便宜。

长文任务里还会出现句序、段序。只做词序探针，会把「对应到上一句同一角色」误判成注意力涣散。标签要分层：词、句、段各一条探针，分数分开报。哪一层高，电路故事就写哪一层。混报一个「位置准确率」，等于把三把尺焊在一起，坏了不知道换哪一把。分层多花半天，能少掉一周的错误电路图。

若只能改探针代码里的一行：把监督标签从 enumerate(tokens) 改成 enumerate(words)。这一行改完，很多「位置头不存在」会变成「位置头在数词」。改之前先备份绝对下标探针当对照，两行都留着，才能分清尺是哪一把。

结论：位置故事要跟任务的计数单位走，不跟分词器走

分词器决定碎片，任务决定该数什么。探针标签跟任务走，电路才读得懂；跟分词器走，会把已经存在的坐标判失踪。这不是要推翻位置编码，而是承认编码不够用，模型会补一套自己的尺。

尺子选错，电路会看起来像魔法。尺子选对，注意力图案往往只是在读已经写好的坐标。先改标签，再决定要不要重画那张图。把「词末 token」写成数据处理默认项，比事后解释注意力为什么跳来跳去便宜得多。默认项一旦进仓库，换分词器时也会有人记得对照词序探针，而不是只骂位置编码。

你下次写注意力电路，先把标签从「位置 i」改成「第几个名字 / 第几个词」，再决定要不要保留绝对下标那条线。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源