把大模型从演示变成能值班的系统时，05. 激活函数几乎总会先露出工程缺口。下面按可执行的顺序来拆：先讲它解决什么、卡在哪，再讲选型时看哪些数字，最后落到智能体和网关该怎么接。本文面向要上线的工程师，不写空泛趋势。

一、上一篇留下的悬念

上一篇我们论证了一件事—— 纯线性的网络再深，也只是一个线性变换 。把 (W_2(W_1mathbf{x} + mathbf{b}_1) + mathbf{b}_2) 展开就是 (W'mathbf{x} + mathbf{b}') 。线性的复合还是线性，这是线性代数的铁律。

所以神经网络要想拟合「弯曲的」关系， 必须引入非线性 。引入的方式很巧妙——不是改 (Wmathbf{x} + mathbf{b}) 的形状（那样就不再是线性变换了），而是在两个线性变换之间 插入一个逐元素的非线性函数 。这个函数叫 激活函数 （activation function）。

二、为什么必须是「逐元素」的？

[mathbf{h} = sigma(W_1 mathbf{x} + mathbf{b}_1)] [mathbf{y} = W_2 mathbf{h} + mathbf{b}_2]

其中 (sigma) 是激活函数， 逐元素 作用——也就是说 (sigma(mathbf{z})) 表示对 (mathbf{z}) 的每一个元素分别应用 (sigma) 。

三、Sigmoid：第一代主角

这一篇我们就来仔细看看 (sigma) 这个角色。它看起来微不足道——一个一维标量函数嘛，能有多复杂？但偏偏， 激活函数的选择直接决定了深度网络能不能训得动、训得好 。一个不合适的激活函数，再大的模型再多的数据都救不了；一个合适的激活函数，能让原本训不动的网络突然焕发生机。

落地时可以按时间顺序讲：Sigmoid（最早）→ Tanh（改进）→ ReLU（革命）→ Leaky/ELU/SELU（修补）→ Swish/GELU（现代标配）→ SwiGLU/GeGLU（大模型时代）。每一个的诞生都对应着一个时代的痛点，每一次迭代都解决了前一代的某个核心问题。我希望你读完之后，不仅记住每个函数长什么样，更能体会到 激活函数演化的逻辑 ——从生物启发到数值优化，从局部小改到大模型时代的全新设计。

四、Sigmoid 的致命问题：梯度消失

Sigmoid/Tanh 两端「饱和」；ReLU 在正区间不饱和；GELU 则是在保留 ReLU 主体形状的同时，把 0 附近的过渡做得更平滑。

激活函数作用在向量上，但它是「逐元素」作用——也就是说，对向量 (mathbf{z} = (z_1, z_2, cdots, z_h)) ，我们有：

五、Sigmoid 的另一个问题：输出不以 0 为中心

[sigma(mathbf{z}) = (sigma(z_1), sigma(z_2), cdots, sigma(z_h))]

每一个分量独立处理，互不干扰。这意味着 (sigma) 本质上只是一个一维函数 (mathbb{R} to mathbb{R}) ，被「广播」到向量上。

六、Tanh：Sigmoid 的孪生兄弟

为什么要这样设计？为什么不用一个「真·向量到向量」的非线性函数（比如对向量做一些复杂的混合）？

第一， 计算简单 。逐元素操作可以完美并行——每个元素分配到 GPU 的一个线程，独立计算。如果用复杂的混合非线性，并行度会被破坏。

落地时建议先做的 5 件事

1. 用自己的 20 条真实请求测 TTFT / TPOT / 失败原因，不要只看公开榜。
2. 先写显存和 KV 缓存账，再决定卡数、量化和并发上限。
3. 网关层把鉴权、配额、审计和模型路由收口，应用里不要各接各的 Key。
4. 工具调用默认拒绝，按白名单放开，高风险动作必须人审。
5. 模型升级准备回滚：旧权重、旧 Prompt、旧评测集要能一键切回。

和智能体产品怎么接

对龙虾PRO这类要把 OpenClaw 落到中国业务场景的平台来说，05. 激活函数决定的是延迟能不能进对话、成本能不能规模化、出了问题能不能追溯。技能市场、数字员工和网关都应该吃同一套观测与权限，而不是文章里的概念演示。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源