The Rust programming language keeps winning the middle-school popularity…

When it comes to visionary, before-its-time software, it’s hard to find …

xState is a snazzy way to manage JavaScript application state using visu…

This talk is the first public demo of Ace – a new research prototype we’…

上一篇我们论证了一件事——纯线性的网络再深，也只是一个线性变换。把 $W2(W1mathbf{x} + mathbf{b}1) + mathbf…

如果你问我「神经网络到底是什么」，我会先把所有教材合上，然后给你一句朴素得近乎敷衍的话——神经网络就是一个函数。

把矩阵乘法掰开成两种等价但风格不同的视角——『行 × 列』的点积视角和『列的线性组合』视角，最终落到 QK^T 的形状分析。

从二维平面上的箭头开始，把『向量、内积、夹角、相似度』这几个概念用几何方式串起来，最后落到注意力公式里那个 QK^T 的来历。

这是【Transformer 与注意力机制】系列的第一篇，承担两件事：一是把这套五十多篇文章为谁写、解决什么问题、彼此之间是什么关系交代清楚；二…

从 MoE 激活比、CSA/HCA 混合注意力、mHC、Muon，到磁盘级 KV cache、FP4 QAT 和专家蒸馏，系统拆解 DeepSe…