更新规则的改进则是直接改算子本身，外层架构仍照着近年验证有效的方案来用就行。比如线性注意力一般能写成一阶线性递归：输入通常是外积，转移矩阵默认是单位矩阵，改更新规则就是改这个转移矩阵。GLA、Mamba 把单位矩阵换成对角矩阵；DeltaNet ...

杨松琳：我觉得架构研究还是要扎实，一次动一点、验证透，再动下一步，不可能一步迈太大。先保留一些完全注意力，用来验线性注意力；混合架构在旗舰模型上验证稳定后，再去验证稀疏注意力也不迟。（01:19:59） ...