近年来，大语言模型（LLMs）展现出强大的语言理解与生成能力，推动了文本生成、代码生成、问答、翻译等任务的突破。代表性模型如 GPT、Claude、Gemini、DeepSeek、Qwen 等，已经深刻改变了人机交互方式。LLMs 的边界也不止于语言和简单问答。随着多模态（VLMs）与推理能力（LRMs）的兴起，LLMs 正不断扩展到多模态理解、生成与复杂推理场景。 但模型性能持续提升的背后，是模型尺寸、数据规模、RL 推理长度的快速 Scaling，是算力和存储资源的急剧消耗。大模型的训练与推理的成本居高不下，成为制约其广泛落地和应用的现实瓶颈。 本文从 LLM 架构角度出发，带你剖析大模型的效率秘诀。这一切的核心在于 Transformer 架构。Transformer 的自注意力机制虽带来了远距离建模的突破，却因O(N2)的复杂度在长序列任务中成本高昂。而在 RAG、智能体、长链推理、多模态等新兴场景下，长序列需求愈发突出，进一步放大了效率与性能之间的矛盾。同时 Transformer 的 FFN 部分采用密集的 MLP 层，同样面临模型规模放大后的训练和推理效率问题。 近期，上海 AI Lab联合港科广、澳门大学、中科院自动化所、苏州大学、瑞典 KTH、北大、港中文等多家机构，总结 440 余篇相关论文，深入探讨了当前LLM 高效结构的最新进展，形成这篇 82 页的综述论文： 线性序列建模：降低注意力训练和推理复杂度，无需 KV Cache 开销。稀疏序列建模：通过稀疏化注意力矩阵，降低计算与显存需求。高效全注意力：在保持完整注意力的前提下优化内存访问与 KV 存储。稀疏专家模型：通过条件激活部分专家，大幅提升模型容量而不增加等比例计算成本。混合模型架构：结合线性/稀疏序列建模与全注意力，兼顾效率与性能。扩散语言模型：利用非自回归的扩散模型进行语言生成。其他模态应用：将这些高效架构应用于视觉、语音、多模态模型。 这些方向的探索不仅关乎 LLM 的未来效率，也关乎如何在算力受限的条件下，持续推动 AI 走向更强的智能的关键选择。综述涉及的方法类别和代表性论文可见如下树状图： 线性序列建模是近年来研究相当火热的一个方向，代表性工作像Mamba、Lighting Attention、RWKV、GLA、TTT 等在模型架构方向都引起过广泛关注。我们将这类技术细分为以下几个类别： 并且正如在多篇文献里已经提出的，这些线性序列建模方法可以概括为统一建模的数学形式，并且能够通过线性化过程将预训练模型权重的 Softmax Attention 架构转为 Linear Sequence Modeling 架构，从而获得模型效率的大幅提升，如下图所示。 稀疏序列建模是另一类有代表性的高效注意力机制，通过利用 Attention Map 天然具有的稀疏性加速注意力的计算，这类方法可以进一步细分为： 稀疏混合专家是对 Transformer 架构中另一个重要模块 FFN 做的一类重要改进，已经逐渐成为（语言和多模态）大模型架构的事实标准。综述中将相关文献按以下三个方向进行分类： 混合架构是近年来出现的一种实用的新型架构，可以在线性/稀疏注意力和全注意力之间取得微妙的 Trade-off，也在效率和效果间找到了最佳甜蜜点。具体可细分为： 扩散大语言模型是近期出现的一个热门方向，创新性地将扩散模型从视觉生成任务迁移至语言任务，从而在语言生成速度上取得大幅进步。相关工作可以细分为： 最后一个重要的部分是高效架构在其他模态上的应用，涵盖视觉、音频和多模态。以 Mamba 为代表的线性模型被广泛应用至多种模态任务上，并取得了优秀的表现，综述将这类模型总结梳理至如下表格： 最后正如帝国时代 3 中这条神奇代码「Speed Always Wins」能让游戏世界「Increases build, research,shipment, and gather rates by 100 times for all players」一样，我们希望综述中的 Efficient Architectures 可以真被用来 100x 加速 AI 世界的构建，更快更便宜地训练出更强更实用的大模型。请记住这条神奇代码：「Speed Always Wins」
