哈工大自然语言处理研究所：2025年大语言模型进展报告

2025 年，大语言模型继续飞速发展，出现了很多对基础架构进行革新的 关键工作，这些工作聚焦大语言模型架构对模型能力增强和效率提升方面的 积极作用，展现了大语言模型除依赖规模扩张以外通过架构革新进行提升的 更多可能。本章系统梳理了大语言模型基础架构在全注意力序列建模、稀疏 序列建模模型、混合专家模型、状态化序列建模模型、多模态语言模型架构 等多方面的关键进展，介绍了一些有重要潜力的新兴方向，旨在为读者展示 清晰、全面的大语言模型架构方面的进展图景，揭示大语言模型架构演进的 内在逻辑与潜在趋势，为后续研究提供一定的参考。