智能计算：2025年中国算力发展之AI计算开放架构研究报告

近年来，以 ChatGPT、Sora、DeepSeek等为代表的预训练大模型持续取得突破，模 型规模进一步扩大，推动人工智能从感知向认知、从分析判断式向生成式、从专用向 通用转变，进入快速发展的新阶段，技术迭代叠加 AI 应用规模落地，带动 AI 计算爆 发式增长。 根据 Scaling Law（规模定律），模型性能与参数量、训练数据量和计算资源之 间存在幂律关系。 2020 年，GPT-3 的发布标志着大模型时代的开启。从 GPT-1 到 GPT-3，模型在 各项任务表现提升的同时，参数量也增长了 1500 倍，据 OpenAI 公布，GPT-3 最大 的一个模型拥有的参数量是 1750 亿。2023 年，随着 GPT-4 模型的发布，其在逻辑推 理和文本理解上展示出了强大能力，GPT-4 模型生产的内容已接近人类创作水平，而 其训练的参数量也相应增长至 1.8 万亿，需要在 2.5 万张 A100 上训练 90-100 天。 GPT-5 模型参数规模和训练数据量官方尚未披露，但根据各方推测，参数可能达到 3-5 万亿甚至更高水平，训练 token 数量估计在 13-30 万亿