头豹研究院：中国端侧大模型行业研究：算力优化与效率革命如何重塑行业生态

摘要 端侧大模型定义为运行在设备端的大规模人工智能模型，这些模型通常部署在本地设备上，如智能手机、IoT、PC、机器人等设备。与传统的云端大模型相比，端侧大模型的参数量更小，因此可以在设备端直接使用算力进行运行，无需依赖云端算力。 端侧大模型在成本、能耗、可靠性、隐私和个性化方面相比云端推理具有显著优势，并能够以低能耗提供高效且安全的AI处理，减少延迟并保护用户隐私，适合个性化的AI应用。取决于行业对数据安全、隐私保护的需求、行业本身智能设备的普及程度以及AI大模型技术的成熟度，这些因素的相互作用和共同推动，端侧大模型将推动各行业智能化发展的步伐。端侧大模型面临的行业壁垒包括技术、硬件、数据、成本以及市场等方面，要求产业界在技术创新、标准制定、生态建设和市场推广等方面进行深入合作，以克服挑战，实现端侧大模型的广泛应用和落地。 2023年中国端侧大模型市场规模达8亿元，持乐观态度估计，预计2024年中国端侧大模型市场将达到21亿元 生成式AI市场的蓬勃兴起，正驱使大模型厂商积极探索端侧应用新蓝海，以此作为增长的新引擎。端侧大模型通过在设备本地运行，有效降低了数据传输延迟，增强了隐私保护，