文件列表:
东吴证券:汽车行业深度报告:AI系列深度15期:Transformer如何开启AI第二次爆发?.pdf |
下载文档 |
资源简介
>
投资要点
AI第二次爆发的本质,是模型能力形成方式从“人工设计”转向“规模化学习”。AI1.0时代深度学习仍带有“一任务一模型”特征,CNN、RNN等架构分别服务于图像、文本等专用任务,能力主要停留在基础感知层面。本轮AI2.0以Transformer等通用底座为核心,叠加数据、算力与自监督训练,使模型学习统计结构与通用表征,能力来源由强任务先验和强归纳偏置,转向弱归纳偏置下的规模化学习与涌现。
Transformer成为AI2.0关键基础架构:自注意力机制解决循环网络串行计算和长程依赖瓶颈,更适合GPU并行算力与大规模训练;弱归纳偏置为跨模态迁移提供统一接口,使多类输入逐步进入同一底座体系。2017年以来,主干架构总体稳定,能力提升更多来自MoE、长上下文、多模态融合、后训练与推理机制,而非底层架构切换。
从技术演进看,大模型可概括为“模型能力奠基—人机对齐与行为优化
推理与外部系统赋能”三阶段,并由能力广度和使用效率两条支线贯穿。第一阶段通过预训练、规模扩张和ScalingLaws奠定参数内能力;第二阶段通过SFT、RLHF、DPO等对齐技术提升可用性;第三阶段依托思维链、RAG、
加载中...
已阅读到文档的结尾了



