东吴证券：汽车行业点评报告：AI系列深度11期：大模型如何进行模仿与强化学习？

投资要点 智能体学习行动主要有两条路径：模仿学习，即从专家示范中学习状态到动作的映射；强化学习，即在环境交互中依据奖励信号优化策略。二者并非对立，模仿学习通常更快、更稳，强化学习在可构造奖励、仿真环境或可验证任务中更可能突破示范上限，工程实践往往采用先模仿形成初始策略、再强化优化的组合范式。 强化学习解决的是没有逐步标准答案、只有事后奖励反馈的问题，核心难点包括功劳分配、探索与利用、奖励稀疏和样本效率。其思想源于行为主义心理学和贝尔曼MDP，经Sutton与Barto体系化，并在DQN、AlphaGo、RLHF、RLVR和推理模型中持续演进。近年来，强化学习从补充性优化工具转向后训练、偏好对齐和可验证推理的重要方法。 模仿学习的本质，是把状态到动作的映射转化为监督学习。行为克隆优点是训练快、稳定性较高，自动驾驶早期ALVINN、机器人示教和VLA预训练都体现这一思路；局限在于分布漂移和示范者上限，模型一旦进入训练数据未覆盖状态，错误会逐步累积。逆强化学习、DAgger和GAIL等方法，均围绕缓解这一问题展开。 在大模型训练中，强化学习主要用于后训练而非预训练。预训练通过自监督学习通用表