文件列表:
国投证券:汽车零部件Ⅱ:Sora的诞生对智能驾驶行业的影响.pdf |
下载文档 |
资源简介
>
Sora是文生视频的集大成者,核心创新点在于时空编码和DiT模型。
Sora是OpenAI推出的首个文本生视频模型,视频生成长度、逼真度等均远超现有竞品。从技术上看,Sora的核心创新点在于时空编码和DiffusionTransformer模型的应用。1)Spacetimepatches时空编码将一个完整视频切分成带有时间维度的一系列Tokens输入Transformer模型,时空编码的引入是Sora能够进行大规模视频数据训练的关键,同时为Sora的生成结果具备三维一致性奠定了基础。2)DiT模型结合了Diffusion扩散模型和Transformer模型的优点,将传统扩散模型中采用的U-Net网络结构替换成Transformer,使得模型更擅长捕捉长距离的相关关系。
Sora验证了Diffusion+Transformer的技术路线或是通往世界模型的有效技术路径。神经网络模型的预测结果是概率输出,目前尚不具备因果关系的推断能力,因此推理结果可能会出现常识错误或者违背现实物理规律。而学界提出的世界模型概念旨在希望神经网络模型可以像人类一样理解世界,具体可概括为具备以下三个特点:1)理解
加载中...
已阅读到文档的结尾了



