国投证券：计算机行业周报：Llama3发布，开源大模型能力进一步提升

Llama3发布，提升开源大模型能力 上周四，Meta正式发布了人们等待已久的开源大模型Llama3。Meta表示，Llama3在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。 Llama3的主要亮点包括：基于超过15Ttoken训练，相当于Llama2数据集的7倍还多；支持8K长文本，改进的tokenizer具有128Ktoken的词汇量，可实现更好的性能；在大量重要基准中均具有最先进性能；新能力包括增强的推理和代码能力；训练效率比Llama2高3倍；带有LlamaGuard2、CodeShield和CyberSecEval2的新版信任和安全工具。8B和70B版本Llama3模型已用于MetaAI助手，同时也面向开发者进行了开源，包括预训练和微调版本。 Llama3在训练数据集上有明显提升：Llama3使用超过15T的token进行了预训练，这些token都是从公开来源收集的。总体上讲，Llama3的训练数据集是Llama2使用的数据集的七倍多，并且包含四倍多的代码。为了为即将