- Llama 3是Meta公司于2024年4月18日发布的开源大语言模型。
- 它在两个定制的24K GPU集群上，基于超15T数据训练，数据量是Llama 2的7倍，代码量为4倍 。
- 该模型提供80亿和700亿参数的预训练及指令微调版本，支持8K上下文长度，是Llama 2的2倍 。
- Llama 3在架构上进行优化，采用128k词汇量的分词器，推理效率更高 。
- 其性能卓越，在多项行业基准测试中表现出色，推理、代码生成等能力显著提升，能更好地遵循指令，在真实场景应用中优势明显 。
- 此外，Meta还推出Llama Guard 2等安全工具，助力安全使用 。
- 未来，Llama 3计划拓展多模态功能，增加模型尺寸，不断完善性能 。
相关工具
