2024年7月23日，Meta正式发布了其开源大型语言模型Llama的最新版本——Llama 3.1。这个版本拥有4050亿参数，是迄今为止Meta发布的最大版本。Llama 3.1是对本年4月发布的Llama 3的更新，之前的版本仅有80亿和70亿参数。
性能特点
Llama 3.1被设计为性能卓越的开源模型，可以或许与许多行业领先的闭源模型竞争。该模型支持多语言，包括英语、葡萄牙语、西班牙语、意大利语、德语、法语、印地语和泰语。Llama 3.1的上下文窗口扩展到了128,000个令牌，这意味着用户可以输入相当于近400页小说长度的文本。
基准测试
Meta在150多个基准数据集上对Llama 3.1举行了测试，并在现实天下场景中举行了人工引导的评估。效果显示，这个拥有4050亿参数的模型在多项使命上与领先的基准模型，如GPT-4、GPT-4o和Claude 3.5 Sonnet等具有竞争力。
教学模型
Meta还更新了其所有模型的许可证，允许举行模型蒸馏和创建合成数据。这种模型蒸馏，或称为知识蒸馏，使得用户可以将大型AI模型的知识或练习转移到较小的模型上。4050亿参数的版本被称为“教学模型”，可以或许将其知识传递给8亿和70亿参数的模型。
模型结构
为了使更大的模型更具可扩展性，Meta研究人员决定使用标准的仅变压器模型，而不是近期流行的肴杂专家架构。公司还使用了一种“迭代后练习程序”来举行监督式微调，并创建了“最高质量”的合成数据来提高其性能。
开源和可用性
与之前的Llama模型一样，Llama 3.1也将开源。用户可以通过AWS、Nvidia、Groq、Dell、Databricks、Microsoft Azure、Google Cloud和其他模型库来访问它。
Llama 3.1 405B版本也将通过WhatsApp和Meta AI提供。这个强大的新模型无疑将在AI范畴产生重大影响，为开发者和研究人员提供新的工具和大概性。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
