Meta发布新肥羊：Llama 3.1 大模型

   Meta 的新 Llama 3.1 模型已经发布，开始与 GPT-4o 和 Claude 3.5 Sonnet 竞争。
  Meta 在 23 号宣布其开源 AI 模型 Llama 已发布最新版本。据 Meta 称，随着 Llama 3.1 405B 的发布，该公司正试图证明开放大语言模型可以与封闭大语言模型一样强大，甚至更好。
Meta 在一篇博文中写道：
“Llama 3.1 405B 是第一个公开可用的大语言模型，在知识、可利用性、数学、工具利用和多语言翻译等最先进的能力方面可与顶级 AI 模型相媲美。随着 405B 模型的发布，我们已准备好加强创新能力，带来前所未有的增长和探索时机。我们相信最新一代的 Llama 将激发新的应用程序和建榜样式，包括合成数据生成，以便改进和训练较小的模型，以及模型提炼，这是开源中从未如此大规模实现的功能。”
该公司将 Llama 3.1 与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 举行了比较。它在数学、推理和编码等多项评估中体现优于这些模型，或与这些模型相当。
该模型在超过 15 万亿个标签上举行了训练，这需要 Meta 优化其训练堆栈并利用超过 16K H100 GPU。
主要特性和功能

---

Llama 3.1 405B 可以实验各种任务，例如编码、答复数学问题以及可以用八种语言总结文档。但是，它仅支持文本，无法处理惩罚基于图像的查询。Meta 还在开发可以识别图像、视频和生成语音的多模态 Llama 模型，但这些模型暂时尚未公开。

---

该模型利用15 万亿个 token的数据集举行训练，相当于 7500 亿个单词。Meta 改进了该模型的数据管理和质量保证流程。其他 AI 模型生成的合成数据也用于微调 Llama 3.1 405B。然而目前，Meta 以竞争和法律原因为由，没有透露其训练数据的详细泉源。

上下文窗口和工具

---

Llama 3.1 405B 具有更大的上下文窗口，包罗 128,000 个标记，因此它能够总结较长的文本，并且比之前的模型更好地保持对话中的上下文。

---

Meta 还发布了两个较小的模型，Llama 3.1 8B 和 Llama 3.1 70B，它们共享相同的上下文窗口。这些模型可以利用第三方工具和 API 来实验诸如答复有关最近变乱的问题、解决数学问题和验证代码等任务。

---

性能和许可证

---

Llama 3.1 405B 的性能与 OpenAI 的 GPT-4 相当，与GPT-4o和Claude 3.5 Sonnet相比，结果好坏参半。它在实验代码和生成图表方面体现出色，但在多语言能力和一般推理方面较弱。由于其规模庞大，它需要大量硬件才气运行。Meta 正在推广其用于通用应用的较小模型，并认为 Llama 3.1 405B 适合模型蒸馏和生成合成数据。

Meta 已更新 Llama 的许可证，答应开发人员利用 Llama 3.1 模型系列的输出来开发第三方 AI 模型。不过，应用程序月用户量超过 7 亿的开发人员必须向 Meta 申请特殊许可证。

除了 405B 版本，Llama 3.1 还提供 8B 和 70B 选项。该公司还宣布，随着此版本的发布，它还将更改 Llama 的许可证，以答应开发者利用其输出来改进其他型号。
Meta 在Llama3 的相关博文中写道：
“尽管很多人大概认为封闭模型更具成本效益，但根据人工智能分析的测试，Llama 模型的每Token成本是业内最低的。我们的CEO马克·扎克伯格说，开源将确保全世界更多的人能够享受人工智能的好处和时机，权力不会会合在少数人手中，而且这项技能可以更匀称、更安全地摆设到整个社会。这就是为什么我们继承接纳步伐，让开放式人工智能成为行业的尺度，”
这些模型现在可以在Meta 的网站或Hugging Face上下载。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
对于0基础小白入门：
   如果你是零基础小白，想快速入门大模型是可以考虑的。
  一方面是学习时间相对较短，学习内容更全面更会合。
二方面是可以根据这些资料规划好学习计划和方向。
  包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础体系性的学好大模型！