即刻体验 Llama3.1就在Amazon Bedrock!

耶耶耶耶耶 · 2024-11-14 09:32:33

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？立即注册

x

引言

在人工智能的浪潮中，大型语言模型（LLMs）不断推动着技能界限的扩展。Meta 最新推出的 Llama 3.1 模型系列，以其杰出的性能和广泛的应用前景，引起了业界的广泛关注。现在，激动民气的消息来了——Llama3.1 已经在 Amazon Bedrock 上线，让开辟者和研究职员能够即刻体验这一革命性技能。本文将带您一探毕竟，相识如何在 Amazon Bedrock 上体验 Llama3.1 的强大功能。

Llama 3.1：LLM新高度

Llama 3是一个语言模型系列，原生支持多语言性、编码、推理和工具使用，在理解力、天生力和多语言处置惩罚能力上实现了质的飞跃。最大的模型是一个密集型的Transformer架构，拥有4050亿个参数，能够处置惩罚高达128K tokens的上下文窗口。Meta公开辟布了Llama 3，包罗405B参数语言模型的预练习和后练习版本，以及用于输入和输出安全的Llama Guard 3模型。这一模型系列包罗不同规模的版本，从 8B（80 亿参数）到 405B（4000 亿参数），为不同需求的用户提供灵活的选择。
重要特点

多语言支持：Llama 3.1 原生支持多语言，能够理解和天生多种语言的文本，极大地扩展了其应用范围。
上下文理解：通过高达 128k 的上下文窗口，Llama 3.1 能够处置惩罚更长、更复杂的文本序列，提供更深入的内容理解。
简洁架构：选择 Transformer 架构而非 MoE（混合专家模型），Llama 3.1 在保持高性能的同时，简化了模型的复杂性，便于部署和维护。

模型架构

Llama 3使用标准的密集Transformer架构，进行了一些小的修改，如分组查询留意力（GQA）和8个键值头，以及留意力掩码。模型使用了一个包罗128K个标记的词汇表，并增加了RoPE基础频率超参数到500,000。

Llama 3的乐成归功于三大核心要素：

高质量数据：15T tokens的高质量多语言数据。
规模性：通过大模型提升小模型的质量，实现同类最佳效果。
简洁性：选择Transformer架构，接纳简朴的后练习程序。

开辟历程

Llama 3的开辟分为两个重要阶段：

预练习：预练习包罗大规模练习语料的整理和筛选、模型布局的开辟、规模定律实行、基础设施、扩展性和效率的开辟，以及预练习配方的开辟。数据泉源包罗网络数据整理、PII和安全过滤、文本提取和清理、去重、开导式过滤、基于模型的质量筛选等。在15.6万亿token上预练习了4050亿参数的模型，上下文窗口为8K token，随后扩展至128K token。
后练习：通过多轮人类反馈与模型对齐，包罗监督式微调（SFT）和直接偏好优化（DPO）。

多模态能力

为了赋予Llama 3多模态能力，Meta接纳了组合方法，引入了图像、视频和语音编码器。具体过程包罗：

多模态编码器预练习：分别对图像和语音编码器进行练习。
视觉适配器练习：将图像编码器融入预练习的语言模型，实现图像表现与语言表现的对齐。
语音适配器练习：将语音编码器整合到模型中，实现高质量的语音理解。

在 Amazon Bedrock 上体验 Llama3.1

Amazon Bedrock 是一个强大的云盘算平台，提供了丰富的盘算资源和灵活的服务选项，是运行和测试大型语言模型的理想选择。现在，Llama 3.1 已经在 Amazon Bedrock 上可用，用户可以轻松接入并开始他们的 AI 项目。

什么是Bedrock

Amazon Bedrock 是一项完全托管式服务，可通过 API 提供来自领先的人工智能初创企业和 Amazon 的 FM，因此您可以从各种 FM 中进行选择，以找到最适当您的应用场景的模型。借助 Bedrock 的无服务器体验，您可以快速入门，使用本身的数据私人定制 FM，并使用 AWS 工具轻松将其集成和部署到您的应用程序中，而无需管理任何基础设施。
通过 API 使用 FM 加快天生式人工智能应用程序的开辟，而无需管理基础设施。从 AI21 Labs、Anthropic、Stability AI 和 Amazon 选择 FM，找到适当的应用场景的 FM，使用熟悉的 AWS 工具和功能来部署可扩展、可靠且安全的天生式人工智能应用程序。
快速开始使用关键应用场景

浩繁基础模型可供选择

如何开始使用

注册 Amazon Web Services (AWS) 账户：如果您还没有 AWS 账户，起首需要注册一个，固然现在为了方便各人尝鲜，微信扫码登录即可，有12小时体验时间。

访问 Amazon Bedrock：扫码登录乐成后，即可跳转到如下界面，如需登录微信扫码即可。

创建项目：进入Bedrock界面后，点击入门，根据您项目的需求，选择符合的实例类型和配置。

部署 Llama 3.1：通过 Amazon Bedrock 提供的工具和指示，部署 Llama 3.1 模型，目前可在操场目次下谈天、文本两个环节中使用llama 3.1，谈天中支持多种格式文档上传，方便构建知识库。

可以看到有详细的模型指标用于评估判定。

效果实测

中英翻译

翻译的效果很不错

当代人工智能（AI）系统是由基础模型驱动的。这篇论文先容了一组新的基础模型，称为Llama 3。它是一群本身支持多语言、编码、推理和工具使用的语言模型。我们的最大模型是一种密集的Transformer，具有405B参数和上限128K令牌的上下文窗口。这篇论文对Llama 3进行了广泛的经验评估。我们发现Llama 3在浩繁使命上提供了与领先的语言模型GPT-4相称的质量。我们公开辟布了Llama 3，包罗预练习和后练习的405B参数语言模型和我们的Llama Guard 3模型用于输入和输出安全性。该论文还先容了我们通过组合方法将图像、视频和语音能力集成到Llama 3中的实行结果。我们观察到这种方法在图像、视频和语音识别使命上与当前最佳表现相竞争。然而，结果模型尚未广泛发布，因为它们仍在开辟中。
阅读理解能力

能够正确理解问题，解决问题
文档总结能力

总结内容如下：
这篇文档是关于 Meta 公司发布的 Llama 3 模型的技能陈诉。以下是文档的关键内容总结：

Llama 3 模型概述
Llama 3 是一组基础模型，支持多语言性、编码、推理和工具使用。
最大模型是一个拥有 4050 亿参数的密集型 Transformer 模型，能够处置惩罚高达 128K tokens 的上下文窗口。
陈诉提供了对 Llama 3 的广泛实证评估，发现其在多项使命上的表现与 GPT-4 等领先语言模型相称。
模型开辟
预练习：在 15.6T tokens 上预练习了 4050 亿参数的模型，上下文窗口为 8K tokens，随后扩展至 128K tokens。
后练习：通过多轮人类反馈与模型对齐，包罗监督式微调（SFT）和直接偏好优化（DPO）。
模型架构
Llama 3 使用标准的密集 Transformer 架构，进行了一些调整，如分组查询留意力（GQA）和 8 个键值头，以提高推理速度和镌汰解码过程中的键值缓存巨细。
数据和练习
数据：预练习数据包罗约 15T 多语言 tokens，改进了数据的预处置惩罚和整理。
练习：使用了 3.8 × 10^25 FLOPs 的盘算预算，远大于之前的 Llama 模型。
多模态能力
图像、视频和语音：通过组合方法，引入了图像、视频和语音编码器，实现了图像、视频和语音识别使命的能力。
效果评估
基准测试：Llama 3 在多个基准测试中表现优异，包罗常识推理、知识、阅读理解、数学推理等。
人类评估：进行了广泛的人类评估，比力了 Llama 3 与其他模型。
安全性
安全预练习：在预练习阶段，应用了各种过滤器，如用于识别大概包罗个人身份识别信息的网站的过滤器。
安全微调：通过安全练习数据和风险缓解技能，优化了违规率（VR）和错误拒绝率（FRR）。
推理效率
流水线并行：使用流水线并行技能提高推理效率。
FP8 量化：使用 H100 GPU 的原生 FP8 支持进行低精度推理。
视觉和语音实行
视觉：通过组合方法将图像编码器和视频编码器集成到 Llama 3 中。
语音：通过编码器和适配器处置惩罚语音信号，并将其与语言模型联合。
相关工作
陈诉讨论了 Llama 3 模型与现有语言、视觉、视频和语音模型的关系。
结论
Llama 3 的开辟夸大了高质量数据、规模和简洁性的紧张性。
陈诉分享了开辟过程中的组织决议和安全分析，以促进负责任的 AI 模型开辟。
模型发布
Meta 公开辟布了 Llama 3 模型，包罗 405B 参数语言模型的预练习和后练习版本，以及 Llama Guard 3 模型，以促进研究社区的创新和人工通用智能（AGI）的发展。
这篇陈诉详细先容了 Llama 3 模型的技能细节、开辟过程、评估结果和未来发展方向。