亚马逊云科技 re:Invent 2024 Amazon Bedrock 推出新功能，加快AI落地 ...

一、前言

各人好，我是 Bluetata！今天跟各人分享一下在亚马逊云科技 re:Invent 2024 大会上发布的 Amazon Bedrock 最新更新。这个版本带来了很多令人兴奋的新功能，尤其是全新的基础模型系列 Amazon Nova，不仅支持多模态功能，还增长了图像和视频天生工具。再加上 Marketplace 的推出，让我们可以更灵活地选择和部署第三方模型，简直是开辟者的福音！接下来，我会具体讲解这些更新的亮点，快来看看吧！
二、本次 re:Invent Amazon Bedrock 重大相关更新

2.1 Amazon Bedrock 基础模型的重大更新

在亚马逊云科技 re:Invent 2024大会中，Amazon Bedrock 发布了新的基础模型系列Amazon Nova。
作为亚马逊精心打造的基础模型系列，在本次 re:Invent 2024中，让博主印象最深刻的就是 Amazon Nova 的正式发布。

作为一款强盛的文本天生模型，Nova系列从最基础的Micro版本到Lite、Pro，再到即将推出的Premier版本，为用户提供了多样化的选择。
此中，Lite及以上版本全面支持多模态功能，包罗图像和视频输入，并且支持多语言处置处罚能力。此外，Nova系列还推出了专注于图像天生的Canvas工具和用于视频天生的Reel工具，进一步拓展了应用场景。
展望未来，Nova系列计划发布全新功能：支持语音输入并天生语音输出的Speech-to-Speech技能，以及可将多种模态输入转化为多种模态输出的Any-to-Any技能，为用户带来更丰富、更灵活的创作体验。
2.2 亚马逊 Bedrock Marketplace 的发布使得可以在 Bedrock 上使用第三方模型。

用户可以从 Marketplace 中挑选所需模型，并将其部署到 Amazon Bedrock 平台，作为专属模型供个人使用。
这种部署方式的一大亮点是，模型能够与 Amazon Bedrock Agents、Amazon Bedrock Knowledge Bases 等周边功能无缝集成，进一步拓展了模型的应用场景与功能潜力。
比如下图中，我们直接在模型分类管理中搜索 gemma就可以看到有很多的gemma已经添加到了 Marketplace 中

我们选择具体的一个模型后，可以点击进入详情，看到具体的信息，并且无缝进行depoly操作。

这些模型主要有两种部署方式：

• 通过预配置吞吐量（Provisioned Throughput）部署 Claude 等传统厂商的模型
  此方式实用于部署诸如 Claude 等传统厂商的模型，需为预配置的吞吐量支付费用。这种部署方式早已支持，用户如今还可以通过 AWS Marketplace 更方便地完成模型部署。
  
• 将开源（OSS）基础模型部署为 SageMaker 推理端点
  此方式支持从 Hugging Face 等平台获取开源基础模型，并将其部署为 SageMaker 推理端点。通过这一方式，可以更灵活地使用开源模型满足特定业务需求。
  

2.3 新的厂商新的大模型加入 Amazon Bedrock 平台

Poolside、Luma AI 和 Stability.ai 的最新模型即将加入 Bedrock

• Poolside 的模型
  专为工程领域设计，提供代码天生、代码补全和测试天生功能。该基础模型通过强化学习训练，具备连续优化性能的能力，助力开辟者高效完成任务。
  

   重点各人关注的是：poolside Assistant
  

• Luma AI 的模型
  聚焦视频天生，为用户提供高质量的视频内容创作能力，满足多样化动态内容的需求。
  

   重点各人关注的是：Luma AI
  

• Stability.ai 的 SDX 模型
  即将推出的最新图像天生模型，将作为 Bedrock 的重要补充，为图像天生提供更强盛的支持。
  

   重点各人关注的是：Stable Diffusion3.5
  2.4 Amazon Bedrock 自界说模型与相关优化

通过 Amazon Bedrock Model Distillation，如今可以对大型语言模型进行模型蒸馏（Preview）。
这种方法称为知识蒸馏，即使用较大模型的正确数据来训练较小的模型，使其专注于特定用途。
此次，这一功能已在 Bedrock 中以 Model Distillation 的形式实现。

知识蒸馏是一种使用更大规模模型的正确数据来训练较小模型的方法，从而使较小模型针对特定用途进行优化和专注。
此次，Bedrock 将这一功能集成为 Model Distillation，使用户能够高效实现针对性模型优化。

以往，用户可以通过 微调（Fine-tuning） 和 连续预训练（Continued pre-training） 实现模型的自界说优化。
此次新增了 蒸馏（Distillation） 功能，使得用户能够使用更多方法进行模型定制和优化。
2.5 Amazon Bedrock 推出 Intelligent Prompt Routing 功能（预览版）

Amazon re:Invent 2024 Dr. Swami Sivasubramanian 的主题演讲中先容了 Intelligent Prompt Routing（预览版）

在服务开辟中，选择合适的基础模型常常让开辟者感到困扰与棘手。对于个人用户，模型选择可能不会带来显著的代价差别，但对于面向大量用户的服务，模型选择将直接影响使用本钱。同时，选择规模较小的模型可能难以天生令人满意的答复。
Intelligent Prompt Routing 恰好解决了这一难题：
   对于需要天生高质量、复杂答复的请求，路由到性能更强的模型（尽管本钱较高）。
对于简朴请求，使用更轻量的模型，以降低本钱并加快相应速率。
  Intelligent Prompt Routing 是一项新功能，通过根据提示词（Prompt）复杂度，将请求动态路由到同一模型家属中的最得当模型。用户可以在优化天生质量的同时，有用控制本钱。
该功能使用先进的提示匹配技能，根据每个请求的需求猜测模型性能，并主动选择最佳路由方案，提升了模型使用的灵活性和效率。
例如，在 Anthropic 的 Claude 模型家属 中，用户可以根据提示复杂度在 Claude 3.5 Sonnet 和 Claude 3 Haiku 之间路由请求：

• 对于复杂提示，选择性能更强的 Claude 3.5 Sonnet；
  
• 对于简朴提示，选择轻量的 Claude 3 Haiku，节省盘算资源和本钱。
  

Intelligent Prompt Routing 可在特定地区预览使用
目前，Intelligent Prompt Routing 功能可在以下地区提供预览访问：

• 美国东部（北弗吉尼亚）
  
• 美国西部（俄勒冈）
  在俄勒冈地区的 Bedrock 控制台中，已在 Foundation Models 部分新增了 Prompt Routers 选项，用于管理和配置提示路由功能。
  

三、文末总结

Amazon Bedrock 在 2024 年 re:Invent 大会上发布了一系列重要更新，特别是其新的基础模型系列 Amazon Nova，带来了多模态处置处罚和图像、视频天生工具，如 Canvas 和 Reel，极大拓展了应用场景。此外，Bedrock Marketplace 的推出使得用户可以从第三方模型中选择并集成到平台上，进一步提升了灵活性。新加入的 Poolside、Luma AI 和 Stability.ai 等模型丰富了平台的应用范围，支持从工程到视频、图像天生的多样化需求。
Amazon Bedrock 还推出了多项优化功能，如模型蒸馏（Model Distillation）和 Intelligent Prompt Routing。通过蒸馏功能，用户可以将大型语言模型的知识转化为更小、更专注的定制化模型，而智能提示路由则通过根据请求的复杂度主动选择合适的模型，提高了效率并降低了本钱。
这些更新展示了 Amazon Bedrock 在推动人工智能应用的广泛创新和优化方面的连续努力，为用户提供了更强盛的功能和灵活的操作方式，进一步提升了平台的竞争力。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。