金磊 发自 拉斯维加斯
量子位 | 公众号 QbitAI
就在刚刚，云计算一哥亚马逊云科技，在大模型这件事儿上搞了波大的——
亚马逊CEO Andy Jassy亲身站台re:Invent24，发布自家新款AI多模态系列大模型，名曰Amazon Nova。
而且是一口气涵盖文本对话、图片生成、视频生成，甚至直接吐露一个小目的：
将来我们不仅要Speech to Speech，更要Any-to-Any！
整体而言，Amazon Nova系列中的全部模型，均以功能和尺寸来分别。
先来看下新版尖端根本大模型的“文本对话篇”，一共包罗四个杯型：
- Amazon Nova Micro：仅限文本对话，主打一个低价格和低耽误；
- Amazon Nova Lite：低成本的多模态大模型，处理图像、视频和文本输入的速度极快。
- Amazon Nova Pro：高性能的多模态大模型，精度、速度和成本最佳“配方”，可处理广泛的使命。
- Amazon Nova Premier：亚马逊最强多模态大模型，可处理复杂的推理使命，也可用于蒸馏客户定制化的模型。
在现场，Andy也晒出了Amazon Nova在CRAG、BFCL、VisualWebBench和Mind2Web等Benchmarks上取得的分数。
从成绩中不丢脸出，其在检索加强生成（RAG）、函数调用和智能体应用方面具有较好的性能。
据悉，前三者已经上架亚马逊云科技的“模型工厂”Amazon Bedrock，而Premier版本则将于2025年第一季度推出。
目前也有一些实测已经流出，例如给Amazon Nova Pro一句Prompt：
Write a summary of this doc in 100 words. Then, build a decision tree.
写一篇100字的择要。然后，构建一个决策树。
啪的一下，结果就出来了：
再如让Amazon Nova Pro明白下面这个合并在一起的视频：
它给出的答案是：
The video begins with a view of a rocky shore on the ocean, and then transitions to a close-up of a large seashell resting on a sandy beach.
视频一开始是海洋上的岩石海岸，然后过渡到一个大贝壳躺在沙滩上的特写。
接下来，就是“非文本生成篇”，一共包罗两款。
Amazon Nova Canvas，主打的是图像生成，用官方的话来说，是达到了“State-of-the-art”（最先辈）的水平：
至于视频生成模型，名叫Amazon Nova Reel，给定一张图片和一句话，即可让它动起来：
而接下来Andy的一番话，直接让现场不淡定了。
正如我们刚才提到的，Andy已经放出了话，Amazon Nova即将出现出来的态势是万物皆可生成。
值得细细品味的一点是，亚马逊云科技在生成式AI时代中，先前发布自研大模型并不算最吸睛的那一批。
固然此前也发布过Amazon Titan大模型，但模态上也仅限于文本，更多的精力还是聚焦在了像Amazon Bedrock、Amazon Q如许的平台和应用。
而这次，亚马逊云科技却一反常态，以厚积薄发之势把主流模态全面覆盖，甚至一句“Any-to-Any”彰显其雄心。
为何会云云？
纵观整场发布会，透过亚马逊云科技CEO Matt Garman的全程先容，大概可以把答案总结为——
力气是不停有的，只是现在客户有需求了。
△Matt Garman初次以CEO身份参加re:Invent
这又该如何明白？我们继续往下看。
算力再升级，价格很美丽
先看力气。
作为云计算一哥，算力是亚马逊云科技的看家本领之一。
与传统云服务厂商不同，其自主研发并优化的专用芯片和数据中心，包罗Graviton和Nitro等专有服务器主机，为实时计算提供支持。
而这一次，从芯片到服务器，根本设施上一系列的更新动作，可以分为三大板块来看——
计算（Compute）、存储（Storage）和数据库（Database）。
在计算层面上，亚马逊云科技先是公布Amazon EC2 Trn2实例正式可用。
EC2 Trn2实例采用了第二代Trainium 芯片（Trainium2），与上一代Trn1实例相比，性能提升显著。具体来说：
- 练习速度提高4倍：这一性能提升能有用减少模型练习所需时间，加快企业应用落地；
- 内存带宽提高4倍：更强的数据传输能力可以满足复杂模型对实时数据处理的高要求；
- 内存容量提高3倍：为高参数目模型的运行提供了足够的计算资源。
此外，Trn2实例在性价比上比当前基于GPU的EC2 P5e和P5en实例高出30-40%。
每个Trn2实例包罗16个Trainium2芯片，192 vCPUs，2 TiB的内存，以及3.2 Tbps的Elastic Fabric Adapter (EFA) v3 网络带宽，这比上一代低沉了高达 35% 的耽误。
针对更高性能需求，亚马逊云科技同时推出了Trn2 UltraServer。
这是一种全新的超大规模计算产品，每台UltraServer包罗64个Trainium2芯片，并通过高带宽、低耽误的 NeuronLink互连实现了卓越的性能。
这使得Trn2 UltraServer成为练习超大规模根本模型（如生成式 AI、LLM 等）的理想选择。
NeuronLink是亚马逊云科技专有的网络互连技术，它能够将多台Trainium服务器组合成一个逻辑上的单一服务器，连接带宽可达2TB/s的带宽，而耽误仅为1微秒。
它的设计特别适合分布式深度学习使命，在网络通信上的优化有助于显著缩短练习时间，提升资源使用率。
用官方的话来说就是：
这正是练习万亿级参数的大型人工智能模型所需要的超级计算平台，非常强盛。
在现场，苹果也来为亚马逊站台，呆板学习和人工智能高级总监Benoit Dupin表示：
苹果将使用亚马逊云科技的Trainium2芯片。
除此之外，在芯片层面上，亚马逊云科技发布了AWS Trainium3芯片预览版，预计于2025年正式推出。
据悉，Trainium3将采用3纳米工艺制造，提供两倍于Trainium2的计算能力，并提升40%的能效。
在计算（Compute）之后，便是存储（Storage）上的更新。
我们都知道，在数据分析和大数据领域，处理和查询大规模数据集的能力至关紧张。
而传统的数据查询方法在处理海量数据时，经常导致性能瓶颈和管理复杂性，影响了企业的数据驱动决策能力。
为此，亚马逊云科技专门推出了Amazon S3 Tables。
Amazon S3 Tables提供了一种新的存储方式，专为表格数据设计，支持使用Amazon Athena、Amazon EMR 和 Apache Spark等盛行的查询引擎进行轻松查询。
S3的表存储桶是它的第三种存储桶类型，与现有的通用存储桶和目次存储桶并列；可以将表存储桶视为一个分析仓库，用于存储具有不同模式的Iceberg表格。
与自管理的表格存储相比，S3 Tables可以实现高达3倍的查询性能提升和10倍的每秒变乱处理能力，同时提供全托管服务的操作服从。
除此之外，元数据（Metadata）也变得越发紧张，例如电话内里有很多照片，正是因为通过元数据储存数据，现在可以实现用天然语言很快找到这张照片。
基于如许的需求，亚马逊云科技推出了Amazon S3 Metadata的预览版。
Amazon S3 Metadata提供了一种自动化、易于查询的元数据管理方式，这些元数据险些实时更新，资助用户整理、识别和使用S3数据进行业务分析、实时推理应用等。
它支持对象元数据，包罗系统界说的具体信息（如大小和对象泉源）以及自界说元数据，答应用户使用标签为对象添加产品SKU、交易ID或内容评级等信息。
而这些元数据同样也存储在S3 Tables之中。
在计算、存储之后，便是根本设施的第三大板块——数据库（Database）。
有意思的一点是，Matt在现场分享了一张“OR”还是“AND”的图，表示企业在选择数据库时广泛遇到的艰难抉择——跨区域一致、高可用性、低耽误，往往只能3选2。
而亚马逊云科技此次给出的答卷是，都可以有。
这就是新型无服务器分布式数据库Amazon Aurora DSQL，旨在解决传统数据库在扩展性和性能方面的挑战。
Aurora DSQL结合了传统关系数据库的强一致性和NoSQL数据库的分布式扩展能力，提供了以下几个关键优势：
- 跨区域强一致性和低耽误：采用了全新的架构，使其能够在多个地理区域中同时运行，而保持强一致性。
- 无穷扩展：能够处理数TB到数PB级的数据集，实用于任何规模的企业。
- 超高可用性：提供99.999%的可用性，这对于很多需要高可用性和无缝运行的企业级应用至关紧张。
- 性能优越：其跨区域的读写操作比Spanner快了四倍。
以上便是亚马逊云科技此次在根本设施上的发力了。
新的积木——推理
如果说把根本设施的三大板块视为三块积木，那么接下来，亚马逊云科技在模型层和应用层方面添加了第四块积木——推理（Inference）。
推理是生成式AI工作流的焦点，它指的是将已经练习好的模型应用到新数据上，进行猜测、生成或推断。
Matt在会上强调：
推理在AI模型的应用中变得尤为紧张，尤其是在处理像大型语言模型等复杂模型时，推理要求极高的计算能力和低耽误响应。
而Amazon Bedrock作为亚马逊云科技在模型层的一项AI平台服务，先是与我们上述的根本设施在推理上保持了同步。
换言之，Inferentia和Trainium芯片提供的推理的硬件优化，用户可以通过Amazon Bedrock便捷访问这些资源。
而至于Amazon Bedrock自己，这次也迎来多项能力的升级。
起首就是模型蒸馏（Model Distillation），能够自动化创建针对特定用例的蒸馏模型。
主要是通过从大型根本模型（西席模型）生成响应，并使用这些响应来微调较小的根本模型（门生模型），从而实现知识转移，提高小模型的准确度，同时低沉耽误和成本。
其次是多智能体协作（multi-agent collaboration）。
在需要多个智能体处理复杂使命的场景中，管理这些智能体变得具有挑战性，尤其是随着使命复杂性的增加。
使用开源解决方案的开发者大概会发现自己需要手动实现智能体编排、会话处理、内存管理等复杂操作。
这也正是亚马逊云科技在Amazon Bedrock上推出多智能体协作的出发点。具体特点如下：
- 快速设置：无需复杂编码，几分钟内创建、部署和管理协同工作的AI智能体。
- 可组合性：将现有智能体作为子智能体集成到更大的智能体系统中，使它们能够无缝协作以应对复杂的工作流程。
- 高效的智能体间通信：监督智能体可以使用一致的接口与子智能体进行交互，支持并行通信以更高效地完成使命。
- 优化的协作模式：在监督模式和监督加路由模式之间选择。在路由模式下，监督智能体将直接将简朴请求路由到相关的子智能体，绕过完备的编排。
最后，也是更为紧张的一点，便是防止大型语言模型幻觉导致的事实错误的功能——自动推理查抄（Automated Reasoning checks），这是Amazon Bedrock Guardrails中新增的一项功能。
这种新的防护措施，旨在通过数学验证来确保LLMs生成的响应的正确性，并防止幻觉导致的事实错误。
自动推理查抄使用基于数学和逻辑的算法验证和推理过程来验证模型生成的信息，确保输出与已知事实一致，而不是基于虚构或不一致的数据。
与呆板学习（ML）不同，自动推理提供了关于系统行为的数学保证。
据悉，亚马逊云科技已经在存储、网络、假造化、身份和暗码学等关键服务领域使用自动推理，例如，自动推理用于正式验证暗码实现的正确性，提高性能和开发速度。
在性能方面，Bedrock还推出了低耽误优化推理，由此，用户可以在使用最先辈的大模型根本上，还享受卓越的推理性能。
值得一提的是，Llama 405B和Llama 70B低耽误优化版本，在亚马逊云科技上显现出超越其他云提供商的出色表现。
另有应用层和别的更新
针对开发者和企业，亚马逊云科技在应用层上的代表作便是Amazon Q了。
针对越来越多的企业寻求从当地数据中心迁移到云的痛点，亚马逊云科技在Amazon Q Developer上推出了多项新功能。
此中较为引人注目的就是Transformation for Windows .NET Applications，这项功能使得企业能够更快速地将.NET应用步调迁移到AWS，同时还能够显著低沉迁移成本。
Amazon Q为.NET应用步调提供了自动化迁移工具，能够识别应用步调中大概存在的不兼容标题，生成迁移操持，并且自动调整源代码，确保平滑过渡到云端。这种自动化迁移大幅提高了工作服从，减少了人为干预。
通过将应用步调从Windows迁移到Linux，企业能够节省高昂的Windows许可费用，低沉TCO（总拥有成本）。
Matt指出，使用Amazon Q的企业能够节省多达40%的许可成本。
而且迁移速度比传统手动迁移快了四倍，大大减少了系统迁移的停机时间和风险。
除了Windows应用的迁移，亚马逊云科技还推出了Amazon Q Developer Transformation for VMware Workloads功能，专为运行在VMware上的企业工作负载设计。
通过这一工具，亚马逊云科技可以资助企业将当地的VMware情况迁移到云平台。
应用层之外，另有诸如将AI和分析做结合的产品——Amazon SageMaker。
它作为一个可以帮企业加速AI应用的开发、练习和部署的数据科学平台，今天也正式步入了“下一代”。
新一代SageMaker的焦点是SageMaker Unified Studio。
这是一个单一的数据和AI开发情况，它整合了Amazon Athena、Amazon EMR、AWS Glue、Amazon Redshift、Amazon Managed Workflows for Apache Airflow (MWAA)以及现有的SageMaker Studio中的工具和功能。
其次是Amazon SageMaker Lakehouse，可以统一Amazon S3数据湖、Amazon Redshift数据仓库和第三方及联合数据源。
亚马逊云科技的“AI步法”
在看完本届re:Invent全部内容和睦力之后，亚马逊云科技在生成式AI时代的发展路径其实也就比力清楚了——
从客户的真实业务需求出发。
上文种种内容的更新，都是基于“客户的服务出现了什么标题”，包罗计算、存储、数据库上的瓶颈，包罗客户在模型上的选择，再包罗应用上的迁移服务等等。
洞悉了背后的实用主义逻辑，也就不难明白，亚马逊云科技为何选择在这个时间节点上发布一系列多模态大模型，还是因为客户有需要。
这种需要，具体而言，就是客户在模型上的选择，毕竟“没有一个模型可以一统天下”，每个模型都有自己所善于的领域。
但亚马逊云科技所做的，是使用自己在根本设施、工具/模型和应用三个层面的深耕和睦力，给客户多提供了一个“快、好、省”的选项。
回顾亚马逊云科技的起步，似乎这一点从未变过。
正如Matt在大会上回忆的那样：
亚马逊云科技在2006年推出时，初创公司是第一批用户，他们总黑白常积极地采用新技术，并且能够提供有价值的反馈。
而这种反馈也进一步推动了亚马逊云科技的发展，也有助于明白如何更好地支持创业精神。
因此，Matt在大会中还公布了一个重磅消息：
将在2025年为全球的初创公司提供10亿美元的资金支持！
One More Thing
本届re:Invent共计6万人到场，来感受一下这个热情、这个feel~
参考链接：
[1]https://www.aboutamazon.com/news/aws/amazon-nova-artificial-intelligence-bedrock-aws
[2]https://aws.amazon.com/blogs/aws/amazon-ec2-trn2-instances-and-trn2-ultraservers-for-aiml-training-and-inference-is-now-available/
[3]https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/
— 完 —
点这里 | 
