16000颗H200超级芯片！最强云计算AWS和英伟达“合体”了

金磊 克雷西 发自 拉斯维加斯

量子位 | 公众号 QbitAI

最强云计算、最快GPU，联手出大招了！

就在刚刚，云计算霸主亚马逊云科技 和英伟达 宣布：

推出首款云AI超级计算机，结合了英伟达H200 Grace Hopper超级芯片和亚马逊UltraCluster扩展功能。

据悉，该合作项目代号为Project Ceiba ，而这个超级计算机是配备了H200 NVL32与Amazon EFA互连技术的大规模系统，将部署在亚马逊云科技之上。

它共计搭载了16384颗 英伟达H200超级芯片，能够处理65 exaflops速度等级的AI运算。

为了这个合作项目，老黄也是亲自来到亚马逊云科技年度盛会re:Invent的现场站台，重视程度可见一斑。

△左：亚马逊云科技 CEO：Adam Selipsky；右：英伟达CEO：黄仁勋

与此同时，亚马逊云科技也成为了英伟达H200 Grace Hopper超级芯片的第一个大客户。

而之所以两大巨头要这般合作，双方的目标也是非常明确——剑指生成式AI 。

亚马逊云科技CEO Adam Selipsky在现场表示：

我们与英伟达合作了13年，推出了最广泛的英伟达 GPU解决方案可用于各种工作负载，包括绘图、游戏、HPC高性能计算、机器学习，以及现在的生成式AI。

我们将会让亚马逊云科技成为运行GPU的最佳云端环境。

黄仁勋也对生成式AI与云计算发表了他的观点：

生成式AI正改变各种云端负载，为多元内容创作在底层注入加速计算动能。

我们共同目标是为每个客户提供具有成本效益、先进生成式AI，为此英伟达与亚马逊云科技在整个计算堆栈展开合作，横跨AI基础设施、加速库、基础模型以及生成式AI服务。

而这次强强联手的合作，也仅仅是亚马逊云科技 re:Invent活动中的一隅。

现在，我们就来一同看下更多的重磅发布。

亚马逊云科技升级AI芯片

除了与英伟达展开合作之外，亚马逊云科技自家的芯片也迎来了大升级。

首先便是发布了升级后的通用AI芯片——Graviton4 。

据了解，与上一代Graviton3相比，Graviton4的计算性能提高了30%，核心数量增加了50%，内存带宽增加了75%。

Graviton4带来的一个新转变之一，便是通过对所有快速物理硬件接口的全面加密，这就显著提升了它的安全性。

亚马逊云科技透露，这款芯片将被应用于内存优化型的Amazon EC2 R8g实例，帮助客户提升高性能数据库、内存缓存和大数据分析工作的效率。

而且，R8g实例的大小更大，其vCPU和内存容量比前一代的R7g实例最多增加了三倍。

搭载Graviton4的电脑预计在接下来的几个月内上市。

亚马逊云科技进一步表示：

自从大约五年前推出Graviton项目以来，他们已经生产了超过200万个Graviton处理器。

而且，亚马逊云科技 EC2的前100位用户都已经选择使用Graviton，这证明了其在市场上的受欢迎程度。

亚马逊云科技在大会中带来的第二款升级芯片，则是Trainum2 。

如其名，这款芯片的主要用途就是针对拥有超大参数模型的训练。

相比于上一代Trainium1，Trainum2在速度上快出了4倍，同时在能效方面也有2倍的提升。

在亚马逊云科技内部，Amazon EC2 Trn2实例将采用的正是Trainium2，每个实例内置16个Trainium芯片。

这些Trn2实例的目的是为了支持客户在下一代EC2 UltraCluster中大规模扩展，最多可达10万个Trainium2芯片，通过亚马逊云科技弹性织物适配器（EFA）的petabit级网络连接，能够提供高达65 exaflops的强大计算能力。

有了这种规模，客户就可以在数周而不是数月时间内训练3000亿参数的大语言模型！

正如Claude背后公司Anthropic的联合创始人Tom Brown所述：

我们正在与亚马逊云科技密切合作，使用Trainium芯片开发我们未来的基础模型。

Trainium2将帮助我们大规模构建和训练模型，我们预计它比第一代Trainium芯片快至少4倍，适用于我们的一些关键工作负载。

据悉，Trainium2将从明年开始用于支持新的服务。

Amazon Q：亚马逊工作版ChatGPT出道

在生成式AI方面，亚马逊云科技还发布了自家工作版的ChatGPT——Amazon Q ，重新构想了未来的工作方式。

Amazon Q主要面向的是企业用户，它让员工可以利用公司的数据和专业知识获得答案、解决问题。

Amazon Q基于亚马逊云科技17年的知识来训练，所以很懂亚马逊云科技 ，于是在使用亚马逊云科技过程中，可以随时随地提供帮助。

Adam说，Amazon Q改变了开发人员在亚马逊云科技上构建、部署和操作应用程序的方式。

它可以通过提出问题来了解亚马逊云科技功能和工作原理，或者确定最佳服务。

Amazon Q不仅能介绍亚马逊云科技的各项功能，还可以根据用户需求，提供利用亚马逊云科技各项服务构建应用的方法。

在使用亚马逊云科技遇到问题和故障时，Amazon Q也可以一键分析原因 并想办法解决。

在亚马逊云科技控制台之外，Amazon Q还可以在IDE中调用，实时帮助开发者生成或解释代码，并进行测试和优化。

更为精彩的是，Amazon Q可以完成从计划到代码，再到完成后的测试和用户文档的全流程自动开发 。

假如要给应用添加新功能，开发人员只需要用自然语言描述需求，然后检查Amazon Q给出的建议并进行必要调整就可以了。

不过，开发不是一劳永逸，程序的维护和升级也至关重要。

而如果这之中涉及到了编程语言的更新迭代，开发者可能需要花费几个月甚至几年对代码进行逐行调整。

而Amazon Q的代码转换功能，将这一时间缩短到了几分钟。

开发人员只需在 IDE 中打开他们想要转换的代码，然后要求Amazon Q对其进行“/transform”即可。

最近，5名开发人员用Amazon Q在短短两天内将1000个应用从Java 8升级到Java 17，平均每个用时还不到10分钟。

除了面向开发者的Builder版本， Amazon Q还有为商业从业者提供的Business版本。

可以在亚马逊QuickSight数据分析平台和亚马逊云科技 Connect中使用。

将Amazon Q连接到企业系统，还能得到定制版的Q，我们还可以看到Amazon Q帮助用户分析了下游客户的需求。

在此基础之上，Amazon Q更是可以直接充当使用者的客服代表，解决下游用户提出的问题。

做个总结的话，Business版本的Amazon Q一共拥有四重“专家”身份：

亚马逊云科技专家，对亚马逊云科技的每一个功能、模块都有充分的了解。生意专家，能够分析行业状况下游客户的需求。商业智能专家，能够对大量商业数据进行分析。客服专家，对用户企业情况充分了解，可以充当智能客服工作。

价格方面，Business和Builder版本的价格分别是每用户每月20美元和25美元。

还有其它发布

与这些芯片和聊天机器人Amazon Q同时发布的，还有全新的云存储服务 亚马逊云科技 S3 Express One Zone。

它的速度是标准版S3的10倍，可以在1分钟之内处理数百万次请求，请求成本和计算成本分别降低了50%和60%。

工具层面，生成式AI应用搭建平台Bedrock 也值得关注。

Adam将其称作最简单的利用大模型搭建和扩展生成式AI的方式。

此外还有和Trainium芯片配套的ML优化SDK 亚马逊云科技 Neuron。

排行前100的ML模型中，亚马逊云科技 Neuron支持93种。

按照基础设施层、工具层和应用层这三个层级进行划分，此次发布中涉及生成式AI的产品都在下面这张图里了：

One More Thing

据说这届亚马逊云科技的re:Invent活动吸引了来自全球的5万多人。

来，感受一下Keynote结束后的人山人海……

参考链接：[1]https://press.aboutamazon.com/2023/11/aws-unveils-next-generation-aws-designed-chips[2]https://press.aboutamazon.com/2023/11/aws-and-nvidia-announce-strategic-collaboration-to-offer-new-supercomputing-infrastructure-software-and-services-for-generative-ai

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

亚马逊推出第四代Graviton4芯片，加速云计算与AI领域布局

来源：环球网

【环球网科技综合报道】7月10日，据雅虎财经消息，亚马逊网络服务（AWS）近日宣布，将推出其第四代Graviton处理器——Graviton4芯片。这一消息由亚马逊计算和人工智能产品管理总监拉胡尔·库尔卡尼（Rahul Kulkarni）在位于德克萨斯州奥斯汀的亚马逊芯片实验室向雅虎财经独家透露。

据库尔卡尼介绍，Graviton4芯片在性能和效率方面实现了大幅提升，计算能力和内存比上一代产品高出三倍，内存带宽增加了75%，整体性能提高了30%。他表示：“总的来说，Graviton4提供了更高的性价比，这意味着客户每花一美元，都能获得更高的性能。”

随着半导体在全球经济中持续发挥重要作用，对芯片的需求也在不断增长。目前，该行业的价值已达5440亿美元，预计到2033年将超过1万亿美元，这一增长主要得益于人工智能需求的不断提升。因此，亚马逊、苹果、Alphabet和微软等超大规模企业纷纷开始开发定制芯片，以满足他们的特定需求、降低成本并为客户提供更实惠的选择。

尽管Graviton4芯片并非专门的AI芯片，但它能够支持AWS的Inferentia和Trainium芯片，这两款芯片均专注于AI技术。

然而，库尔卡尼强调，AWS的目标并不是取代Nvidia。相反，这家云服务提供商希望为注重性价比的客户提供可行的替代方案，从而从迅速扩张的人工智能芯片市场中分得一杯羹。他表示：“对于有些客户来说，成本是经营业务的一个非常令人望而却步的因素。如果他们想要进行更多成本优化的AI工作负载（如训练或推理），那么我们的Inferentia和Trainium产品将是一个很好的选择。”

为了降低开发成本，亚马逊除了从Nvidia等制造商购买芯片外，还自行设计芯片。AWS目前提供两种主要芯片：专为AI设计的芯片和用于通用目的的芯片，如Graviton4。通过自行设计和测试芯片，亚马逊能够调整产品、优化硅片性能，并专注于对客户工作负载真正重要的事情。

AWS尚未披露Graviton4的具体定价细节，但这些处理器的租金为每秒0.02845美元。这种性价比对于AWS来说至关重要，因为它使用专有芯片为其云基础设施和服务器提供支持。分析师表示，AWS客户可以使用Graviton4将IT费用减少一半。

AWS的芯片战略不仅仅是向客户提供芯片，还利用其所有芯片产品来支持自身的努力，其中包括一个新的大型语言模型，这是OpenAI的ChatGPT的潜在竞争对手。从长远来看，自行设计芯片可以为AWS节省大量资金，并增强其在半导体领域的影响力。

对于投资者来说，芯片开发的盈利预期可能比实际芯片生产对公司利润的影响更大。随着AWS希望通过设计、测试和验证其芯片来开拓自己的利基市场，分析师注意到该公司在半导体领域的影响力日益增强。目前，仅AWS的利润率在2024年第一季度就达到了38%。

相关问答

5g能不能和云计算取代手机芯片?

就算5g和云计算背后都是有强大的服务器,服务器需要CPU才能正常的运转,CPU制造不出来那就永远遏制于他人取代的意思是?既然讨论问题,我们尽量定义清楚。CPU...

云技术会不会代替芯片和操作系统?

从事软件开发多年,现在无论大小设备几乎都离不开芯片和操作系统,当然很多单片机本身不带操作系统,从手机到电脑,到家里的电视几乎都离不开芯片和操作系统,而...

搭在微信系统的5G云计算手机是否可以破解我国在操作系统、芯片领域的困境，为什么?

微信只是一个常用软件,常用软件是要安装在操作系统上的,如果安卓屏蔽微信及苹果屏蔽微信,那微信立刻得倒闭。电脑及手机大多数都是用的微软及安卓及苹果的...

倪光南:充分利用开源模式，适当聚焦RISC-V架构-OSCHINA-...

中国工程院院士倪光南近日发表讲话指出,我国可适当聚焦RISC-V架构发展芯片产业,从而抓住快速发展中国芯片产业的机遇,并不受外国垄断架构的制约,将芯片业发展...