无问芯穹联合创始人兼CEO夏立雪：打破异构芯片“生态竖井”，让异构芯片转化为大算力

每经记者：张韵 每经编辑：梁枭

大模型时代，如何构建更好的基础设施？

7月4日下午，在2024世界人工智能大会期间，无问芯穹联合创始人兼CEO夏立雪在“智启新章·算引未来”AI基础设施论坛上表示，算力是AI发展的前哨和基石，GPT-4之后，支撑算法所需要的算力遇到了瓶颈，“Scaling Law”一词被频繁讨论。在此背景下，国内外巨头都在加大对算力资源的投入。

活动现场 图片来源：每经记者 张韵 摄

所谓Scaling Law是指模型的性能与计算量、模型参数量和数据大小三者之间存在的关系。当前，谷歌、OpenAI以及国内的大厂和三大云商都在构建万卡规模的大集群。夏立雪认为，如今Scaling Law思潮的底层逻辑和能力法思想不谋而合，因此万卡集群是大模型的兵家必争之地。

“未来人工智能推演和训练的算力需求仍然是高速发展的状态，不仅推理场景会随着大模型的落地快速爆发，训练场景也会支撑模型迭代与模型与应用的结合。”夏立雪进一步表示，与国际上模型层与芯片层“相对集中”的格局相比，中国的模型层与芯片层更加“百花齐放”。

然而，大量的异构芯片也形成了“生态竖井”，不同硬件生态系统封闭且互不兼容，给算力的使用方带来一系列技术挑战。

对此，夏立雪认为，为适配中国独特的多模型、多芯片的生态格局，要找到一个好的合力方式，打破异构生态竖井，让异构芯片真正转化为大算力，帮助大模型进一步发展。

在夏立雪看来，当前人工智能的发展状态，不仅需要有将多元异构的芯片统一纳入的底层系统能力，又要在异构算力和多种算法之间做轻易使用的中间层，让用户通过统一的编程框架，把不同算力调度起来，整合算力推高了大模型生态的完整度，其核心任务是持续降低大模型应用落地成本。

每日经济新闻

全球首发！无问芯穹发布千卡规模异构芯片混训平台

“打开水龙头前，我们不需要知道水是从哪条河里来的。同理，未来我们用各种AI应用时，也不会知道它调用了哪些基座模型，用到了哪种加速卡的算力——这就是最好的AI Native 基础设施。”

7月4日，在2024年世界人工智能大会AI基础设施论坛上，无问芯穹联合创始人兼CEO夏立雪发布了全球首个千卡规模异构芯片混训平台，千卡异构混合训练集群算力利用率最高达到了97.6%。同时，夏立雪宣布无问芯穹Infini-AI云平台已集成大模型异构千卡混训能力，是全球首个可进行单任务千卡规模异构芯片混合训练的平台，具备万卡扩展性，支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。7月起，通过试训申请的用户，已可在Infini-AI上一键发起700亿参数规模的大模型训练。

就在4个月前，无问芯穹Infini-AI大模型开发与服务云平台宣布首次公测，已有智谱AI、月之暗面、生数科技等大模型公司客户在Infini-AI上稳定使用异构算力，还有20余家AI Native应用创业公司在Infini-AI上持续调用各种预置模型API，使用无问芯穹提供的工具链开发自身业务模型。此次发布全球首个可进行千卡规模异构芯片混训的平台，不仅是无问芯穹在异构计算优化与集群系统设计方面的深厚底蕴和卓越技术的实力体现，同时也是无问芯穹秉承“MxN”中间层生态理念的重要成果。

打破异构芯片“生态竖井”，让异构芯片转化为大算力

作为大模型生命周期中不可或缺的两个阶段，训练和推理均需要强大的计算资源支撑。然而，与国际上模型层与芯片层“相对集中”的格局相比，中国的模型层与芯片层更加“百花齐放”。然而，大量的异构芯片也形成了“生态竖井”，不同硬件生态系统封闭且互不兼容，给算力的使用方带来一系列技术挑战。

据不完全统计，宣布拥有千卡规模的中国算力集群已不少于100个，出于诸多缘由，比如过度依赖单一硬件平台可能会使企业面临供应链风险，又比如国产芯片的性能快速提升为集群方提供了多种选择，绝大部分集群已经或正在从同构转向异构。“生态竖井”的存在让大多数企业和开发者对此望而却步，即便算力集群众多，也难以实现有效的整合与利用，这无疑是对算力资源的浪费。“生态竖井”不仅成为构建AI Native基础设施的最大难点，也是当前大模型行业面临“算力荒”的重要原因。

构建适应多模型与多芯片格局的AI Native基础设施，无问芯穹的底层解法是，提供高效整合异构算力资源的好用算力平台，以及支持软硬件联合优化与加速的中间件，让异构芯片真正转化为大算力。这一系列研、产进展背后，是无问芯穹研发团队在异构芯片计算优化与集群系统设计上的强大实力支撑。近日，无问芯穹与清华、上交的联合研究团队发布了HETHUB，这是一个用于大规模模型的异构分布式混合训练系统，这是业内首次实现六种不同品牌芯片间的交叉混合训练，且工程化完成度高。夏立雪介绍，这项技术工程化的初衷，是希望能够通过整合更多异构算力，继续推高大模型技术能力的上限，同时通过打通异构芯片生态，持续降低大模型应用落地成本。

引领“MxN”生态格局的AI Native基础设施建设，让天下没有难用的AI算力

当前，大模型行业发展正在进入规模化产业落地阶段，应用场景的百花齐放，带来了对大模型训练日益迫切的需求，巨大的市场前景，使得基础模型和算力芯片的行业玩家迅速攀升。构建大模型时代的AI Native基础设施，不仅能够为AI开发者提供更加通用、高效、便捷的研发环境，同时也是实现算力资源有效整合，支撑AI产业可持续发展的关键基石。

无问芯穹具备顶尖的AI计算优化能力与算力解决方案能力，以及对“M种模型”与“N种芯片”行业格局的前瞻判断，率先构建了“MxN”中间层的生态格局，实现多种大模型算法在多元芯片上的高效、统一部署。 截止目前，Infini-AI已支持了Qwen2、GLM4、Llama3、Gemma、Yi、Baichuan2、ChatGLM3系列等共30多个模型，以及AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA等10余种计算卡。

无问芯穹致力于成为AI Native 基础设施领跑者，未来将继续突破异构算力优化与集群系统设计的技术上限，持续拓展模型层和芯片层的上下游生态伙伴力量，共同实现“MxN”的有效打通、利用和整合，构建真正适应多模型与多芯片的AI Native基础设施，让天下没有难用的AI算力，助力推动大模型在各行业中的应用创新。

“技术上限推高与技术落地扩散不矛盾，且取决于我们决心如何对待这个技术。”夏立雪表示，今天说让大模型成本下降10000倍，就像30年前说让家家户户都通电一样。优良的基础设施就是这样一种“魔法”，当边际成本下降到临界值，就能有更多的人拥抱新技术。

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

相关问答

什么是3D异构集成?

3D异构集成是指将来自不同制程、不同材料、不同尺寸的芯片或器件互相连接,并形成一个整体电路系统的集成方式。通过3D异构集成,可以实现更高的器件密度和更复...

2019年发布的世界首款异构融合类脑芯片被命名为什么?

2019年发布的世界首款异构融合类脑芯片被命名为“天机芯”。它是由清华大学研发的,采用了异构融合的创新架构,将存算一体的类脑计算单元与冯·诺依曼处理器相...

华为申请量子芯片专利是真的吗?

是的,华为已提交了多项与量子芯片相关的专利申请。例如,2020年10月,华为申请了题为“量子异构芯片”的专利,该专利描述了一种将量子和经典芯片集成到单个...

lpu芯片什么意思?

LPU(LanguageProcessingUnit)芯片是一种专为AI推理所设计的芯片。与主要为图形渲染而设计的GPU不同,LPU架构采用了一种与GPU的SIMD(单指令,多数据)不同的...

Chiplet和晶体管何去何从?

1965年摩尔在《电子学》杂志中发表了著名的“摩尔定律”,他的眼光注定了他要和“八叛逆”一起离开肖克利半导体实验室一起创立仙童半导体公司。1968年摩尔和罗伯...

yulongg810芯片派什么用?

玉龙810芯片采用多核异构架构,主要由4个SPARCV8核、8个GPU核和8个NNA核组成,片内通过AMBA3.0总线实现模块的互联互通,片上还集成H.264/H.265.....

伏羲芯片技术参数?

伏羲2360是一款基于RISC-V架构的MCU,主要应用于汽车发动机、变速箱、三电控制、ADAS、整车控制等领域。该芯片采用32bitRISC-V多核异构CPU,支持双核锁步,N90...

GlobalFoundries的22FDX芯片制造工艺有哪些特点?

近日,格罗方德宣布其22FDX(22纳米全耗尽绝缘硅片)工艺已经在超过50款产品上使用,客户设计营收也突破了20亿美元的大关。据悉,22FDX可提供近似于FinF...

华为gt2e和真我t1哪个性价比高?

华为gt2e性价比高。华为WatchGT2e搭载麒麟A1芯片,它采用高度集成的异构芯片设计,在运动、智能心率、睡眠监测等多个传感器的配合下,实现超低功耗操作。得益于...

最近的科技信息有哪些?

4开发出全球首款类脑芯片8月1日,清华大学开发出的全球首款异构融合类脑计算芯片登上了《自然》杂志的封面。该芯片结合了类脑计算和基于计算机科学的机器学习...