全球首款Transformer专用AI芯片Sohu登场

IT之家 6 月 26 日消息，Etched 公司宣布完成 1.2 亿美元（IT之家备注：当前约 8.73 亿元人民币） A 轮融资，将用于开发和销售全球首款 Transformer 专用集成电路（ASIC）芯片 Sohu 。

IT之家查询公开资料，Etched 公司由两名哈佛大学辍学生加文・乌伯蒂（Gavin Uberti）和克里斯・朱（Chris Zhu）创立，成立时间不到 2 年时间。

Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中，乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造，推理性能大大优于 GPU 和其他通用人工智能芯片，同时能耗更低。

在 Llama 70B 吞吐量中，搜狐每秒可处理超过 50 万个 tokens，让用户可以构建 GPU 无法实现的产品。

Sohu 能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树搜索、并行比较数百个响应、多播推测解码以及实时生成新内容等功能，为未来万亿级参数模型的运行提供了可能。

IT之家附上官网链接，感兴趣的用户可以深入阅读。

找到GPU平替了？RISC-V专用芯片或最适合AI

针对特定AI应用的专用芯片将成主流

作者／ IT时报记者 林斐

编辑／郝俊慧孙妍

国产芯片要如何“另辟蹊径”？作为一个全新的开源指令集架构，RISC-V被认为是x86、ARM之外的第三条“路径”，备受全球芯片开发者的青睐。截至去年，全球RISC-V处理器出货量已超100亿颗。

“RISC-V 是最适合AI的架构。”7月6日举行的世界人工智能大会（WAIC 2024）的RISC-V 和生成式 AI 论坛上，RISC-V 国际基金会理事长戴路表示：“RISC-V全部开放，没有任何限制，不会被某家公司、某个国家垄断。 ”

本次论坛以 “智” 由“芯”生为主题，由上海开放处理器产业创新中心、芯原微电子（上海）股份有限公司主办，中国 RISC-V 产业联盟协办。

始于CPU 适于AIGC

RISC-V系出名门。1971年，RISC架构最由图灵奖得主、谷歌TPU团队负责人David Patterson发明，随后经历了RISC-I到RISC-IV四代，并没有受到太多关注。RISC-V起初也不起眼，但随着近几年各种技术壁垒越来越高，完全开源的RISC架构成为x86、ARM之外的首选，尤其是在中国芯片开发者中，热度逐渐涨高。2019年7月，阿里巴巴旗下半导体公司平头哥发布的玄铁910，便是RISC-V架构。

不过，近两年，从业者突然发现，虽然RISC-V始于CPU，却可能无心插柳，更适合AIGC。

“GPU 并不一定是 Transformer 的最优算力芯片，有越来越多的专用芯片正在浮出水面，挑战英伟达最先进的产品，显示出技术生态的多样化。 ”论坛上中国RISC-V产业联盟理事长、芯原微电子创始人戴伟民认为，未来的AI时代，随着基础大模型市场格局逐步清晰，针对具体应用场景的AI微调将更加普遍，针对特定AI应用的专用芯片将成为主流。

戴伟民认为，生成式AI需要“三张卡”来协同工作：云端训练卡（树干）、垂域大模型的微调卡（树枝）和应用推理卡（树叶），“单有树干没有树枝是长不出树叶的。垂直领域的微调卡和推理卡的数量规模，远多于云端卡，而这正是RISC-V的用武之地。”

戴伟民的观点在市场中已得到印证。本次论坛上，多位嘉宾都提到今年6月份美国芯片创业公司Etched推出AI芯片Sohu，它运行大模型的速度比英伟达 H100 要快20倍，比今年3月推出的顶配Blackwell芯片B200也要快10倍。

目前多款主流明星AI大模型，如ChatGPT、Claude、Gemini和Sora都基于Transformer架构，而Sohu是专用于Transformer计算的芯片，作为一块 ASIC（专用集成电路），Sohu 将Transformer 架构优化硬化在芯片中，使其无法运行其他的AI大模型。这也是运行速度比英伟达GPU快的主要原因。

在论坛上远程发言的练维汉来自另外一家加拿大AI芯片公司Tenstorrent。Tenstorrent 成立于 2016 年，以 AI 加速器起家，近两年也瞄准了RISC-V架构的处理器。目前Tenstorrent 共设计出 3 款芯片，其中Jawbridge是一款小型测试芯片，Grayskull和Wormhole 则是对外商用芯片，可覆盖训练和推理场景。

据担任Tenstorrent公司首席 CPU 架构师一职的练维汉介绍，“Tenstorrent拥有为神经网络推理和训练量身定制的专有 Tensix 内核，每个 Tensix内核包含5个RISC-V 内核、1个用于张量运算的数组数学单元、1个用于矢量运算的 SIMD 单元、1MB或2MB的SRAM、用于加速网络数据包运算和压缩/解压缩的固定功能硬件。”在实际应用中，5个RISC-V内核各司其职，可以推送、执行的数据量都非常大。

灵活性带来低功耗

除了开源之外，RISC-V的灵活性也是最大优点。

MIPS CTO Durgesh Srivastava指出，生成式AI芯片领域，ASIC和GPU的竞争在于哪种架构更能满足未来算力，对开发者更友好。

“RISC-V的开放性和灵活性大有可为。” 戴路指出，RISC-V在做芯片的时候可以加定制指令，对以前的软件有很好的兼容性，而且还有新的一些功能支持。

知合计算CEO孟建熠，曾经在阿里旗下芯片企业平头哥担任副总裁，推动了平头哥的玄铁RISC-V生态系统建设。

在论坛的圆桌对话中，孟建熠提出，目前芯片行业已经进入“XPU”时代，RISC-V作为开源架构，有很好的拓展性，能够在较低功耗下实现比较好的计算表现，更容易实现开源生态的“聚沙成塔”效应。

知合计算本身专注于RISC-V的高性能计算。他说自己公司的目标是通过RISC-V架构的创新，将高性能、高能效算力、AI算力等普及。

事实上，随着近年来，英伟达在AI芯片领域的一骑绝尘，功耗问题也越来越被产业链所关注。

以英伟达最新的GB200加速卡为例，采用两个B200 GPU和一个独立的Grace CPU。按照英伟达官方说法，相比H100，可以将成本和能源消耗降至1/25。训练一次2万亿参数和8万亿Tokens的GPT-4，使用Pascal大概需要一年；使用Hopper，可能需要三个月；换成Blackwell，10000颗芯片训练同样大小的模型，只需要3吉瓦时，耗时10天。

据《纽约客》报道，ChatGPT每日耗电量或超过 50 万千瓦时，相当于美国家庭平均用电量的 1.7 万倍，以响应用户约 2 亿个请求。

现在芯片执行的过程中，有时候会出现“等数据来”的情况，很多功耗被白白浪费，所以芯片不能做得太大，也不需要做那么大。“RISC-V在这方面有优势，可以用非常有弹性的方法，根据不同的需求来做不同的设计。” 练维汉指出。

全国近五成RISC-V人才出自上海

经过近十年的创新发展，上海已经成为RISC-V企业、产业和人才最集聚的地区，也是国际RISC-V创新发展的前沿阵地。

论坛上，上海市经济和信息化委员会副主任汤文侃透露，上海已有超过100家企业推出基于RISC-V指令的芯片产品，一批企业推出RISC-V完整的开发工具，为RISC-V提供了丰富的芯片载体，构建了RISC-V的产业生态，“上海已经形成了RISC-V完整的产业链和良好的生态环境”。

在人才培养方面，交大、复旦、上科大、上大等一批上海本地高校均开设了RISC-V相关教学课程，每年培养和集聚的RISC-V人才占全国比例近50% ，为RISC-V的持续发展提供坚实的人才基础。

目前，上海将继续打造全球领先的RISC-V产业高地，并做好三项工作：一是推动成立RISC-V产业创新中心，面向重点的应用领域联合行业力量，构建统一的硬件开发平台，加快形成RISC-V全栈解决方案；二是做强RISC-V产业联盟，加快RISC-V专利池的建设，推动产业健康持续发展；三是加强前沿技术的研究和人才培养，积极参与新指令的扩展、新技术的探索，并推动将RISC-V相关的教材纳入上海集成电路紧缺人才的培训计划。

排版／ 季嘉颖

图片／ WAIC

来源／《IT时报》公众号vittimes

E N D

相关问答

主板上的专用芯片又叫什么?

主板芯片组(chipset)(pciset):分为南桥和北桥一.南桥(主外):即系统I/O芯片(SI/O):主要管理中低速外部设备;集成了中断控制器、DMA控制器。二.北桥...主板...

6g需要专用芯片吗?

需要芯片。因为6G技术相较于5G技术而言,需要更高的频率和更宽的频带,这就需要更加高效的芯片来支撑。而且芯片是6G技术实现的基础,没有芯片就无法实现6G网络的...

普通42芯片能生成专用42芯片吗?

普通42芯片不能生成专用42芯片。cd42功放芯片的参数是工作电压24伏,工作电流10安培,输出功率12瓦.主频速率3600,该芯片采用先进的台积电4nm制程,armv9架构cpu...

专用设备是指哪些呀?

专用设备介绍专用设备是指专门针对某一种或一类对象,实现一项或几项功能的设备;一般设备则针对对象较多,实现的功能也较多!前者针对性强,效率高,如机加工...

LED手电筒用什么IC芯片比较好?

[回答]手电筒IC芯片需要LED恒流驱动和手电筒状态控制,推介英锐恩专案芯片。英锐恩提供的方案专用集成专用IC芯片,针对消费类电子产品的定制型的单片机芯...

一般专用ic是用什么芯片编程的?

一般专用IC(集成电路)的编程通常使用专门的编程器或者编程设备。这些编程器可以连接到计算机上,通过特定的编程软件将所需的程序或数据加载到IC芯片中。编程...

三星关闭自研CPU部门，猎户座芯片转用ARM公版架构，ARM或成最大赢家?

近两年来接连发生的几起事件让越来越多的厂商意识到芯片自主研发的重要性,但芯片的研发并不像想象中那么简单,芯片架构的研发也是很难的。近日有媒体报道称,三...

...为通用和专用两大类,微处理器和存储器芯片都属于专用】作业帮

[最佳回答]A,对.60年代初期.B,错.微处理器和存储器属于通用芯片.C,错.硅材料依然占统治地位.D,对.尺寸越小信号传输速度越快.A,对.60年代初期.B,错.微处...

电动车专用dc降压恒流芯片详解?

电动车专用dc降压恒流芯片是一种能够将高电压降压并保持恒定电流输出的芯片,可用于电动车的电池管理系统,以保护电池和延长电池寿命。它采用PWM调制方式控制...

现在pc机中使用的cpu芯片属于什么规模集成电路?

您好感谢邀请现在pc机中使用的cpu芯片属于什么规模集成电路属于超大规模集成电路(VeryLargeScaleIntegrationCircuit,VLSI)是一种将大量晶体管组合到单一.....