瀚博半导体推首款云端AI推理芯片，INT8峰值算力超200 TOPS

芯东西（公众号：aichip001）

作者 | 心缘

编辑 | 漠影

芯东西7月7日报道，在2021世界人工智能大会上，瀚博半导体推出其首款云端AI通用推理芯片SV100系列，以及通用AI推理加速卡VA1。

瀚博半导体创始人兼CEO钱军说，这两款新品能有效应对低延时、通用性和视频处理等方面的行业痛点，推进云端与边缘的智能应用落地。

据悉，其SV100系列首发产品SV102现与国内外多家头部互联网公司合作，预计将于今年第四季度量产上市。

瀚博半导体成立于2018年12月，总部设在上海，在北京、深圳和多伦多有研发分部。当前其团队规模已超过200人，硕士及以上学历占80%。今年2月，瀚博研究院成立。

融资进展方面，瀚博半导体先是在2019年3月获得真格基金天使轮融资，2019年6月获得天狼星、耀途Pre-A轮融资，去年7月获得快手、五源、红点、赛富A轮融资5000万美元，今年3月获得中国互联网投资基金、经纬中国、联发科5亿元A+轮融资。

瀚博半导体创始人兼CEO钱军展示SV100系列芯片

一、核心团队拥有超15年芯片经验，曾参与业界首款7nm GPU流片

瀚博半导体的两位创始人，CEO钱军和CTO张磊，都拥有20多年的芯片设计经验，并均在创业前曾任AMD高管，深度了解行业客户对吞吐量、延迟、通用性和成本的需求。

据钱军分享，瀚博的核心员工拥有超过15年的GPU相关芯片及软件设计经验，包括业界第一颗7nm GPU在内的约100款芯片流片、量产经验。

不过，不同于核心团队以往的研发方向，瀚博半导体没有选择继续深耕GPU赛道，转而研发针对各种深度学习推理负载进行优化的DSA架构。

钱军引用了一些行业数据，AI进入应用期，数据中心推理算力需求的复合增长率是训练的2倍以上，2021年中国市场AI服务器的推理负载有望超过训练负载。在推理侧，GPU不是最好的解决方案，性能不及DSA架构。基于这些原因，瀚博半导体选择首先研发基于DSA架构的推理芯片。

钱军将AI推理计算的核心性能指标总结为LTE：延时（latency）、吞吐量（Throughput）、能效（Energy Efficiency）。

对此，瀚博半导体的应对之道是在视频处理方面，让高并发的解码能力与AI算力匹配；在LTE方面，具备极低延时、极高吞吐量性能，并保持低功耗；在创新方面，提供负载分析、硬件通用可扩展、软件栈。

二、首款云端推理芯片，峰值算力超200 TOPS

自成立起，瀚博半导体即启动自研AI核，随后在2020年5月实现其首颗半定制7nm芯片的流片。今天，瀚博半导体正式发布其首款云端AI通用推理芯片SV100系列。

瀚博SV100系列是一款超高性能人工智能与视频处理芯片，核心优势是能兼顾智能视频解码和AI计算的需求。2021年6月，SV100系列芯片测试成功。钱军透露说，这款推理芯片开始测试8分钟就宣布点亮。

瀚博SV100单芯片INT8峰值算力超200 TOPS。相同功耗下，SV100可实现数倍于现有主流数据中心GPU的深度学习推理性能指标，具有超高吞吐率、超低延时的特性。

SV100基于瀚博自主研发的通用DSA架构，支持FP16、BF16和INT8等数据格式，可实现众多主流神经网络的快速部署，适用于计算机视觉、智能视频处理、自然语言处理和搜索推荐等多种推理应用场景。

同时，SV100系列集成高达64路以上H.264/H.265/AVS2的1080p视频解码，广泛适用于云端与边缘智能应用场景，能帮助客户节省设备投资、降低运营成本。

三、VA1：同等能耗下，AI吞吐率最高达GPU的10倍

除了发布SV100系列，瀚博半导体也同步推出了基于SV102芯片（SV100系列首发产品）的VA1 PCIe推理加速卡。

VA1采用单宽半高半长75瓦PCIe x16卡设计，支持32GB内存和PCIe 4.0高速接口协议，适用于绝大多数服务器，无需额外供电，即可实现数据中心高密度算力部署。

该加速卡可提供高效率深度学习AI推理加速，在同等能耗下，实现2-10倍于GPU的最高AI吞吐率，而延时不到GPU的5%，适合实时应用。

同时，它兼备良好的通用性和可扩展性，支持FP16、BF16和INT8数据类型的主流神经网络快速部署，包括检测、分类、识别、分割，视频处理、LSTM/RNN、NLP/BERT、搜索推荐等。

如下图所示，同为75瓦功耗时，在处理两种AI模型时，瀚博VA1吞吐率均超过了英伟达的A10和T4云端推理GPU。

根据瀚博半导体分享的测试结果，同等推理性能下，瀚博SV102/VA1方案比英伟达T4 GPU节省60%服务器成本，比A10 GPU节省50%的TCO。

视频处理方面，VA1支持64路以上H264、H265或AVS2 1080p解码，分辨率支持高达8K。

相比之下，市面上许多云端AI推理芯片没有内置视频解码，而是用多个GPU来做视频解码，因此从更适配处理到AI加速要用到多颗芯片，而VA1只用一颗SV102就能兼顾两类功能，且功耗更低、处理能力更强。

目前，瀚博半导体正将其加速卡与联想、浪潮、新华三、超微服务器以及CentOS、Ubuntu、红帽、中标麒麟、银河麒麟等操作系统做适配。

钱军透露说，瀚博半导体后续还会推出15W、150W的产品。

四、高度灵活软件栈，支持自定义算子扩展

考虑到向前兼容性非常重要，瀚博半导体的软件栈具有极高灵活性与可扩展性，能够支持未来新兴算法模型和用户自定义算子扩展等。

另一方面，占据过半中国AI应用市场的计算机视觉应用，需要高密度的视频解码算力配合AI算力实现端到端的计算加速，在两者之间的算力配比平衡方面，瀚博半导体也做了大量的工作。

瀚博半导体创始人兼CTO张磊说：“我们的软件栈完备，同时提供了符合行业开发者使用习惯的工具，方便使用者以极低成本向瀚博硬件平台迁移、部署现有算法应用。”

目前瀚博半导体的VastStream软件平台已支持TensorFlow、PyTorch、Caffe2等主流深度学习框架模型与ONNX格式的模型，通过高度定制的AI编译器充分优化模型在瀚博硬件上的执行效率。

结语：国产云端AI芯片队伍日益壮大

随着瀚博半导体推出其SV100系列芯片，国产云端AI芯片的队伍迎来又一位新成员。

AI芯片赛道持续火热，资本投资热情不减。不过与前两年不同的是，如今人们看待AI芯片更加理性，不再轻易听信故事，而是聚焦在审视其核心技术的独特竞争优势以及落地能力上。

如今全球AI芯片仍在起步阶段，无论是科研创新还是产业应用都有广阔的探索空间。对于AI芯片创企来说，这仍是个开创未来的黄金时代。

中国移动发布首颗5G Redcap蜂窝物联网通信芯片：峰值速度170兆

快科技7月1日消息，中国移动旗下芯片公司中移芯昇发布了其首颗5G Redcap蜂窝物联网通信芯片“CM9610” ，专门为低功耗5G物联网设备量身打造。

该芯片的特点一是5G全网通 ，符合3GPP 5G R17协议标准，兼容5G NR、4G LTE网络，支持n1、n3、n28、n41、n79等全球主流5G频段，并继承了5G eMBB uRLLC、网络切片、5G LAN等关键能力，下行、上行速率最高分别170Mbps、120Mbps。

二是高集成度 ，整合封装了LPDDR内存颗粒，还有外围极简BOM设计。

三是低功耗 ，先进的低功耗架构，内置RISC-V协处理器，支持多种低功耗模式。

四是易用易扩展 ，具备USB 2.0接口、以太网接口、8个独立GPIO口、2个USIM接口，可外接键盘，以及最大分辨率WVGA的LCD液晶屏，并支持移动OneCyber平台接入。

五是高可靠性 ，工业独特设计，工作温度范围低至-40℃、高至85℃，可适应多样性的工业环境。

得益于精简射频架构、优化天线数量、降低发射和接收带宽，CM9610芯片可以实现更低成本、更小尺寸，可用于远程巡检、视频监控、车载通信等场景。

在低空经济领域，芯昇科技与行业合作打造基于CM9610芯片的无人机、飞行器5G蜂窝通信端侧解决方案。

相关问答

iphone电池无法达到峰值自动关机?

这种情况可能是因为你的iPhone电池老化或者损坏了。你可以尝试以下方法来解决这个1.检查电池健康状况在设置-电池-电池健康中查看电池的最大容量和峰值性能...

DCDC降压芯片输入12V-24V输出5V平均电流200mA峰值电...

主板芯片组Intel讨论回答(4)很多都合适的,一般产品里面用的都是34063走某宝,有汽车点烟器接口的变压器。MC34063就能满足你的要求。如有帮助请采纳,手机...

手机最高的峰值多少?

目前市面上各种手机的最高峰值均不同,由于手机发展日新月异,这些数字也在不断更新。但是就目前而言,苹果公司的最新款手机iPhone12ProMax的峰值应该是最高...

电源六脚驱动芯片工作原理?

能效满足六级的小功率开关电源芯片—TB6810具有6个脚位,TB6810是驱动三极管的原边控制模式的开关电源控制器(PSR)。并且,小功率开关电源芯片—TB6810适用于小...

st驱动芯片是啥?

磁盘驱动器和系统芯片解决方案的领导厂商意法半导体(纽约证券交易所代码:STM)推出一个新的硬盘驱动器(HDD)电机控制器芯片,该IC集成了驱动个人计算机驱动器的...

华为mate60pro为什么没有智能峰值容量?

华为mate60pro没有智能峰值容量是因为其所采用的电池技术已经具备优秀的充电保护机制,在充电时能够实时监测电池的温度、电压等参数,并进行智能调控,避免过度...

现在超算芯片都国产了，是龙芯吗?

超算芯片国产实则无奈之举比如以前天河二号用的是英特尔的XeonPhi芯片(志强融核),它连续4次在超算界的Top500榜上夺冠,但2015年4月美国商务部禁止英特尔向...

iQOONeo5活力版配置怎么样?-ZOL问答

芯片,支持内存融合技术,能把部分存储扩展为运行内存,售价2499元起。屏幕方面,iQOONeo5配备了6.62英寸三星E3材质OLED屏幕,峰值亮度1300nit,刷新率.....

请问音响上的喇叭峰值功率,标准功率,阻抗等是什么意思?

音箱音质的好坏和功率没有直接的关系。功率决定的是音箱所能发出的最大声强,感觉上就是音箱发出的声音能有多大的震撼力。根据国际标准,功率有两种标注方法:...

电源芯片U6201是一款高效率的芯片吗?

[回答]是的,银联宝科技开关电源芯片U6201是一款绿色省电模式工作的芯片,具有六级能效,优化EMI的功能。开关电源芯片U6201是高度集成的电流模式PWM控制芯片...