像人眼一样智能！复旦芯片实现感存算一体化

人工智能时代

视觉数据爆发式增长

存储、传输成棘手难题

如何为光电器件“减负”？

复旦芯片与系统前沿技术研究院

刘琦、王建禄教授团队

利用铁电畴调控研发了

一种可编程的光电二极管阵列

实现探测、存储、计算功能“三合一”

让探测器像人眼一样高效工作

为构建智能视觉系统提供新思路

相关成果发表于Nature Materials

获得世界人工智能大会WAIC

青年优秀论文奖

入选2023年复旦“十大科技进展”

打破传统探测架构

一款芯片集成三大功能

曾经，我们用手机拍一张照片，只有几千字节大小。如今，进入超高清时代，一幅千万像素、亿像素的照片，能占据数十甚至数百兆字节的存储空间。根据国际数据公司IDC预测，至2025年，全球数据量将达175ZB（1750万亿亿字节）量级。

相机中将光信号转换为电信号的成像芯片，本质上便是光电探测器。高清摄像、高速探测、智能识别……随着光电探测器的应用越来越广，视觉信息数据爆发式增长，存储空间不足难题迫在眉睫，信息处理能力亟待提升。

“人们每天传输的海量数据中，冗余信息占比颇高。我们希望让光电探测器更加智能，实现数据传输‘轻量化’，降低延迟，减少功耗。” 复旦大学芯片与系统前沿技术研究院教授王建禄介绍。

在传统的光电探测架构中，探测、存储和计算单元相互分离，延时高、功耗高，针对这一瓶颈，能否设计出集探测、存储和计算功能于一身的“感存算一体架构”？

核心难点在于半导体掺杂——这是半导体制备过程中的一项关键技术，能够改变材料的电学性质。掺杂分为n型掺杂和p型掺杂，传统掺杂技术在半导体中注入掺杂原子，形成n型半导体和p型半导体。这就意味着，当掺杂一旦完成，器件能带结构就无法调节，无法满足智能感知对于光电子器件的可塑性需求。

曾有国内外研究者尝试过外加栅压的方法，然而，外部电压撤去后就无法保持性能，因此必须持续加压，带来了高能耗、器件不稳定和不可靠方面的问题。

2020年，团队提出一种新的技术路径：用铁电极化代替传统掺杂技术。“我们发挥了铁电畴非易失、可重构的特点，实现了极化场精准可编程的半导体掺杂新技术。” 复旦大学芯片与系统前沿技术研究院青年研究员吴广健说。

▲ 铁电畴极化方向由施加到探针的电压局部操纵

这一方法无需对半导体元素掺杂，而是通过外部施加电场即可 ——只需切换铁电极化的大小或方向，就能改变器件导电性能，切换速度可达纳秒级。同时，铁电调控具有高灵敏度，能有效捕捉微小信号。铁电的非易失特性，还可使器件在单次调节后长时保持。

▲ 经过极化操作后的铁电相图，相位差为180°。PFM定义的铁电畴具有任意可重构特性

基于该方法，探测器不仅可以“记忆”电导状态，还能通过精准调节权重从而进行计算。光信息探测、权值存储和高级计算的功能，被集成到传感器阵列中，有效减少了感知数据的传输和计算步骤，实时、高效地处理探测数据。

▲左侧是传统探测架构，感存算模块分离；中间是存算一体架构，存算结合但感知层独立；右侧是感存算一体架构，能够直接识别图像

仿生思路驱动交叉研究

实现“类人眼”性能

尽管做的是芯片研发，团队的研究灵感，最初来自于人眼。

“人眼就是在感知的同时不停对视觉信息进行计算，因此我们希望在光电探测器上，也能模拟人眼的高效处理能力。” 吴广健介绍，人的双眼能在一定动态范围内适应环境变化，当人从昏暗的电影院走到明亮的室外时，会自动调整瞳孔的进光量，从而对图像进行识别，“我们用铁电畴调控器件，也是类似于这种自适应调整”。

团队负责人刘琦教授常年扎根存算研究，铁电调控则是王建禄教授长期的研究方向。结合双方优势，团队确定研究思路，聚焦实现探测器的“类人眼”性能，力求让其兼具高性能探测、权值存储、原位计算功能。

借助仿生思路，研究从一开始就具有高度交叉性，与仿生视觉、类脑智能息息相关。团队成员学习借鉴人眼的生物功能，积极咨询脑科学研究人员，最终完成器件设计，并花了一年多时间完成实验。

团队制备了3×9二极管阵列，利用铁电调控的正负光响应、线性、多态特性，实现了矢量乘加运算，此外还开展了较大范围的线性调节，而后借助计算机算法等工具对其进行针对训练。

视频加载中...

原理验证实验中，他们在机器狗身上安装芯片，让其按照“看到”的方向图标自行前进。从演示画面可以看到，在无需外部存储和计算单元的情况下，机器狗可以按照向左、向右等方向准确实时前进。

Nature Materials同期发表“研究简报”对成果进行了亮点报道，评价其“开发了一种使用铁电调控的非易失性光电二极管传感器阵列来实现感存算一体架构，大大减少了传感和计算单元之间接口处的数据传输和转换，在能耗和延迟方面显示出显著的优势 ”。

曾获洪堡研究奖的美国加利福尼亚大学洛杉矶分校Ya-Hong Xie教授则评价：“这种p-n结能够实现光探测，为先进的纳米光电探测器和实现下一代光电器件提供了机会。”

人脸识别、无人驾驶……

智能识别应用前景广阔

由于具备实时处理、轻量数据的两大优势，低延迟、低功耗，复旦团队研发的这一智能探测芯片在未来应用广泛，特别是人脸识别、动目标监测、无人驾驶等多种智能化场景。

以动目标监测为例，探测器探测到的大部分信息是目标未出现的画面数据，其实都是冗余信息。传统的探测器会将所有探测数据进行存储，再传输至计算单元，而智能探测芯片则通过一体化的计算功能，实时处理数据，只采集、传输目标出现的有效图像，能使得数据压缩量达到90% 。

而在无人驾驶这种高速移动场景中，更需要实时对探测目标进行快速反应。传统架构需要经过三道传输环节，而感存算一体架构可以进一步提升反应速度，使汽车在更短时间尺度触发驾驶的相关决策指令。

眼下，无人驾驶蓬勃发展，其背后技术大多还是基于激光雷达主动发射激光进行距离探测——借助发出的激光反射到探测器，汽车才可以计算前方物体和车身的距离，从而进行决策。

随着无人驾驶汽车越来越多，环境中的发射激光随之增加，难免对人眼造成损害。相较之下，智能探测芯片的优势还在于无需主动发射激光信号，而是和人眼一样完全被动获取信息，对环境和人体更为友好 。

下一步，团队将继续提升探测器性能，并期待通过与各个行业的通力合作，打通后端电路设计等环节，实现该技术在更多应用场景的落地。

该研究得到国家重点研发计划、国家自然科学基金等项目支持，吴广健、张续猛、冯光迪为论文的共同第一作者，田博博、刘琦、王建禄教授为该论文的通讯作者。

组稿 | 校融媒体中心

文字 | 余敏之 殷梦昊

图片 视频 | 受访者供图

责编 | 殷梦昊

编辑 | 刘怡然 徐佳徽

兆易创新：公司指纹识别芯片为手机等市场提供主流选择方案，为智能家居、笔记本提供不同方案

金融界9月11日消息，有投资者在互动平台向兆易创新提问：公司强调指纹识别芯片多年来已在多款旗舰/高/中阶智能手机商用前置/后置/侧边电容和光学方案，成为市场主流方案商。为什么和汇顶科技差别那么大？具体都应用到哪些公司的产品上了呢？

公司回答表示：公司传感器业务（Sensor）包括触控芯片、指纹识别芯片。公司触控芯片包含自容和互容两大品类，涵盖手机、平板及智能家居等人机交互领域。公司指纹芯片包括电容指纹、OLED屏下镜头式指纹等，为手机等市场提供主流选择方案，同时为智能门锁提供更小面积的嵌入式电容方案，为笔记本提供与电源键集成的Windows电容方案。

相关问答

手机芯片识别方法?

主要的手机芯片识别方法包括:CPU识别、GPU识别、内存识别和硬件识别。CPU识别可以通过查看手机背面的型号标识识别手机的CPU型号;GPU识别可以通过运行某些测...

全志科技在国内芯片界地位高?

1、全志科技是2018年度中国十大芯片设计公司之一其余几家包括汇顶(市值1000亿)、兆易(600亿)、圣邦(250亿)、士兰微(250亿)、紫光等,全志的市值90亿,...是小...

迪卡侬衣服芯片怎么识别?

迪卡侬衣服芯片可以通过以下几种方式进行识别:使用智能手机上的NFC功能:将智能手机靠近迪卡侬衣服芯片,如果芯片有NFC功能,就会自动与智能手机进行连接...

车规芯片龙头有哪些?

1.方静科技:专注于传感器领域的先进封装服务,包括图像传感器芯片、生物识别芯片、MEMS芯片等封装产品广泛应用于智能手机、安防监控数码、汽车电子、AR/VR、机...

人工智能芯片的市场定位?

人工智能加速器芯片被大肆炒作,但这个市场究竟有多大,如今有哪些公司是真的在卖人工智能芯片的?来自ABIResearch的两份新报告详细分析了当今人工智能芯片组...

汽车芯片龙头股前三名?

一、四维图新汽车导航电子地图龙头总市值:357.61亿公司主要从事芯片、导航、辅助及自动驾驶和车联网等业务,在导航业务领域,公司处于行业领先低位,与此同...

中国自主研发人工智能芯片必要性?

1.外国人不愿意让中国掌握高端技术作为各种电子设备中最重要的核心部件,芯片不仅仅是一家公司研发实力的体现,更是一家公司核心竞争力的体现。而在现代社会几...

LED模组芯片型号怎么看

答:led屏灯板后面画着有箭头,箭头一般是从左到右从下到上。按着箭头的方向把灯板拿正。最左边挨着排针的芯片一般是245,2053,2153等芯片(上面有很小的字如...

教你一招快速识别电脑芯片?

在笔记本电脑规格中,芯片组可以说在核心中发挥着重要作用。不管cpu有多快,芯片组支持也是一个先决条件。对于笔记本电脑来说,大部分都是内置集成显卡的型号,...

兆易创新生产什么芯片?

兆易创新生产的是物联网芯片。1.兆易创新是一个致力于物联网技术研发的公司,因此生产的芯片以物联网芯片为主。2.兆易创新的物联网芯片款式涵盖了智能家居、汽...