片上视觉系统电路是一个“传感存储计算”的感知的集成视觉系统,可以完成实时图像捕获和信号处理。...
片上视觉系统电路是一种结合的集成智能系统,具有“传感存储计算”,可以完成实时图像捕获,信号处理和智能图像处理活动。它可以广泛用于切割领域,例如敏捷机器人,智能无人机和工业视觉。现有的片上视觉系统使用许多实数来获取,发送和处理图像,并使用计算视觉和深入学习方法分别完成图像信号处理任务和明智的理解。它面临着许多设计挑战和应用,例如两个阶段分离训练,数据流结构和范式处理的变化,高计算复杂性,高度高度的芯片储存开销,处理的重大延迟和大量的电力消耗。中国科学学院半导体研究所的研究人员刘liyuan带领该团队在超高速度领域进行重要发展D仿生片视觉系统电路设计。该团队是由超高速度型脉搏片上视觉系统设计的创新性,其中包括单光子脉冲图像传感器和脉冲神经网络处理器(图1)。单光子雪崩二极管像素(SPAD)阵列自然会产生高速脉冲信号。端到端脉冲神经网络完成了图像信号增强和智能图像识别任务,并成功地实现了整个cornerstone图像捕获,传输和处理人类视觉系统的功能。端到端脉冲神经网络包括图像的前端图像模拟和后端智能认知层,并使用深入的研究来实现图像增强和目标识别之间的整合训练,提高理解的准确性,并降低参数的冗余性。图像增强层和智能认知层都使用脉冲神经元模型进行计算大大降低了计算单元的复杂性;重建处理单元电路在相同的并行度计算下支持两层神经网络的完成,而无需使用独立和集中的图像信号处理器,这提高了硬件使用的效率,并为实施超高速度的芯片圆形圆形圆形圆形圆形圆形系统提供了新的路径。最大芯片成像速率系统测试为每秒100,000脉冲图像框架,MNIST舒张期识别的准确性为99.2%,最高识别速度为10,000次/秒,在低1.43mlux光条件下的准确性为95.3%;识别马赛克颜色ETH-80数据集的准确性为94.3%。在保持相同的高度识别精度的同时,这项工作进一步降低了识别数量级目标照明的照明水平。这项研究为视觉设备提供了一种新方法最终实现了超高速度视觉计算传感器计算的集成高融合系统在芯片上的芯片集成。上述研究结果已在IEEE中发布?固态电路杂志标题为“端到端嵌入图像信号中的10 000-推动/S生物启发的尖峰视觉chipis”。该研究结果由半导体研究所的助理研究员Yang Xu和Liu Liyuan完成。这项工作由国家自然科学基金会和北京自然科学基金会等项目提供资金。文章链接:文章链接:https://doi.org/10.1109/jssc.2025.3583310?