广告
广告
人工智能时代图像传感器的新方向
您的位置 资讯中心 > 产业新闻> 正文

人工智能时代图像传感器的新方向

2021-10-25 11:03:53 来源:半导体行业观察

【哔哥哔特导读】人工智能赋能的图像传感器就可以解决这个问题。具体来说,这样的智能图像传感器在图像传感器模组中集成了人工智能算法的运行模块。

随着人工智能时代的来临,相应的芯片产品和行业也产生了相应的新方向。

传感器

在人工智能的各个分支中,机器视觉无疑是应用最广泛的方向,它支撑着诸如人脸检测、工业异常检测、手势识别等诸多重要的应用。顾名思义,机器视觉是使用机器学习/人工智能的方法来分析视觉信号,并且通过人工智能直接产生分析结果。因此,机器视觉天然就需要一个图像传感器来作为输入信号,而随着机器视觉和人工智能的逐渐发展,机器视觉与图像传感器芯片的结合成为“智能图像传感器”也是顺应了技术发展的脉络。

如果我们进一步分析智能图像传感器,我们认为又可以分为两类。第一类是图像传感器与人工智能计算相结合,即图像传感器模组除了可以输出图像之外,还可以直接输出人工智能算法计算的结果。这样的智能图像传感器我们可以称之外“人工智能赋能的图像传感器”,它们往往能做到非常低功耗的人工智能分析,因此在物联网和可穿戴式智能设备中有重要应用。

而另一类智能图像传感器则是为人工智能应用专门设计的图像传感器,其输出的内容和方式往往与传统的图像传感器有区别。这类智能图像传感器可以称之为“为人工智能赋能的图像传感器”。这类图像传感器中的一种重要图像传感器是事件驱动传感器,它突破了传统图像传感器固定帧率的特性,从而可以为一些重要的工业和智能车应用提供支撑。

当然,我们也可以预期会出现同时结合上述两类特性的智能图像传感器,为各类人工智能应用提供硬件支持。目前,Sony是在智能图像传感器领域布局最多的巨头,同时我们也看到了一些初创公司在这个方向持续地探索新的技术和应用。

人工智能赋能的图像传感器

如前所述,图像传感器为机器视觉这一最重要的机器视觉应用提供输入信号。在传统的机器视觉芯片解决方案中,图像传感和人工智能算法的运行在不同的硬件上完成,图像传感器提供图像信号,而处理器或者AI加速芯片执行人工智能算法。然而,这样的做法在强调低功耗和能效比的移动端或IoT智能设备中,将会造成能量的浪费,并且难以处理一些需要常开(always-on)的应用场景。

举例来说,如果拿目前流行的手机端机器视觉解决方案来说,通常的做法是,手机SoC中的主处理器AP打开图像传感器,图像传感器将图像信号发送给SoC,并且由SoC中的处理器,或GPU,或AI加速器来跑人工智能算法,并且输出结果。在这个过程中,能效比有几个瓶颈。首先是图像传感器必须把图像传送给SoC,这期间需要使用MIPI等接口,存在额外功耗开销。其次,是SoC在整个过程必须处于唤醒状态,还通常必须运行整个操作系统,因此即使AI加速器能以很高的能效比运行算法,但是整个过程中能量消耗最大的部分可能并不是人工智能算法,而是SoC处于唤醒状态并且运行整个操作系统带来的额外功耗。

这样的功耗开销在手机端只需要偶尔运行机器学习的场景或许可行,但是在IoT和可穿戴设备中,尤其是需要执行常开式机器视觉算法的场合,就成为了瓶颈。

人工智能赋能的图像传感器就可以解决这个问题。具体来说,这样的智能图像传感器在图像传感器模组中集成了人工智能算法的运行模块,因此可以直接输出机器视觉算法的结果,而这样运行机器视觉的方法也常被称为“传感器内运算(in-sensor computing)”。通过传感器内计算,机器视觉算法的运行单位从SoC换到了图像传感器,因此在运行机器视觉算法时,SoC无需处于唤醒状态,也无需运行操作系统,而是可以处于低功耗的待机状态。另一方面,传感器内运算由于整个系统比较简单,并没有运行操作系统等额外开销,并且有为机器视觉算法量身定做的加速器芯片模组,因此能效比可以做到很高。最后,在接口方面,通常可以实现由智能图像传感器在检测到重要输出时才去以中断的方式去唤醒SoC,并且只需要传递机器视觉算法运行的结果,因此数据传输的开销也大大降低了。

在人工智能赋能的图像传感器中,Sony已经于去年首先发布了带有传感器内计算功能的智能图像传感器IMX500,可望使用在各类需要低功耗高性能边缘机器视觉应用的领域。除此之外,Sony还发布了相应的开发平台Aitrios,能以订阅服务的形式为用户提供用于智能图像传感器的模型开发和部署服务。

赋能人工智能的图像传感器

另一类新的智能图像传感器是可以赋能人工智能机器视觉的图像传感器。在传统的图像传感器中,帧率是固定的(通常在数十到上百帧每秒),即无论外部条件如何,图像传感器都会以同样的频率采集图像并且传输给机器视觉算法。然而,在工业检测(如振动监测)和智能驾驶等应用中,固定帧率得到的图像并不是最优化的图像采集方式。具体来说,工业检测和智能驾驶中,机器视觉最关注的是事件;当没有发生任何事件(例如,图像没有变化)时,即使以很低的帧率采集图像甚至不采集图像都可以。然而,当发生事件时(例如工业检测中机器开始振动,智能驾驶中出现来车),使用数十帧每秒的帧率又显得不够,而希望以千帧每秒甚至更高的帧率去采样。

在这种需求中,事件驱动视觉传感器就是一种为机器视觉专门赋能的新智能图像传感器。顾名思义,事件驱动视觉传感器关注“事件”,因此在检测到相关事件发生时,可以以非常高的帧率(1000-10000 fps)来采集图像,而在没有事件发生时,则可以以很低的帧率采样以降低功耗。

在传感器巨头领域,Sony在事件驱动传感器领域布局最多,在一年多前收购了瑞士的相关初创公司Insightness,而三星也在积极研发相关技术,并且在ISSCC等顶级芯片会议上发表了相关研究论文。初创公司领域,事件驱动视觉传感器领域最重要初创公司是法国公司Prophesee,该公司目前已经获得了来自博世、Intel、华为等业界巨头总计近七千万美元的投资,并且与各大公司进行合作。在今年九月,Prophesee更是和Sony强强联手推出了IMX636和IMX637,预计在未来我们会看到更多这样的事件驱动视觉传感器出现在市场上,为各类新机器视觉应用赋能。

智能视觉传感器的中国力量

在智能传感器领域,随着人工智能的发展,我们认为中国芯片公司也将会在这个领域越来越活跃。

首先,从图像传感器总体领域来说,中国拥有图像传感器领域在全球市场仅次于Sony和三星的韦尔半导体,因此中国在这个领域的基础并不落后。

其次,在人工智能芯片领域,中国拥有全球最活跃的初创公司生态,同时也有来自国家的大力支持,因此我们认为将中国半导体行业在人工智能领域的优势和图像传感器领域的积累结合起来并推出人工智能赋能的图像传感器产品只是时间问题。例如,最近中国的初创人工智能芯片公司时识科技(Synsense)和前述的法国公司Prophesee达成了合作将把时识科技的低功耗人工智能芯片技术和Prophesee的事件驱动图像传感器技术集成以完成超低功耗边缘端机器视觉解决方案,相信未来会有更多的中国公司之间的合作以推出中国自己的智能图像传感器。

最后,在事件驱动传感器领域,韦尔半导体也收购了中国的相关初创公司芯仑,我们未来也期待中国公司能在相关领域推出产品以满足机器视觉的需求。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时更正、删除,谢谢。

分享到:
阅读延展
传感器 图像传感器 驱动传感器
  • 基于预激励磁场的无线电能传输绕组位置辨识方法

    基于预激励磁场的无线电能传输绕组位置辨识方法

    本文通过共用原边绕组产生直流磁场,为无线充电系统提出了一种精确的线圈定位方法。在对磁场的研究和对磁传感器布置的讨论的基础上,提出了包含磁芯放置系数G的位置方程,其中G代表磁芯对磁场的影响。在此基础上,通过判断磁场的零点,提出了可以适用于不同的充电板的G的自动识别方法。

  • 鄂州花湖机场:全覆盖!全智能!跑道下有5万多个传感器

    鄂州花湖机场:全覆盖!全智能!跑道下有5万多个传感器

    中国工程院院士姜德生发明的“大容量低损耗阵列光纤光栅动态制备关键技术与应用”,在国际上首次工业化生产出单根光纤超过十万个光栅的大容量低损耗阵列光纤光栅,满足“大容量、长距离、高密度、高精度”的新型传感网络要求。

  • Toposens推出采用英飞凌XENSIV™MEMS麦克风的新型3D超声波传感器

    Toposens推出采用英飞凌XENSIV™MEMS麦克风的新型3D超声波传感器

    Toposens 公司与英飞凌科技股份公司合作,利用Toposens专有的3D超声波技术实现自主系统的3D障碍物检测和避障功能。

  • 电感传感器“隐形冠军”入驻吴中

    电感传感器“隐形冠军”入驻吴中

    工业传感器应用广阔,在使用机电一体化设备的传统制造行业和新兴科创行业中均有它们的“身影”,是工业装备制造领域的基础。

  • 选择物联网连接器的关键因素

    选择物联网连接器的关键因素

    物联网应用选择正确的连接器至关重要,不仅对于提供可靠性和其它性能,而且在连接物联网传感器和优化节点上同样很关键。

  • 浅析自动驾驶下的传感器技术支持

    浅析自动驾驶下的传感器技术支持

    超声波传感器技术用于观测外界,而 ToF 摄像头则专注于汽车内部,其过渡到无人驾驶将是一个循序渐进的过程,因此在某些特定情况下,驾驶员需要从无人驾驶模式切换回手动模式,这一点非常重要。

  • 政策驱动 传感器迎来更大发展机遇

    政策驱动 传感器迎来更大发展机遇

    传感器技术的发展,意味着智慧城市系统、智慧家居系统、智慧安全系统、智慧健康系统、智慧环保系统等,以传感器为基础设备的物联网行业将会迎来“春天”。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“哔哥哔特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得哔哥哔特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
粤B2-20030274号   Copyright Big-Bit © 2019-2029 All Right Reserved 哔哥哔特 版权所有     未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任