索尼开发世界首款配备AI处理能力的图像传感器

　　对于商业应用的摄像机和边缘计算，有两种典型的策略：首先，使用一堆没有智能的傻瓜摄像机，将数据发送到本地化服务器进行预处理，然后再上传到云端进行存储和分析（或者跳过预处理直接发送到云端）。其次，使用智能摄像机，在本地完成所有处理，然后发送到云端存档。

索尼计划专注于在零售和工厂自动化中大规模部署支持AI的相机，以及为其AI图像传感器开发基本推理模型。

　　两者都有权衡。廉价相机通常需要一个庞大而昂贵的IT基础设施，当处理发生在其他地方时，存在延迟问题。昂贵的相机耗电量大，可能需要一些网络功能。两者都需要安装专业知识。

　　索尼负责商业和技术创新的副总裁马克·汉森说：“想象一下，一家拥有1000多台摄像头的零售店正在播放大量视频。如果摄像头订阅是预处理的，则必须安装多个服务器才能连接所有这些摄像头，如果将视频的100%流式传输到云端，则需要支付大量的回程和存储成本，此外还有延迟。这些问题，再加上日益增长的隐私问题，特别是在欧洲，要求限制个人图像在本地局域网之外分发的能力，让我们认为必须有更好的方法。”

　　事实上，这是汉森集团对客户（尤其是零售业）在实施边缘计算解决方案时，所面临的固有挑战和真正的困难有了更深入的理解，其中许多是定制项目，导致他们开发了世界上第一个人工智能图像传感器IMX500。

　　汉森说：“我们的想法是，如果我们能在边缘解决使流程复杂化的问题，我们将以较低的成本为客户缩短上市时间。”

　　索尼IMX500图像传感器是利用现有背面照明的图像传感器的逻辑延伸，它是第一款配备AI处理能力的图像传感器。这一特性是通过将逻辑芯片历史性地放置在传感器的正面并将其重新定位到背面来实现的，从而使传感器有更多的像素来提高感光度，宽总线结构将数据从图像传感器传输到图像信号处理器（ISP）。

　　在索尼新推出的IMX500上，像素芯片（约有1230万像素用于捕获信息）采集的信号同样通过ISP运行，AI处理在逻辑芯片的处理阶段完成。物体识别只需3.1毫秒，提取的数据作为元数据输出，减少了处理的数据量。

　　IMX500的逻辑芯片有一个传统的图像传感器操作电路和一个专门用于AI信号处理的索尼数字信号处理器，以及用于AI模型的内存。图像识别的闪电般的速度，以及在数据到达网络前将所有无关数据抛出的能力为新的应用开辟了可能性，从检测面罩到区分人类还是机器人进入工厂的限制区域。

　　索尼从4月份开始销售裸芯片，并预计将在6月份推出一款打包版（IMX501）。汉森说，为了让这项技术获得吸引力，他创造了一个“边缘图像平台”，它必须易于测试和大规模部署，而且成本不会让客户的底线爆炸。为了做到这一点，汉森设想了一套简单的硬件解决方案，其中有一系列选项或用例供客户选择，没有大规模定制或实现噩梦。

　　实现这种简单程度的关键在于参考设计和与微软等拥有现有开发社区的组织、系统集成商和独立软件供应商的合作伙伴关系，这些公司拥有索尼所瞄准的应用程序的经验，除了在机器学习和面向微型机器语言的工程方面的专业知识外。年中，索尼宣布与微软Azure合作，利用微软的基础设施实施一些智能相机解决方案。

　　虽然汉森说理论上没有任何东西可以阻止堆栈技术的增强，比如深度传感，但今天的主要焦点是开发IMX500的应用程序。最初，索尼计划将重点放在零售和工厂自动化领域大规模部署支持人工智能的摄像头，以及开发基本推理模型。

　　汉森说：“我们是第一批这样做的公司，所以我们需要进行大量的学习，以了解如何最好地将这项技术商业化。策略的一部分是对概念进行验证，以便我们能够快速了解哪些有效，哪些无效，并将我们的发现反馈到工程过程中。”