商汤发布白皮书：AI传感器不仅是影像利器，更是机器认知世界的基础设施

导读：近日，商汤智能产业研究院发布《AI传感器：智能手机影像新核心》白皮书，提出在智能手机市场缓慢步入瓶颈期的趋势下，影像功能成为产业破局焦点，而AI软件与CMOS图像传感器硬件的融合，将是智能手机影像能力持续提升的破题之道。

摄影圈里常说，“底大一级压死人”。

这一般是指数码相机的CMOS图像传感器的尺寸越大，成像效果越好。它是相机的关键成像部件，也是塑造影像竞争力的核心。

也因此，我们看到随着智能手机竞争越来越激烈，以及影像技术在手机中的地位越来越高，传感器技术成为很多手机厂商的必争之地，是差异化竞争所在。

然而手机往往追求轻薄和低功耗，使得手机图像传感器的尺寸天然存在物理限制。如何解决这一矛盾，成为业界的重要方向。

近日，商汤智能产业研究院发布《AI传感器：智能手机影像新核心》白皮书，提出在智能手机市场缓慢步入瓶颈期的趋势下，影像功能成为产业破局焦点，而AI软件与CMOS图像传感器硬件的融合，将是智能手机影像能力持续提升的破题之道。

图像传感器步入AI时代

过去几年，AI算法让手机的影像能力得到了不小的提升，但在这种方案中，图像传感和AI算法的运行，在不同的硬件上完成，图像传感器提供图像信号，处理器或者AI加速芯片执行AI算法。这会造成能耗资源的浪费，并且难以处理一些需要的及时响应的场景。

白皮书指出，融入了AI技术的CMOS图像传感器，可以最大化地发挥原始光信号的价值。

在设备获取视觉信号的伊始，AI传感器就可以进行优化和处理，增强真实世界感知、提高图像和视频的质量、丰富内容细节，同时最大限度地降低了设备功耗，并增强了数据安全性。

白皮书指出，自20世界50年代光学倍增管（Photo Multiplier Tube, PMT）出现以来，图像传感器便随着技术的发展而持续演进。

如今，随着AI技术的加持，CMOS图像传感器的发展开始进入AI软件定义的时代，将成像系统的整体能力推向新的高度。

让手机成为“个人智能影像工作室”

凭借领先的AI技术和软硬件整合能力，商汤已经在超分辨率、AI超画质、夜景影像、高动态范围、超清人像、影像虚化、RGB ToF 3D等关键影像场景，积累了大量算法能力。

同时早在2019年，商汤就与全球领先的图像传感器厂商开展紧密合作，将AI算法和传感器硬件直接融合。目前，商汤AI传感器已完成多款产品，并成功落地多款高端旗舰手机。

凭借AI算法、AI传感器和AI ISP的三位一体，商汤实现了AI技术对整个智能手机智能影像系统的一体化赋能。

一方面，通过AI技术充分挖掘镜头模组、各种新型传感器等硬件的潜力，最大化利用成像设备的底层特性，实现最优的成像质量。

另一方面，利用AI技术将成像系统中的各个独立部件有机结合在一起，充分联动，使原本独立运作的成像模块成为协同合作的成像平台。

从上至下分别为超分辨率、AI超画质、夜景影像效果对比，左边为传统方案拍摄效果，右边为商汤赋能后拍摄效果，图片均为原图的局部放大

商汤的解决方案，让手机摄影的质量得到了全面提升。

例如，通过AI对多种光源不同特性的学习，了解自然光谱特性，进而根据实际应用场景，带来AI降噪、AI超分辨率，提升成像质量；在特殊拍摄模式下，AI夜景增强、AI人像增强，更为智能手机赋予了多样的“魔幻场景”。

这些体验，让搭载了AI传感器的智能手机，成为每个人专属的“个人智能影像工作室”，消费者日常使用时，也能轻松拍出媲美专业影像器材的高质量作品。

机器“认知”世界的基础设施

面向未来，AI传感器的价值不仅在于提升智能手机的影像能力，它更将成为机器“认知”世界的基础设施，为更多物联网终端赋予智能感知与内容增强的能力。

在全球40亿手机用户的庞大基数下，AI传感器的广泛应用，将大幅降低世界建模成本，成为连接物理世界与虚拟世界的桥梁，加速“元宇宙”的构建。

在新兴应用场景中，AI传感器也将扮演重要角色。例如，在智能汽车领域，AI传感器将成为车辆感知世界的核心部件；在智慧城市领域，AI传感器更将为挖掘视频信息的价值发挥重要作用。

Gartner 数据显示，2022年CMOS图像传感器的出货量将会超84亿颗，到2026年则会超过107亿颗，成长为百亿出货量规模的半导体细分市场。

秉承在AI传感器技术领域的长期布局，商汤将紧密携手合作伙伴，加速AI传感器的市场渗透，共同以AI软件重新“定义”图像传感器趋势，赋予硬件更多创新可能性。