Prophesee - Cambridge Consultants

世界上首个神经拟态驾驶舱内传感系统

由 PROPHESEE METAVISION®赋能

先进的疲惫和微睡眠

预测

神经退行性疾病的早期

检测

眼球扫视运动

更准确

微表情

监测

可靠性与现有的近红外系统

相同

眼动分析

专注于眨眼频率和持续时间

Video Courtesy : Xperi Corporation

世界上首个由神经拟态驱动的司机监测解决方案

DTSXperi 控股公司的全资子公司,其与Prophesee合作,将事件视觉技术应用于车辆的座舱内传感元视觉技术的高效率和高准确性帮助DTS创建了世界上第一个神经拟态驾驶员监测解决方案(DMS)

该系统从定义上关注隐私补充了汽车的标准视觉系统,提高了乘员的安全性,增加了个性化机会,改善整体用户体验。

DTS系统利用了索尼和Prophesee合作实现的HD 基于事件的传感器具备高效数据处理能力,使用原始数据来实现特定的驾驶员监控功能,如凝视跟踪、头部姿势、识别和眼睑开启

神经拟态传感器在不需要主动照明的情况下以每秒10,000帧的等效帧率捕获信息。这为驱动器监控功能提供了更好的低光性能

用驾驶模拟器数据以及现有的基于帧的数据训练神经拟态模型

每秒10,000帧

不需要主动照明

良好的低光照

性能

以隐私设计

为核心

运动模糊

不在的

准确监测

眼睑运动

超快速

响应时间

由于基于事件的视觉与传统方法相比具有一些关键优势,因此使用事件摄像机实现机舱内传感解决方案的创新。其在传统系统表现较差的场景中可靠性显著优于前者

通过利用事件视觉感知所提供的丰富的时间信息和高动态范围,该系统在眼睛扫视运动、眼睑运动、瞳孔分析和闭眼间隔方面实现了更高的精度。这些输入用于预测困倦和专注力缺失提高了座舱辅助系统的可靠性和准确性

使用现有的数据集来实现DMS的核心特征

事件模拟器的优势

基于时间事件的视觉解决方案可以实现更快的响应时间不会受到运动模糊的影响,提供更高的动态范围接近模拟的事件连续表示。开发的自定义神经拟态架构支持动态帧率,仅在需要时执行推断,因此可以适应不断变化的座舱环境

除了典型的舱内监控用例外,还包括高级睡意和微睡眠预测、早期神经退行性疾病检测、突发疾病和损伤检测

事件的

近似模拟连续表示

适应不断变化的

客舱环境

突发疾病和损伤

检测

“这种开创性的基于神经拟态的技术应用所具备的微光下强大的视觉处理能力、快速的响应时间和低功耗操作,使其成为驾驶员监控系统关键安全性应用的理想选择,同时也增进了我们强化和个性化车辆座舱体验的能力。”

Petronel Bigioi, Xperi产品技术总监

除了出色的弱光性能对各种照明条件的鲁棒性外,神经拟态传感还解决了传统基于成像的传感(始终在线摄像机)所特有的隐私问题。Xperi的实施方案有12项专利正在申请中,并依赖于一个为解决传感器的特殊性而建立的端到端数据生成和训练系统。

训练数据集是在Xperi广泛的计算机视觉基础设施的基础上产生的,其重新使用了来自可见光和近红外光谱的地面实况,在基于神经拟态的传感中合成了一个全新的方法。

采集疲惫程度、认知负荷、情绪状态等对驾驶员安全至关重要的数据

深入研究Xperi由神经拟态系统驱动的司机监测解决方案

关于Xperi控股公司

 
Xperi发明、开发和交付能够实现非凡体验的技术。Xperi通过旗下品牌(DTS、HD Radio、IMAX Enhanced、Invensas、TiVo)及其初创公司Perceive提供的技术,让娱乐更有娱乐性,让智能设备更智能。Xperi技术被集成到全球数十亿的消费设备、媒体平台和半导体中,为合作伙伴、客户和消费者带来更高的价值。

Xperi、DTS、IMAX Enhanced、Invensas、HD Radio、Perceive、TiVo、DTS AutoSense及其各自的标识是Xperi控股公司在美国和其他国家的关联公司的商标或注册商标。所有其他公司、品牌和产品名称可能是其各自公司的商标或注册商标。

A关于PROPHESEE开发者社区

自2014年以来,研究人员、初创企业和各大公司等使用 Prophesee的神经拟态视觉技术展示了令人难以置信的想象力和创新能力。

这创造了一个基于事件的视觉生态系统,开发者可以在其中分享他们的工作和想法和杰出成果,他们对 Prophesee技术的创造力也激励着我们。

我们把他们聚集在这里,激励未来的发明家,希望他们能够像这里的项目一样,一起创造出新发现,揭示帧之间的不可见信息。