感知是行动的第一步
D'Elite VisionGuard 是一款计算机视觉软件模块,用于检测目标物体、估计其位置并将结果传输到外部应用程序或机器人平台。
该系统围绕局部图像处理、可互换的检测模型和多种操作模式而设计:立体、单摄像头(传感器退化)以及附加的夜视/热成像源。
一个模块——不同的实际场景
探测农作物附近的鸟类,并部署选定的非暴力驱鸟剂。
将坐标和事件传输给机器人,以便检查区域、避开障碍物或继续执行任务。
能够连接夜视相机、热成像仪和红外触发器,用于弱光环境。
处理过程是如何进行的?
- 摄像机传输的图像带有时间戳。
- 该模型查找所选类别的对象,并选择目标对象。
- 立体图像对用于估计坐标;而使用单个相机时,则返回一个明确标记的单声道结果。
- 操作员或自主电路可以获得传感器的结果和状态。
实际运行已经证明了这一点
感知核心的技术风险已经得到缓解:距离精度、正确的目标选择以及视频丢失时的安全故障——飞行员在现场场景中的基本要求——已通过实时摄像机得到验证。
检测和位置估计核心功能已在硬件上运行。我们目前的投入将用于立体校准、目标模型以及与自主层的集成,而不是用于验证其是否有效。
如果物体离开画面,系统返回“无目标”,保持运行模式,不会进入虚假的安全怠速模式——飞行员的虚假停车次数更少。
传感器增强了系统的不同部分。
两台经过校准的相机为三角测量和通用系统中的坐标提供了基础。
多张图像可以改善黄昏和黑暗条件下的观察效果。
可作为存在或移动触发器,有助于避免不必要地进行全面分析。
可以指定光束照射到的物体的距离。
软件核心已提供传感器逻辑支持。硬件适配器和额外传感器的现场测试需单独进行。
与自治层连接
VisionGuard负责报告系统所观察到的情况。自主层则决定如何执行任务。
预期连接:目标坐标和传感器状态被馈送到机器人电路,机器人电路启动任务步骤,记录事件,并实施故障恢复策略。
ROS 2桥接器和自主层仿真框架是独立的。与VisionGuard和物理平台的集成尚未完成。
实施阶段
当前状态:单探测器、坐标估计和相机丢失处理;已确认最大目标选择和距离误差在目标距离处约为±10厘米。在测试台上进行了立体像对校准和坐标测量。
根据场景,为选定的对象类别配置可互换模型,评估检测质量,并连接其他传感器。
将坐标和事件传输到自主层,在模拟环境中测试任务,然后在选定的机器人平台上测试任务。
在目标环境中验证准确性和稳健性,为新站点和设备类型准备可重复的实施方案。
原型和可测试路线图
工作中的单声道原型机已通过基本的坐标、目标选择和相机丢失恢复检查。第一阶段的下一步是制作一个经过校准的立体原型机,并进行可重复的精度测量。
我们邀请平台和合作伙伴测试计算机视觉和机器人技术的应用场景。
讨论试播集