認識は行動への第一歩
D'Elite VisionGuardは、対象物を検出し、その位置を推定し、その結果を外部アプリケーションまたはロボットプラットフォームに送信するコンピュータビジョンソフトウェアモジュールです。
このシステムは、ローカル画像処理、交換可能な検出モデル、および複数の動作モード(ステレオ、センサー劣化を伴うシングルカメラ、追加の暗視/熱光源)を中心に設計されています。
1つのモジュール - さまざまな実践的なシナリオ
農作物付近の鳥類を検知し、選定した非暴力的な忌避剤を散布する。
ロボットに座標やイベントを送信して、エリアの確認、障害物の回避、またはミッションの継続を行う。
暗視カメラ、サーマルイメージャー、および低照度環境用の赤外線トリガーを接続できる機能。
処理はどのように行われるのですか?
- カメラはタイムスタンプ付きの画像を送信する。
- このモデルは、選択されたクラスのオブジェクトを検索し、対象オブジェクトを選択します。
- ステレオペアでは座標が推定されますが、シングルカメラの場合は、明示的にラベル付けされたモノクロの結果が返されます。
- センサーの結果と状態は、オペレーターまたは自律回路が利用できる。
実際の走行ですでに証明されていること
知覚コアに関する技術的リスクは既に軽減されている。実地シナリオにおけるパイロットの基本要件である、距離精度、正しいターゲット選択、および映像喪失時の安全な故障は、ライブカメラを使用して確認済みである。
検出および位置推定の中核部分は既にハードウェア上で稼働している。今後の投資は、ステレオキャリブレーション、ターゲットモデル、および自律レイヤーとの統合に注力しており、そもそもそれが機能するかどうかを検証することには投資していない。
対象物がフレームから外れた場合、システムは「ターゲットなし」を返し、動作モードを維持し、誤ったセーフアイドルモードに移行しないため、パイロットの誤停止が減少します。
センサーはシステムのさまざまな部分を強化します
校正済みの2台のカメラは、三角測量と共通座標系における座標の基礎となる。
追加画像を用いることで、薄暮時や暗闇での観察精度を向上させることができる。
存在や動きを検知するトリガーとして機能し、不必要に本格的な分析を実行することを回避するのに役立ちます。
ビームの照射対象物までの距離を指定できます。
センサーロジックのサポートはソフトウェアコアに組み込まれています。ハードウェアアダプタおよび追加センサーのフィールドテストは別途実施されます。
自律レイヤーとの接続
VisionGuardはシステムが捉えた情報を報告する。自律レイヤーは任務の遂行方法を決定する。
意図された接続:目標座標とセンサーの状態がロボット回路に入力され、ロボット回路はミッションステップを開始し、イベントを記録し、障害回復ポリシーを実行します。
ROS 2ブリッジと自律系シミュレーションフレームワークは別々に開発されています。VisionGuardおよび物理プラットフォームとの統合はまだ完了していません。
実施段階
現在の状況:単一検出器、座標推定、カメラ損失処理。最大ターゲット選択とターゲット距離における距離誤差が約±10cmであることを確認。テストベンチ上でステレオペアのキャリブレーションと座標測定を実施。
選択した対象物クラスに合わせて交換可能なモデルを設定し、検出品質を評価し、シナリオに応じて追加のセンサーを接続する。
座標とイベントを自律制御レイヤーに転送し、シミュレーションでミッションをテストした後、選択したロボットプラットフォーム上でテストします。
対象環境における正確性と堅牢性を検証し、新しいサイトや機器タイプ向けに再現可能な実装を準備する。
プロトタイプとテスト可能なロードマップ
動作可能なモノラルプロトタイプは、基本的な座標、ターゲット選択、およびカメラの損失回復のチェックに合格しました。フェーズ1の次のステップは、再現性のある精度測定が可能な、校正済みのステレオプロトタイプを作成することです。
プラットフォームやパートナー企業には、応用的なコンピュータビジョンとロボット工学のシナリオをテストしていただくよう呼びかけます。
パイロット版について話し合う