تجسم مفهومی
ادراک به عنوان اولین گام برای اقدام
D'Elite VisionGuard یک ماژول نرم‌افزاری بینایی کامپیوتر برای تشخیص اشیاء هدف، تخمین موقعیت آنها و انتقال نتیجه به یک برنامه خارجی یا پلتفرم رباتیک است.
این سیستم بر اساس پردازش تصویر محلی، مدل‌های تشخیص قابل تعویض و حالت‌های عملیاتی چندگانه طراحی شده است: استریو، دوربین تکی با افت کیفیت حسگر و منابع NV/حرارتی اضافی.
1
یک ماژول - سناریوهای عملی مختلف
بخش کشاورزی
تشخیص پرندگان در نزدیکی محصولات کشاورزی و استفاده از دافعه‌های غیرتهاجمی منتخب.
تشخیص پرندگان در نزدیکی محصولات کشاورزی و استفاده از دافعه‌های غیرتهاجمی منتخب.
رباتیک سیار
انتقال مختصات و رویدادها به ربات برای بررسی یک منطقه، جلوگیری از برخورد با مانع یا ادامه ماموریت.
انتقال مختصات و رویدادها به ربات برای بررسی یک منطقه، جلوگیری از برخورد با مانع یا ادامه ماموریت.
نظارت شبانه
قابلیت اتصال دوربین NV، تصویربردار حرارتی و تریگر IR برای سناریوهای کم‌نور.
قابلیت اتصال دوربین NV، تصویربردار حرارتی و تریگر IR برای سناریوهای کم‌نور.
2
پردازش چگونه انجام می‌شود؟
- دوربین‌ها تصاویر را با برچسب زمانی ارسال می‌کنند.
- مدل، اشیاء کلاس انتخاب شده را پیدا کرده و شیء هدف را انتخاب می‌کند.
- یک جفت دوربین استریو مختصات را تخمین می‌زند؛ با یک دوربین تکی، یک نتیجه مونو با برچسب صریح برگردانده می‌شود.
- نتیجه و وضعیت حسگرها برای اپراتور یا مدار خودران در دسترس است.
اعتبارسنجی نمونه اولیه
آنچه قبلاً در یک مسابقه واقعی ثابت شده است
ریسک فنی برای هسته ادراک از قبل کاهش یافته است: دقت فاصله، انتخاب صحیح هدف و خطای ایمن در صورت از دست دادن ویدیو - الزامات اساسی برای یک خلبان در سناریوهای میدانی - با استفاده از دوربین زنده تأیید شده است.
برای سرمایه گذار
هسته تشخیص و تخمین موقعیت در حال حاضر روی سخت‌افزار اجرا می‌شود. سرمایه‌گذاری‌های بیشتری در کالیبراسیون استریو، مدل‌های هدف و ادغام با لایه خودمختاری انجام می‌شود - نه در تلاش برای فهمیدن اینکه آیا اصلاً کار می‌کند یا خیر.
درستی بدون غرض
اگر جسم از فریم خارج شود، سیستم عبارت "no target" را برمی‌گرداند، حالت عملیاتی را حفظ می‌کند و به حالت ایمن-بیکار (safe-idle) کاذب نمی‌رود - توقف‌های کاذب کمتری در خلبان رخ می‌دهد.
3
حسگرها بخش‌های مختلف سیستم را تقویت می‌کنند
استریو RGB
دو دوربین کالیبره شده، مبنایی برای مثلث‌بندی و مختصات در یک سیستم مشترک فراهم می‌کنند.
دو دوربین کالیبره شده، مبنایی برای مثلث‌بندی و مختصات در یک سیستم مشترک فراهم می‌کنند.
NV و تصویرگر حرارتی
تصاویر اضافی می‌توانند رصد در شرایط گرگ و میش و تاریکی را بهبود بخشند.
تصاویر اضافی می‌توانند رصد در شرایط گرگ و میش و تاریکی را بهبود بخشند.
حسگر مادون قرمز
به عنوان یک محرک حضور یا حرکت عمل می‌کند و به جلوگیری از اجرای غیرضروری یک تحلیل کامل کمک می‌کند.
به عنوان یک محرک حضور یا حرکت عمل می‌کند و به جلوگیری از اجرای غیرضروری یک تحلیل کامل کمک می‌کند.
فاصله‌یاب لیزری
می‌تواند فاصله تا جسمی که پرتو به سمت آن نشانه گرفته می‌شود را مشخص کند.
می‌تواند فاصله تا جسمی که پرتو به سمت آن نشانه گرفته می‌شود را مشخص کند.
پشتیبانی منطقی حسگر در هسته نرم‌افزار ارائه می‌شود. آداپتورهای سخت‌افزاری و آزمایش میدانی حسگرهای اضافی به‌طور جداگانه انجام می‌شوند.
4
اتصال با لایه خودمختاری
VisionGuard آنچه سیستم می‌بیند را گزارش می‌دهد. لایه خودمختاری تصمیم می‌گیرد که چگونه ماموریت را انجام دهد.
اتصال مورد نظر: مختصات هدف و وضعیت حسگر به مدار رباتیک داده می‌شود که مرحله ماموریت را آغاز می‌کند، رویدادها را ثبت می‌کند و یک سیاست بازیابی خرابی را پیاده‌سازی می‌کند.
پل ROS 2 و چارچوب شبیه‌سازی لایه خودمختاری از هم جدا هستند. ادغام با VisionGuard و پلتفرم فیزیک هنوز کامل نشده است.
5
مراحل پیاده‌سازی
فاز ۱نمونه اولیه و اعتبارسنجی اولیهفعلی
وضعیت فعلی: آشکارساز تکی، تخمین مختصات و پردازش تلفات دوربین؛ انتخاب بزرگترین هدف و خطای فاصله تقریباً ±10 سانتی‌متر در فاصله هدف تأیید شد. کالیبراسیون جفت استریو و اندازه‌گیری مختصات روی میز آزمایش.
فاز ۲مدل‌های هدف و مدار حسی
پیکربندی مدل‌های قابل تعویض برای کلاس‌های شیء انتخاب‌شده، ارزیابی کیفیت تشخیص و اتصال حسگرهای اضافی طبق یک سناریو.
فاز ۳طرح آزمایشی ادغام
مختصات و رویدادها را به لایه خودمختاری منتقل کنید، ماموریت را در شبیه‌سازی و سپس روی پلتفرم رباتیک انتخاب‌شده آزمایش کنید.
فاز ۴آزمایش میدانی و مقیاس‌بندی
دقت و استحکام را در محیط هدف تأیید کنید، پیاده‌سازی تکرارپذیر را برای سایت‌ها و انواع تجهیزات جدید آماده کنید.
مرحله فعلی
نمونه اولیه و نقشه راه قابل آزمایش
فاز ۱
نمونه اولیه مونو که کار می‌کند، بررسی‌های اولیه مختصات، انتخاب هدف و بازیابی از دست دادن دوربین را با موفقیت پشت سر گذاشته است. مرحله بعدی در فاز ۱، یک نمونه اولیه استریو کالیبره شده با اندازه‌گیری‌های دقت قابل تکرار است.
ما از پلتفرم‌ها و شرکا دعوت می‌کنیم تا سناریوهای کاربردی بینایی کامپیوتر و رباتیک را آزمایش کنند.
بحث در مورد خلبان