D'Elite VisionGuard — Počítačové videnie a lokalizácia objektov

Konceptuálna vizualizácia

Vnímanie ako prvý krok k činu

D'Elite VisionGuard je softvérový modul počítačového videnia na detekciu cieľových objektov, odhad ich polohy a prenos výsledku do externej aplikácie alebo robotickej platformy.

Systém je navrhnutý pre lokálne spracovanie obrazu, zameniteľné modely detekcie a viacero prevádzkových režimov: stereo, jedna kamera s degradáciou senzora a ďalšie zdroje NV/tepelného žiarenia.

1

Jeden modul – rôzne praktické scenáre

Koncepčná ilustrácia scenárov VisionGuard: dohľad nad terénom, detekcia objektov v sklade a nočná perimetrická kontrola robotom — Koncepčná vizualizácia scenárov. Obrázky nie sú zábermi z testov VisionGuard.

Poľnohospodársky sektor
Detekcia vtákov v blízkosti plodín a nasadenie vybraných nenásilných repelentov.

Mobilná robotika
Prenos súradníc a udalostí robotovi na kontrolu oblasti, vyhnutie sa prekážke alebo pokračovanie v misii.

Nočné monitorovanie
Možnosť pripojenia NV kamery, termokamery a infračerveného spúšte pre scenáre so slabým osvetlením.

2

Ako prebieha spracovanie?

Kamery prenášajú obrazy s časovými pečiatkami.
Model vyhľadá objekty vybranej triedy a vyberie cieľový objekt.
Stereopár odhaduje súradnice; v prípade jednej kamery sa vráti explicitne označený mono výsledok.
Výsledok a stav senzorov sú k dispozícii operátorovi alebo autonómnemu obvodu.

Validácia prototypu

Čo sa už preukázalo v reálnej prevádzke

Technické riziko pre vnímacie jadro už bolo zmiernené: presnosť vzdialenosti, správny výber cieľa a bezpečné zlyhanie pri strate videa – základné požiadavky pre pilota v poľných scenároch – boli potvrdené pomocou živej kamery.

Presnosť ±10 см Vzdialenosť k objektu sa zhodovala s kontrolným meraním – referenčným kľúčovým ukazovateľom výkonnosti (KPI) pre navádzanie a priblíženie robota.

Výber cieľa Stabilný Súradnica X mení znamienko pri pohybe doľava/doprava; keď sú v zábere dva objekty, vyberie sa väčší cieľ – predvídateľné správanie pre misiu.

Tolerancia chýb Bezpečný nečinný režim Ak sa kamera stratí, aktivuje sa núdzový režim; po obnovení prietoku sa prevádzka obnoví bez manuálneho reštartovania okruhu.

Pre investora

Jadro detekcie a odhadu polohy už beží na hardvéri. Ďalšie investície sa vkladajú do stereo kalibrácie, cieľových modelov a integrácie s vrstvou autonómie – nie do snahy zistiť, či to vôbec funguje.

Správnosť bez účelu

Ak objekt opustí rámec, systém vráti „žiadny cieľ“, zachová si prevádzkový režim a neprejde do falošného bezpečného režimu pokoja – menej falošných zastavení v pilotnom režime.

3

Senzory vylepšujú rôzne časti systému

Stereo RGB
Dve kalibrované kamery poskytujú základ pre trianguláciu a súradnice v spoločnom systéme.

NV a termokamera
Ďalšie snímky môžu zlepšiť pozorovanie za súmraku a v tme.

IR senzor
Slúži ako spúšťač prítomnosti alebo pohybu a pomáha vyhnúť sa zbytočnému spusteniu úplnej analýzy.

Laserový diaľkomer
Môže určiť vzdialenosť od objektu, na ktorý je lúč namierený.

Podpora logiky senzorov je zabezpečená v softvérovom jadre. Hardvérové adaptéry a testovanie ďalších senzorov v teréne sa vykonáva samostatne.

4

Prepojenie s vrstvou autonómie

VisionGuard hlási, čo systém vidí. Vrstva autonómie rozhoduje o tom, ako úlohu vykonať.

Zamýšľané pripojenie: súradnice cieľa a stav senzorov sa privádzajú do robotického obvodu, ktorý iniciuje krok misie, zaznamenáva udalosti a implementuje politiku obnovy po zlyhaní.

Most ROS 2 a simulačný rámec Autonomy Layer sú oddelené. Integrácia s VisionGuard a fyzikálnou platformou ešte nie je dokončená.

Zobraziť vrstvu autonómie

5

Fázy implementácie

Fáza 1Prototyp a základná validáciaSúčasný

Aktuálny stav: monodetektor, odhad súradníc a spracovanie straty kamery; potvrdený najväčší výber cieľa a chyba vzdialenosti približne ±10 cm pri vzdialenosti cieľa. Kalibrácia stereo páru a meranie súradníc na testovacej stolici.

Fáza 2Cieľové modely a senzorický obvod

Konfigurácia vymeniteľných modelov pre vybrané triedy objektov, posúdenie kvality detekcie a pripojenie ďalších senzorov podľa scenára.

Fáza 3Pilotný integračný program

Preneste súradnice a udalosti do vrstvy Autonomy, otestujte misiu v simulácii a potom na vybranej robotickej platforme.

Fáza 4Terénne testovanie a škálovanie

Overiť presnosť a robustnosť v cieľovom prostredí, pripraviť opakovateľnú implementáciu pre nové lokality a typy zariadení.

Súčasná fáza

Prototyp a testovateľný plán

Fáza 1

Funkčný mono prototyp prešiel základnými kontrolami súradníc, výberu cieľa a obnovy po strate kamery. Ďalším krokom vo fáze 1 je kalibrovaný stereo prototyp s reprodukovateľnými presnými meraniami.