D'Elite VisionGuard — računalniški vid in lokalizacija objektov

Konceptualna vizualizacija

Zaznavanje kot prvi korak k dejanju

D'Elite VisionGuard je programski modul za računalniški vid, ki zaznava ciljne objekte, ocenjuje njihov položaj in prenaša rezultat zunanji aplikaciji ali robotski platformi.

Sistem je zasnovan okoli lokalne obdelave slik, zamenljivih modelov zaznavanja in več načinov delovanja: stereo, ena kamera z degradacijo senzorja in dodatni viri NV/termičnih virov.

1

En modul - različni praktični scenariji

Konceptualna ilustracija scenarijev VisionGuard: nadzor na terenu, zaznavanje objektov v skladišču in nočni pregled oboda s strani robota — Konceptualna vizualizacija scenarijev. Slike niso posnetki testov VisionGuard.

Kmetijski sektor
Zaznavanje ptic v bližini poljščin in uporaba izbranih nenasilnih repelentov.

Mobilna robotika
Pošiljanje koordinat in dogodkov robotu za preverjanje območja, izogibanje oviri ali nadaljevanje misije.

Nočno spremljanje
Možnost priključitve NV kamere, termovizijske kamere in IR sprožilca za scenarije slabe svetlobe.

2

Kako poteka obdelava?

Kamere prenašajo slike s časovnimi žigi.
Model poišče objekte izbranega razreda in izbere ciljni objekt.
Stereo par oceni koordinate; pri eni kameri se vrne izrecno označen mono rezultat.
Rezultat in stanje senzorjev sta na voljo operaterju ali avtonomnemu vezju.

Validacija prototipa

Kar je bilo že dokazano v resnični vožnji

Tehnično tveganje za zaznavno jedro je že zmanjšano: natančnost razdalje, pravilna izbira cilja in varna odpoved ob izgubi videa – osnovne zahteve za pilota v terenskih scenarijih – so bile potrjene z uporabo kamere v živo.

Natančnost ±10 см Razdalja do predmeta se je ujemala s kontrolno meritvijo – referenčnim ključnim kazalnikom uspešnosti za vodenje in približevanje robota.

Izbira cilja Hlev Koordinata X spremeni predznak pri premikanju levo/desno; ko sta v kadru dva predmeta, je izbran večji cilj – predvidljivo vedenje za misijo.

Toleranca napak Varno nedejavnost Če se kamera izgubi, se aktivira varni način; ko se pretok vrne, se delovanje nadaljuje brez ročnega ponovnega zagona tokokroga.

Za investitorja

Jedro za zaznavanje in ocenjevanje položaja že deluje na strojni opremi. Nadaljnje naložbe se vlagajo v stereo kalibracijo, modele ciljev in integracijo z avtonomno plastjo – ne pa v poskuse ugotavljanja, ali sploh deluje.

Pravilnost brez namena

Če objekt zapusti okvir, sistem vrne sporočilo »ni cilja«, ohrani način delovanja in ne preide v lažni varni mirujoči način – manj lažnih postankov v pilotu.

3

Senzorji izboljšujejo različne dele sistema

Stereo RGB
Dve kalibrirani kameri zagotavljata osnovo za triangulacijo in koordinate v skupnem sistemu.

NV in termovizijska kamera
Dodatne slike lahko izboljšajo opazovanje v mraku in temi.

IR senzor
Služi kot sprožilec prisotnosti ali gibanja in pomaga preprečiti nepotrebno izvajanje popolne analize.

Laserski daljinomer
Lahko določi razdaljo do predmeta, na katerega je usmerjen žarek.

Podpora za logiko senzorjev je zagotovljena v programskem jedru. Strojni adapterji in terensko testiranje dodatnih senzorjev se izvajajo ločeno.

4

Povezovanje s plastjo avtonomije

VisionGuard poroča, kaj sistem vidi. Avtonomna plast odloča, kako izvesti misijo.

Predvidena povezava: koordinate cilja in stanje senzorjev se posredujejo robotskemu vezju, ki sproži korak misije, zabeleži dogodke in izvede politiko okrevanja po napaki.

Most ROS 2 in simulacijski okvir Autonomy Layer sta ločena. Integracija z VisionGuardom in fizikalno platformo še ni končana.

Ogled sloja avtonomije

5

Faze izvajanja

1. fazaPrototip in osnovna validacijaTrenutni

Trenutno stanje: monodetektor, ocena koordinat in obdelava izgube kamere; potrjena največja izbira cilja in napaka razdalje približno ±10 cm na razdalji cilja. Kalibracija stereo para in meritev koordinat na preskusni napravi.

2. fazaCiljni modeli in senzorično vezje

Konfiguriranje zamenljivih modelov za izbrane razrede objektov, ocenjevanje kakovosti zaznavanja in povezovanje dodatnih senzorjev glede na scenarij.

3. fazaPilotni projekt integracije

Prenesite koordinate in dogodke na plast avtonomije, preizkusite misijo v simulaciji in nato na izbrani robotski platformi.

Faza 4Terensko testiranje in skaliranje

Preverite natančnost in robustnost v ciljnem okolju ter pripravite ponovljivo implementacijo za nova mesta in tipe opreme.

Trenutna faza

Prototip in preizkusni načrt

1. faza

Delujoči mono prototip je prestal osnovne preglede koordinat, izbire cilja in popravila po izgubi kamere. Naslednji korak v 1. fazi je kalibriran stereo prototip z meritvami ponovljive natančnosti.