A valós idejű videóelemzés olyan számítógépes látás alkalmazásokat jelöl, amelyek a kamera élő videofolyamát minimális késleltetéssel, folyamatosan dolgozzák fel. Ezzel szemben az állóképek elemzése eltűri a másodperces vagy annál nagyobb feldolgozási időket; a videóban viszont tipikusan 25–60 képkockát kell másodpercenként értékelni ahhoz, hogy a rendszer valós idejűnek minősüljön.
Mik a fő technikai kihívások?
A videóelemzés bemenete időben összefüggő képkockák sorozata. Ez egyrészt lehetőséget ad az egymást követő képek közötti változások vizsgálatára, másrészt a folyamatos feldolgozás komoly számítási terhelést jelent.
A legfontosabb technikai kihívások a következők:
- Késleltetési korlátok: biztonsági és ipari alkalmazásokban a 100–200 ms feletti reakcióidő elfogadhatatlan lehet.
- Háttér-előtér szétválasztás: mozgó kamera vagy változó fényviszonyok esetén nehéz elkülöníteni a mozgó tárgyakat a statikus háttértől.
- Eltakart objektumok: forgalmi jelenetekben a járművek eltakarják egymást; a nyomkövető algoritmusoknak ezt kezelniük kell.
- Számítási hatékonyság: erőforrás-korlátok között — pl. beágyazott rendszerekben — az algoritmusokat optimalizálni kell.
Mozgásdetektálás és háttérmodellezés
A legegyszerűbb valós idejű videóelemzés a mozgásdetektálás: az algoritmus összehasonlítja az aktuális képkockát egy statikus vagy dinamikusan frissített háttérmodellel. Ha egy pixel értéke szignifikánsan eltér a modelltől, azt az előtér részének tekinti.
Gauss-féle háttérmodell (MOG2)
Az OpenCV könyvtárban elérhető MOG2 algoritmus minden pixelt Gauss-eloszlások keverékével modellezi, és automatikusan alkalmazkodik a lassú fényváltozásokhoz. Ez lehetővé teszi a mozgó tárgyak robusztus azonosítását napfény ingadozása vagy szél által mozgatott növények esetén is.
Optikai folyam (Optical Flow)
Az optikai folyam módszerek a pixelek látszólagos mozgásvektorait számítják ki egymást követő képkockák között. A Lucas–Kanade algoritmus ritka pontokra (sarokpontokra) számítja a mozgásvektorokat; a Farnebäck-módszer sűrű optikai folyammezőt generál.
Az optikai folyam alapú módszerek különösen hasznosak gesztusfelismerésben, sportmozgások elemzésében és autonóm járművek azon feladatában, amelyet ego-motion becslésnek neveznek — azaz a saját mozgás kiszámítására.
Objektumkövetés (Object Tracking)
A követ algoritmusok az objektumdetektálással azonosított tárgyak mozgáspályáját követik nyomon időben. A Kalman-szűrő lineáris mozgást feltételezve jósolja meg az objektum következő pozícióját, és a mérési zajra is robusztusan reagál. A SORT (Simple Online and Realtime Tracking) és a DeepSORT algoritmusok a Kalman-szűrőt mélytanulással tanult megjelenés-leírókkal egészítik ki.
ByteTrack
A ByteTrack egy 2022-ben bemutatott nyomkövető keretrendszer, amely az alacsony megbízhatósági pontszámú detektálásokat sem veti el, hanem azokat is felhasználja a pályák folytonosságának megőrzéséhez. Ez javítja a részben takart objektumok követését.
Alkalmazási területek Magyarországon
Közlekedési megfigyelés
A magyarországi autópályákon és városi utak kereszteződéseiben telepített kamerarendszerek egy része automatizált videóelemzést alkalmaz. Az ANPR (Automatic Number Plate Recognition) rendszerek a jármű rendszámtábláját azonosítják; a sávkövetési és forgalomszámlálási funkciók szintén elterjedtek.
Ipari minőség-ellenőrzés
Autóipari összeszerelésnél a futószalagok mellé telepített kamerarendszerek a termékek geometriáját és felületi minőségét ellenőrzik. Az ilyen rendszerek másodpercen belül jelzik az eltéréseket, lehetővé téve az azonnali beavatkozást.
Épületbiztonsági rendszerek
A hagyományos mozgásérzékelőket egyre több helyen egészítik ki vagy váltják fel videóelemző megoldások, amelyek képesek megkülönböztetni az embereket az állatoktól, vagy azonosítani a váratlan viselkedésformákat — például esést vagy csoportosulást.
Hardveres gyorsítás
A valós idejű videóelemzés számítási igénye egyetlen CPU-n általában nem elégíthető ki. GPU-k (NVIDIA CUDA), TPU-k (Google Edge TPU) és beágyazott accelerátorok (NVIDIA Jetson, Intel Neural Compute Stick) teszik lehetővé az energiahatékony, helyszíni (edge) feldolgozást anélkül, hogy minden képkockát felhőbe kellene küldeni.
Összefoglalás
A valós idejű videóelemzés technológiája az elmúlt öt évben érett terméke lett az iparnak: a nyílt forráskódú keretrendszerek (OpenCV, FFmpeg, GStreamer) és az optimalizált neurális hálózatok (TensorRT, ONNX Runtime) segítségével közepes erőforrásigényű hardveren is hatékonyan megvalósítható. A fő fejlesztési irányok jelenleg az energiahatékonyság, az értelmezhetőség és a kis látenciájú élfeldolgozás.
