Laboratorium HSL Wizji komputerowej

Laboratorium Wizji Komputerowej HSL (Human Seeing Lab) umożliwia opracowywanie rozwiązań i tworzenie systemów z zakresu inteligentnego monitoringu, inteligentnej analityki wideo, rozpoznawanie i śledzenie osób i obiektów w środowisku wielokamerowym, rozpoznawanie i klasyfikację akcji i zachowań.

Systemy wypracowywane w laboratorium umożliwiają identyfikację intencji i zachowania osób, co pozwala rozpoznawać i zapobiegać sytuacjom niebezpiecznym w miejscach publicznych, gdzie występuje wzmożony ruch ludzi czy w obszarach imprez masowych, gdzie monitorowany obszar jest rozległy.

W laboratorium stworzono metody i oprogramowania dla zaawansowanego i inteligentnego przetwarzania i analizy sekwencji obrazów z kamer w wersjach monochromatycznej, barwnej oraz widzenia nocnego. Opracowano prototyp systemu, który pozwoli na integrację rozwiązania z istniejącymi systemami nadzoru, monitoringu miejskiego.

Rezultatem prowadzonych prac jest opracowanie zaawansowanych funkcji takich jak: automatyczne rozpoznawanie osoby na podstawie chodu; ocena stanu emocjonalnego na podstawie mimiki i gestów; identyfikacja zachowań w oparciu o automatycznie wyuczone wzorce w ruchu grupowym; automatyczne wykrywanie nietypowych i niebezpiecznych ruchów osoby lub grupy osób; identyfikacja zachowań na podstawie gestów i komunikacji niewerbalnej; wykrywanie sytuacji poprzedzających akty nielegalne lub niebezpieczne; sygnalizowanie nielegalnych zamiarów na podstawie analizy trajektorii pojedynczej postaci i grup trajektorii.

Możliwymi zastosowaniami praktycznymi wykorzystującymi opracowane funkcjonalności są:

• tworzenie materiałów dowodowych na podstawie analizy biometrycznej ruchu osób z miejsca przestępstwa;
• poszukiwanie zaginionych dzieci w miejscach wzmożonego ruchu i imprez masowych;
• wyszukiwanie osób w zarejestrowanych materiałach na podstawie cech osobniczych ruchu;
• identyfikacja incydentów i automatyczne wysyłanie zdjęć rozpoznanych uczestników do patroli policyjnych znajdujących się w okolicy miejsca zdarzenia;
• pomoc w wizualnym monitorowaniu osób przemieszczających się w polu widzenia dziesiątek lub setek kamer;
• pomoc w wizualnym monitorowaniu osób przemieszczających się w polu widzenia kamer przez automatyczne przesuwanie „okien” w wirtualnym obrazie ze wszystkich kamer;
• automatyczny wybór i przesyłanie personelowi interweniującemu bieżącej informacji o osobach monitorowanych, takiej jak ich wyraźne zdjęcia, wideo z kamer, położenie i trajektoria, do wyświetlania na mobilnym ekranie;
• alarmowanie służby nadzoru o wykrytych sytuacjach krytycznych załączając wybrane klatki i sekwencje video w celu weryfikacji.

 

Wyposażenie

Aparatura

9 kamer przemysłowych PTZ Axis Q6045-E Mk II w tym 7 w Gliwicach 2 w CBR Bytom. Kamery posiadają następujące parametry: rozdzielczość fullHD 1080p, format strumieniowania MJPEG 25FPS, 32 krotny zoom optyczny, migawka 1/33.000s do 1/3s, zgodność z ONVIF, dostęp przez protokoły HTTP, HTTPS, SSL/TLS, FTP, CIFS/SMB, SNMP, SSH, RTCP, SFTP. 14 dwuprocesorowych stacji roboczych do testowania i implementacji algorytmów i systemu. Serwer macierzy dyskowej oraz backupu danych wizyjnych.

Oprogramowanie

Implementacje na poziomie prototypów i) Rozpoznawanie akcji AR (Action Recognition) z wykorzystaniem wysokopoziomowej reprezentacji ruchu action banks, poselets i ich mieszanin, historii prędkości śledzonych punktów, segmentacji ruchu, transformaty Hough’a, modeli przegubowych, histogramów gradientów, metod opartych na rozmaitościach topologicznych, śledzenia osób i obiektów ii) TMO (Tracking Multiple Objects), opartych na śledzeniu punktów kluczowych i klasyfikacji ich trajektorii, modelach deformowalnych, minimalizacji energii, tracklet confidence, discrimative appearance, metodach grafowych, iii) rozpoznawania i śledzenia pozy osób PT (Pose Tracking) w tym estymacji pozy 3D.

 

Obszary współpracy

• Identyfikacja zachowań osób oraz detekcja sytuacji niebezpiecznych.
• Przewidywanie intencji na podstawie obrazów z wielokamerowych systemów wideo przy użyciu modeli zachowań grup.
• Tworzenie materiałów dowodowych na podstawie wyników analizy ruchu w oparciu o psychologię społeczną, techniki biometryczne i inferencję postaci w 3D z wideo.
• Analiza prawdopodobieństwa zagrożenia na podstawie informacji o osobach i grupach przemieszczających się w polu widzenia wielu kamer.
• Identyfikacja zachowań osób oraz detekcja sytuacji niebezpiecznych.
• Przewidywanie intencji na podstawie obrazów z wielokamerowych systemów wideo przy użyciu modeli zachowań grup.