Automatikus szereplőszétválasztás filmeken detektált arcok felhasználásával

Szerző: 
Marosvári Borbála
Konzulens (TMIT): 
Év: 
2014
Szekció: 
Intelligens rendszerek szekció
Helyezés: 
2. helyezés
Különdíj: 
Morgan Stanley II. helyezett

Internetes világunkban a multimédiás tartalmak száma rohamosan növekszik, 2017-re a teljes internetes forgalom 80-90%-át is videó tartalmak tehetik ki. De videók nem csak online, hanem a felhasználó készülékein is igen nagy számban vannak jelen. Ezek rendszerezése és a videókban való keresés nagy kihívást jelent. Erre megoldást adhat a videók annotálása, különösen annak automatizálása. Ennek egy lehetséges formája az embereket is tartalmazó videók esetében, ha kigyűjtjük, hogy a videón szereplő személyek mettől meddig láthatóak. Ezt az annotációt elvégezhetjük egy arcazonosító alkalmazás implementálásával.

Dolgozatomban az OpenCV könyvtárban implementált arcdetektáló és arcazonosító algoritmusok használatával készítettem el egy videó annotáló rendszert. A megoldást két oldalról közelítettem meg: ha van információnk a szereplőkről, illetve ha nincs. Előbbi esetére Fisherfaces arcfelismerő algoritmust használtam, utóbbira pedig egy klaszterező alkalmazást készítettem, amely Local Binary Pattern hisztogramokat állít elő, és ezeket hierarchikus k-közép módszerrel klaszterezi. A szereplők megtalálására Viola-Jones arcdetektort használtam. A rendszer pontosságának javítása érdekében egy olyan modult valósítottam meg, amely képes a videón megjelenő arcok követésére.