Deze post is gebaseerd op de talk van Àgata Lapedriza tijdens de Deep Learning Summit in Londen.
Àgata Lapedriza is professor aan de Open Universiteit van Catalonië en visiting researcher bij MIT. Lapedriza doet research naar het herkennen van emoties in foto’s en video’s. Dit onderzoek trok meteen mijn belangstelling aangezien ik tijdens mijn stage (voordat ik bij Continuum aan de slag ging) soortgelijk onderzoek naar emoties heb gedaan.
Emoties
Onderzoek naar het herkennen van emoties mag voor sommigen ongewoon lijken maar dat is het helemaal niet. Er zijn verschillende dingen die zouden kunnen verbeteren moest men emoties accuraat kunnen herkennen, bijvoorbeeld educatieve applicaties. Deze zouden door middel van de emotie (bijvoorbeeld enthousiasme of verwarring) van de gebruiker bepaalde tips of oefeningen kunnen voorstellen. Maar ook in de zorgsector kunnen zulke systemen gebruikt worden om emoties van patiënten te herkennen en de nodige acties te ondernemen.
De meeste methodes om dit te verwezenlijken proberen de uitdrukkingen van het gezicht te analyseren in foto’s. Andere onderzoeken focussen op de schouders of het postuur van het lichaam. Spijtig genoeg schieten deze methodes vaak tekort. Welke emoties heeft de man op foto hiernaast? De capaciteit om emoties te herkennen bij andere personen is voor ons al niet altijd gemakkelijk. Maar wat als er meer informatie beschikbaar was?
Bovenstaande foto’s laten zien hoe de context de emotie kan doen veranderen. Alle vier de gezichten zijn identiek maar door de extra informatie in de foto kan een persoon gemakkelijk de emotie herkennen.
Om deze context te kunnen bepalen werd er een dataset van foto’s verzameld die geannoteerd zijn met het type van plaats (bijvoorbeeld een klaslokaal) en verschillende attributen. Ook werd er door Lapedriza een CNN (Convolutional Neural Net) gebruikt om de plaats en de attributen te bepalen.
Places
Gewapend met de methode om emoties te bepalen met behulp van gezichtsuitdrukkingen en de PlacesCNN kon men beginnen aan het verbeteren van de bestaande systemen. Er was maar één probleem: Gelabelde data.
Om de emotie te kunnen herkennen van individuele personen op foto’s met behulp van de context moesten ze voorbeelden hebben. Dit hebben ze gedaan door middel van de volgende stappen:
1. Foto’s scrapen van zoekmachines en bestaande research datasets
2. Een tool te creëren voor het annoteren van de foto’s
3. Crowdsourcing te gebruiken om zo veel mogelijk foto’s te annoteren
Meer info over de Places Demo kan je hier vinden.
VAD Emotional State Model
De hierboven afgebeelde tool laat de gebruiker toe om tussen 26 emoties te kiezen voor de aangeduide persoon op de foto. Ook is er de mogelijkheid om extra metadata te geven. Deze metadata is gebaseerd op het “VAD Emotional State Model”. Dit model omschrijft emoties doormiddel van 3 numerieke metrics: Valence (hoe aangenaam de situatie is), Arousal (hoe opgewonden de persoon is) & Dominance (of de persoon in controle is of niet). Deze drie metrics geven meer informatie over de emoties. Ook wordt er gender en leeftijdscategorie bijgehouden. Met al deze informatie is er een EMOTIC dataset gebouwd met 23,571 geannoteerde foto’s waarop 34,320 personen staan.
Deze dataset is gratis te downloaden.
De volgende stap was het combineren van de Places en EMOTIC datasets om zo de emoties en de VAD metrics te bepalen.
Dit systeem gebruikt twee CNNs, eentje dat pre-trained is op de imagenet dataset (verzameling van foto’s van objecten) en een tweede dat pre-trained is hun eigen places dataset. De eerste CNN neemt een kleinere versie van de foto als input met daarop de persoon waarvan de emotie bepaald moet worden. De tweede CNN krijgt de hele foto ter beschikking om zo kenmerken van de context te kunnen detecteren. De output van deze CNNs wordt dan gecombineerd om zo van beide systemen de informatie te kunnen gebruiken en een voorspelling te maken.
In deze figuur ziet men dat voor alle emoties, behalve “esteem”, de combinatie (B + I) van het persoon – (B) en context netwerk (I) beter scoort dan de netwerken apart.
Na de presentatie was natuurlijk de grote vraag: “Hoe zit het met video?” en natuurlijk zijn Lapedriza en haar team hier al mee bezig!
Lees ook zeker even de originele paper. Deze is goed te begrijpen en zeer interessant. Wil jij meer weten over machine learning of AI in het algemeen? Hou dan onze website in de gaten voor onze events? Of kom bij onze tribe!
