Deepmind @ Deeplearning Summit London

Op de deep learning summit conferentie in Londen hebben we enorm genoten van Deepmind. Deepmind haalt regelmatig de media en hun bekendste huzarenstukje is Alpha Go. Deze blogpost gaat over het huidige onderzoek van Raia Hadsell.  Zij tracht de limieten van AI navigatie te verleggen door reinforcement learning te combineren met diepe neurale netwerken. Het einddoel is een end to end AI systeem dat puur op basis van zicht complexe navigatie aan kan. Cruciaal is dat de generieke kennis / intelligentie overdraagbaar moet zijn via transfer learning waardoor een generiek navigatie mechanisme gecreëerd wordt.

Dit model zou volgende structuur hebben:

Sensoren → Perceptie → Model van de wereld → Planning → Actie

1. Kan een deep reinforcement learning agent verschillende navigatie taken leren? Kan men met andere woorden navigatie generaliseren?
2. Kan een deep reinforcement learning agent efficiënte navigatie toepassen want in essentie gaat het om een brute-force methode?

Kan een reinforcement learning agent leren van echte data ipv gesimuleerde data uit een gecontroleerde omgeving?

Het onderzoek heeft tot nu gekeken naar doolhof navigatie waarbij de reinforcement agent het eindpunt moetvinden. Men varieert hierbij door verschillende doolhoven te gebruiken en/of door de start / eind locatie te veranderen.

In de eerste pogingen met een traditionele deep RL agent duurde het lang eer men een resultaat verkreeg en was er weinig sprake van intelligent gebruik van geheugen of efficiënt gedrag. Deze traditionele architectuur gebruikte een convolutional neural network om de perceptie van de pixels te verwerken in combinatie met een standaard deep RL agent.

Het onderzoeksteam heeft vervolgens de architectuur aangepast door het gebruik van een LSTM cel in de architectuur en dit 2de baseline model was een verbetering, maar het resultaat was zeker niet aanvaardbaar. Het idee erachter is dat de LSTM cel het netwerk een geheugen unit geeft. In een volgende stap is men tot de eigenaardige conclusie gekomen dat het systeem beter werkt als het zelf de diepte van de input mag voorspellen terwijl men deze in eerste instantie als input had gebruikt voor het 2de baseline model te verbeteren. Tenslotte heeft men nog een 2de LSTM cel toegevoegd en is de snelheid van de agent tevens een input variabele geworden.

Het resultaat is op zich indrukwekkend, maar is nog steeds zeer research georiënteerd aangezien de doolhoven kunstmatig aangemaakt werden en de testen enkel resultaten tonen op kunstmatige RGB data. De volgende logische stap voor Deepmind was de mapping op echte data en het helpt als je moederbedrijf google heet en een dienst als street view in zijn wapenarsenaal heeft. Dit maakt de context realistisch maar tevens moeilijker omdat de doolhof structuur (die het algoritme niet ziet) complexer wordt. De RGB afbeeldingen zijn daarnaast veel complexer en hebben meer noise.

Dit onderzoek kadert in de strategie van Deepmind waar men krachtige algemene leer algoritmen ontwikkeld die de mens te goede komen. Ze trachten AI uit de narrow AI context te krijgen en het pad richting AGI te openen. Google heeft destijds 500 miljoen dollar betaald voor het bedrijf wat geen product of dienst aanbiedt en dit lijkt de zoveelste slimme overname te worden van de gigant.