Deepmind @ Deeplearning Summit London

Op de deep learning summit conferentie in Londen hebben we enorm genoten van Deepmind. Deepmind haalt regelmatig de media en hun bekendste huzarenstukje is Alpha Go. Deze blogpost gaat over het huidige onderzoek van Raia Hadsell.  Zij tracht de limieten van AI navigatie te verleggen door reinforcement learning te combineren met diepe neurale netwerken. Het einddoel is een end to end AI systeem dat puur op basis van zicht complexe navigatie aan kan. Cruciaal is dat de generieke kennis / intelligentie overdraagbaar moet zijn via transfer learning waardoor een generiek navigatie mechanisme gecreëerd wordt.

Dit model zou volgende structuur hebben:

Sensoren → Perceptie → Model van de wereld → Planning → Actie

1. Kan een deep reinforcement learning agent verschillende navigatie taken leren? Kan men met andere woorden navigatie generaliseren?
2. Kan een deep reinforcement learning agent efficiënte navigatie toepassen want in essentie gaat het om een brute-force methode?

Kan een reinforcement learning agent leren van echte data ipv gesimuleerde data uit een gecontroleerde omgeving?

De probleemcontext van navigatie is uitdagend en volgende vraagstellingen geven een idee van de complexiteit:

• Waar ben ik?
• Waar ga ik naartoe?
• Waar ben ik gestart?
• Hoe ver is X van Y?
• Wat is het kortste pad van X naar Y?
• Ben ik hier al geweest?
• Hoelang duurt het eer ik op einddoel geraak?

Het onderzoek heeft tot nu gekeken naar doolhof navigatie waarbij de reinforcement agent het eindpunt moetvinden. Men varieert hierbij door verschillende doolhoven te gebruiken en/of door de start / eind locatie te veranderen.

In de eerste pogingen met een traditionele deep RL agent duurde het lang eer men een resultaat verkreeg en was er weinig sprake van intelligent gebruik van geheugen of efficiënt gedrag. Deze traditionele architectuur gebruikte een convolutional neural network om de perceptie van de pixels te verwerken in combinatie met een standaard deep RL agent.

Het onderzoeksteam heeft vervolgens de architectuur aangepast door het gebruik van een LSTM cel in de architectuur en dit 2de baseline model was een verbetering, maar het resultaat was zeker niet aanvaardbaar. Het idee erachter is dat de LSTM cel het netwerk een geheugen unit geeft. In een volgende stap is men tot de eigenaardige conclusie gekomen dat het systeem beter werkt als het zelf de diepte van de input mag voorspellen terwijl men deze in eerste instantie als input had gebruikt voor het 2de baseline model te verbeteren. Tenslotte heeft men nog een 2de LSTM cel toegevoegd en is de snelheid van de agent tevens een input variabele geworden.

Het resultaat is indrukwekkend want de deep reinforcement learning agent is in staat geheugen efficiënt te gebruiken en een intelligentie te bouwen rond navigatie waarbij de agent in staat is te navigeren in gebieden die nooit gezien zijn. Aspecten zoals de locatie van rivieren, tunnels, etc en interpretatie van die beelden om daarna slimme keuzes te maken spelen daar een rol in.

Door de 2 LSTM cellen in de architectuur kan men het navigatie concept transfereren naar andere steden in de wereld door enkel 1 LSTM cel te trainen op de nieuwe data. Door transfer learning wordt het model dus inzetbaar in eender welke stad.