Op de deep learning summit conferentie in Londen hebben we enorm genoten van Deepmind. Deepmind haalt regelmatig de media en hun bekendste huzarenstukje is Alpha Go. Deze blogpost gaat over het huidige onderzoek van Raia Hadsell. Zij tracht de limieten van AI navigatie te verleggen door reinforcement learning te combineren met diepe neurale netwerken. Het einddoel is een end to end AI systeem dat puur op basis van zicht complexe navigatie aan kan. Cruciaal is dat de generieke kennis / intelligentie overdraagbaar moet zijn via transfer learning waardoor een generiek navigatie mechanisme gecreëerd wordt. Dit model zou volgende structuur hebben: Sensoren → Perceptie → Model van de wereld → Planning → Actie Het combineren van reinforcement learning met diepe neurale netwerken is een gebied waar Deepmind tot de absolute wereldtop behoort qua onderzoek. Deze techniek heeft reeds bewezen zeer goed te werken in contexten zoals computerspelletjes (Atari) en bordspellen (Alpha Go) maar als we dit willen toepassen op levensechte problemen zoals robot navigatie dan zijn er obstakels:
- Kan een deep reinforcement learning agent verschillende navigatie taken leren? Kan men met andere woorden navigatie generaliseren?
- Kan een deep reinforcement learning agent efficiënte navigatie toepassen want in essentie gaat het om een brute-force methode?
Kan een reinforcement learning agent leren van echte data ipv gesimuleerde data uit een gecontroleerde omgeving? De probleemcontext van navigatie is uitdagend en volgende vraagstellingen geven een idee van de complexiteit:
- Waar ben ik?
- Waar ga ik naartoe?
- Waar ben ik gestart?
- Hoe ver is X van Y?
- Wat is het kortste pad van X naar Y?
- Ben ik hier al geweest?
- Hoelang duurt het eer ik op einddoel geraak?
Het onderzoek heeft tot nu gekeken naar doolhof navigatie waarbij de reinforcement agent het eindpunt moetvinden. Men varieert hierbij door verschillende doolhoven te gebruiken en/of door de start / eind locatie te veranderen.
In de eerste pogingen met een traditionele deep RL agent duurde het lang eer men een resultaat verkreeg en was er weinig sprake van intelligent gebruik van geheugen of efficiënt gedrag. Deze traditionele architectuur gebruikte een convolutional neural network om de perceptie van de pixels te verwerken in combinatie met een standaard deep RL agent. Het onderzoeksteam heeft vervolgens de architectuur aangepast door het gebruik van een LSTM cel in de architectuur en dit 2de baseline model was een verbetering, maar het resultaat was zeker niet aanvaardbaar.
Het idee erachter is dat de LSTM cel het netwerk een geheugen unit geeft. In een volgende stap is men tot de eigenaardige conclusie gekomen dat het systeem beter werkt als het zelf de diepte van de input mag voorspellen terwijl men deze in eerste instantie als input had gebruikt voor het 2de baseline model te verbeteren.
Tenslotte heeft men nog een 2de LSTM cel toegevoegd en is de snelheid van de agent tevens een input variabele geworden.Dit geeft in een groot doolhof volgende indrukwekkende resultaten waarbij het finale model wordt voorgesteld als de blauwe lijn. We zien dat deze architectuur heel snel qua resultaat stijgt in veel minder iteraties dan de vorige architecturen en dit wijst op efficiënt gebruik van geheugen en slim gedrag.
Het resultaat is op zich indrukwekkend, maar is nog steeds zeer research georiënteerd aangezien de doolhoven kunstmatig aangemaakt werden en de testen enkel resultaten tonen op kunstmatige RGB data. De volgende logische stap voor Deepmind was de mapping op echte data en het helpt als je moederbedrijf google heet en een dienst als street view in zijn wapenarsenaal heeft. Dit maakt de context realistisch maar tevens moeilijker omdat de doolhof structuur (die het algoritme niet ziet) complexer wordt.
De RGB afbeeldingen zijn daarnaast veel complexer en hebben meer noise. De deep reinforcement learning agent kreeg in deze street view wereld de courier task opdracht. Hij moet in Londen van plaats naar plaats navigeren op een optimale manier. De beloning stijgt gradueel als hij 400 meter in de buurt komt van het doel. Men heeft Londen gekozen omdat de test te vergelijken is met het befaamde Londense taxichauffeur examen.
Deze test wordt gezien als 1 van de moeilijkste testen in de wereld en de mensen die ervoor slagen studeren jaren erop. Ze moeten het volledige landschap van 25.000 straten met point of interests van buiten kennen. Het resultaat is indrukwekkend want de deep reinforcement learning agent is in staat geheugen efficiënt te gebruiken en een intelligentie te bouwen rond navigatie waarbij de agent in staat is te navigeren in gebieden die nooit gezien zijn.
Aspecten zoals de locatie van rivieren, tunnels, etc en interpretatie van die beelden om daarna slimme keuzes te maken spelen daar een rol in. Door de 2 LSTM cellen in de architectuur kan men het navigatie concept transfereren naar andere steden in de wereld door enkel 1 LSTM cel te trainen op de nieuwe data. Door transfer learning wordt het model dus inzetbaar in eender welke stad.
Dit onderzoek kadert in de strategie van Deepmind waar men krachtige algemene leer algoritmen ontwikkeld die de mens te goede komen. Ze trachten AI uit de narrow AI context te krijgen en het pad richting AGI te openen. Google heeft destijds 500 miljoen dollar betaald voor het bedrijf wat geen product of dienst aanbiedt en dit lijkt de zoveelste slimme overname te worden van de gigant.
