Interpreteerbaarheid

LIME algoritme

- Local: Het algoritme inspecteert enkel het gedrag van het model in de nabijheid van de instantie van de voorspelling die we willen verklaren.
- Interpretable: De verklaring moet van die aard zijn dat een mens die kan begrijpen zonder kennis van het onderliggende model
- Model-Agnostic: Het LIME algoritme staat los van het gebruikte algoritme voor de voorspelling.
De denkpiste achter het LIME algoritme is de veronderstelling dat een complex model lineair is op een lokale schaal. Voor elke predictie die we proberen te verklaren, gaat men de input data manipuleren. Stel dat de input van de predictie tekst is, dan zou men bv. willekeurig woorden beginnen te verwijderen van de input en deze gemanipuleerde input laten voorspellen door het model. Het algoritme gaat vervolgens kijken welke gemanipuleerde instanties qua predictie kort in de buurt van de te verklaren predictie ligt. Vervolgens wordt gekeken welke features het beste in staat zijn om het model lokaal te verklaren en vervolgens bouwt men met deze features een simpel lineair model. Het zijn deze features die ten slotte gebruikt worden om de verklaring te doen door naar hun gewichten in het lineaire model te kijken. Te ingewikkeld?



