Dit ki-systeem bepaalt of een plaatje een boot bevat aan de hand van aanwezigheid van water (afb: Nature)

Kunstmatige intelligentie rukt op. Zelflerende algoritme lijken steeds slimmer te worden, maar hoe intelligent zijn die systemen eigenlijk, vroegen onderzoekers in Duitsland en Singapore zich af. Het blijkt dat er nogal wat ki-systemen allesbehalve intelligent zijn.  Dergelijke systemen wil je niet in een ziekenhuis hebben om artsen te helpen bij het stellen van diagnoses (om maar wat te noemen).

Onderzoekers van de TU Berlijn en het Heinrich Hertz-instituut van de Fraunhofergesellschaft ontwikkelden een techniek om zichtbaar te maken hoe ki-systemen tot hun beslissingen komen: de gelaagde relevantievoortgang (in Engelse afko LRP). Een uitbreiding van LRP, spectrale relevantieanalyse (SpRAy), zou in staat zijn aan een breed spectrum van beslisstrategieën cijfers toe te kennen. Zo zou het mogelijk (moeten) zijn om ongewenste beslistrajecten er uit te pikken, zelfs als er gigantische hoeveelheden gegevens worden gebruikt.
Deze ‘verklaarbare’ ki is volgens Klaus-Robert Müller van de TU Berlijn de belangrijkste stap in de richting van de praktische toepassing van ki. “Vooral bij medische diagnose of veiligheidsgevoelige systemen zouden geen ki-systemen mogen worden gebruikt die ondoorzichtige of zelfs ronduit verneukeratieve probleemoplossingsstrategieën gebruiken.”

Tellend paard

Medeonderzoeker Wojciech Samek van het Heinrich Hertz-instituut zei verbaasd te zijn over het grote aantal probleemoplossingsstrategieën dat werd gebruikt. “Zelfs moderne ki-systemen hebben niet altijd een oplossing die zinvol is voor mensen en soms worden er zogeheten slimme-Hans-strategieën toegepast.” Slimme Hans was een paard dat ruim honderd jaar geleden leefde en leek te kunnen tellen. Dat bleek paard Hans, bij nader beschouwing, niet te kunnen. Het paard ging bij zijn antwoorden af op de reactie van de vragensteller.

Dat tellende paard kwamen de onderzoekers in verschillende ki-systemen tegen. Een zelfs prijswinnend ki-systeem van een paar jaar geleden gebruikte een nogal naïeve strategie. Als het systeem werd gevraagd schepen in plaatjes op te zoeken, dan zocht het systeem niet naar schepen maar naar water. Iets soortgelijks gebeurde er bij een zoekopdracht naar plaatjes met treinen. Die kwamen er volgens dat systeem in voor als er rails ontdekt waren. Andere plaatjes werden herkend aan het auteursrechtwatermerk. Dat systeem werkte desalniettemin vrij goed ondanks dat het niet voldeed aan de feitelijke opdracht: zoek een trein, zoek een boot.
De onderzoekers troffen de ’tellende paarden’ ook aan in hoogaangeschreven ki-algoritmes, de diep neurale netwerken. Die techniek zou immuun zijn voor dat soort missers. Deze netwerken classificeerden voorwerpen deels echter opp basis van andere zaken dan het beeld zelf. Müller: “Zulke ki-systemen zijn in de praktijk niet nuttig. Bij medische diagnoses of in andere veiligheidsgevoelige gebieden zouden ze zelfs gevaarlijk kunnen zijn. Het is heel goed denkbaar dat ongeveer de helft van de ki-systemen die nu in gebruik zijn impliciet of expliciet berusten op slimme-Hans-strategieën. Het wordt hoog tijd daar eens systematisch naar te kijken om tot veilige ki-systemen te komen.”

Slim

Dat betekent niet dat het allemaal niks voorstelt. Met hun analysemethode vonden de onderzoekers ook echt slimme ki-systemen. Dan gaat het over ki-systemen die computerspelletjes als Breakout of Pinball leren spelen. Samek: “Hier leerde het systeem het idee van het spel te doorgronden en vond het een intelligente manier om zoveel mogelijk punten te verzamelen op de minst riskante manier. Het systeem speelde zelfs soms op een manier waarop een echte speler het nooit zou doen.”
Müller: “Onze geautomatiseerde technologie is open en toegankelijk voor alle onderzoekers. We beschouwen ons onderzoek als een belangrijke eerste stap om ki-systemen, beter, verklaarbaar en veilig te maken. Er volgt ongetwijfeld meer aangezien dit een essentiële voorwaarde is voor het gebruik van ki.”

Bron: EurekAlert