Een fMRI-opname (afb: WikiMedia Commons)
Stel je voor dat je een foto in een fotobestand zoekt met een bepaald beeld in je hoofd of dat je een keukenontwerp schetst puur op ‘hersenkracht’ zonder een pen op het papier te zetten of dat je je lief een plaatje stuurt dat alleen maar in je hoofd zit. Een computer die dergelijke plaatjes uit de activiteit van je hersens maken kan destilleren, zou dat kunnen. En inderdaad, er is een algoritme geschreven door onderzoekers die precies dat doen. De plaatjes van de computer zijn nog niet echt een op een, maar komen in de buurt, tenminste.
Het is natuurlijk al eens eerder vertoond bij apen (makaken) maar ook bij mensen. Informaticus Zhongming Liu van de Purdue-universiteit zei onder de indruk te zijn van het nieuwe onderzoek, terwijl hij zelf had meegeschreven aan een algoritme om in beeld te brengen wat een film in de hersens van de bioscoopgangers deed.
Al sinds 2011 worden er pogingen in het werk gesteld de beelden in iemands hoofd te reconstrueren, maar vooralsnog hebben al die methodes hun beperkingen. Sommige houden zich alleen met gezichtsvormen bezig en andere kiezen uit meegeleverde beelden of categorieën als ‘man’ of ‘hond’. Met deze nieuwe techniek zijn de plaatjes heel aardig en worden er zelfs vormen en voorwerpen gereproduceerd die de desbetreffende niet gezien heeft, maar zich voorstelt.
Voor deze technieken wordt een beroep gedaan op wat functionele mri wordt genoemd, een ‘zusje’ van de ziekenhuisscanner. Daarbij wordt de bloedstroom in de visuele cortex gemeten als een maat voor de hersenactiviteit met een oplossend vermogen van 2 mm. Drie proefpersonen moesten naar meer dan 1000 plaatjes kijken. Het idee was de activiteit te registreren in reactie op een plaatje van, bijvoorbeeld, een luipaard en de computer op basis daarvan zo snel mogelijk een prent te laten maken.
Gelaagde neutrale netwerken
Dat gebeurde niet door de proefpersonen plaatje na plaatje te tonen tot de computer goed zat, maar de onderzoekers bouwden en namaakbrein, een neuraal netwerk dat in diverse lagen elementen verwerkt. “We geloven dat een diep neuraal neterk, DNN, een goede benadering is voor de verwerking in de hersens”, zegt onderzoeker Yukiyasu Kamitani van de universiteit van Kyoto (Jap), neurowetenschapper en leider van het nieuwe onderzoek. “Door die techniek te gebruiken kunnen op diverse niveaus informatie halen uit de visuele cortex.”
De onderzoekers gebruikten een ‘decoder’ om de hersenactiviteit om te zetten in beelden, maar van dan af waren de fMRI-metingen niet langer nodig, alleen de DNN-‘vertalingen’. Om te raden wat iemand ziet dienen die ‘vertalingen’ als sjabloon en is fMRI niet meer nodig is. Het systeem probeert dan een beeld te maken waarbij het diep neurale netwerk reageert overeenkomstig dat vastgelegde sjabloon. Het is dus niet maar wat proberen. Het systeem tekent het beeld dat de onderzochte in haarzijn hoofd heeft.
Het systeem begint met iets willekeurigs en verfijnt in zo’n 200 rondes het beeld. Om zo dicht mogelijk bij het werkelijke beeld te komen, berekent het systeem het verschil tussen de netwerkactiviteit en de vastgelegde sjabloonactiviteit. Daar verschuift deze pixel wat naar links en dat beeldpunt wat naar boven tot het ideale beeld is ontstaan.
Met behulp van een zogeheten diep generatornetwerk wordt de zaak nog eens verder verbeterd. Dat is een algoritme dat vooraf vooraf geïnstrueerd is, dat er voor moet zorgen dat de plaatjes realistisch zijn/worden. Als dat eenmaal was gebeurd, dan konden mensen aanwijzen naar welke foto iemand had zitten kijken met een score van 99%.
Dromen
Vervolgens probeerden de onderzoekers beelden te reconstrueren die alleen maar in het hoofd van de proefpersoon zaten. Ze vroegen de proefpersonen zich eerder getoonde beelden in te prenten. Dat werkte niet erg goed voor foto’s, maar wel voor vormen zoals een vis of een vliegtuig. Het diepe generatornetwerk maakte er goed herkenbare plaatjes van die in 83% van de gevallen konden worden thuisgebracht.
Het is de vraag of betere fMRI-technieken de zaak vooruit kunnen helpen. Het is natuurlijk ook een vraag, voor mij althans, of op deze manier op een dag niet een leugendetector zou kunnen worden gemaakt… Ik roep maar wat.
Bron: Science