We weten niet hoe onze hersens werken en toch denken we systemen in elkaar te kunnen zetten die ‘hersenwerk’ zouden leveren: zelflerende systemen van neurale (ja hoor) netwerken. Nu hebben onderzoekers beide eens vergeleken, althans ze leerden een kunstmatig-intelligentiesysteem een neuron na te bootsen, en daarbij komen de ki-systemen er nogal bekaaid vanaf.
Zelflerende ki-systemen maken gebruik van neurale netwerken die op een manier werken zoals (wij denken dat) hersens doen. Die echte neuronen zijn echter een stuk bijdehanter dan de elektronische. David Beniaguev, Idan Segev en Michael London, allen werkzaam bij de Hebreeuwse universiteit in Jerusalem, leerden een diep neuraal netwerk zich voor te doen als een hersencel. Het bleek dat dat neurale netwerk vijf tot acht lagen van verbonden ‘neuronen” (elektronische) nodig had om de complexiteit van een enkele echte (nou ja, gesimuleerde) hersencel te evenaren.
Dat viel het drietal wat rauw op hun dak. Beniaguev had meer aan drie, vier lagen gedacht. Volgens Timothy Lillicrap van het Googlebedrijf DeepMind is dat reden om nog eens wat zorgvuldiger na te denken over de overeenkomsten en verschillen tussen de echte en de elektronische neuronen.
Beide neuronen (de harde en de zachte) zouden informatie op eenzelfde manier behandelen. Beide krijgen signalen binnen en ‘besluiten’ die door te sturen naar andere neuronen. Harde neuronen doen dat door een simpele rekensom te maken om tot een besluit te komen. Tientallen jaren studie aan het echte werk heeft aannemelijk gemaakt dat dat bij hersencellen een stukje ingewikkelder ligt. Informatische neurowetenschappers gebruiken een invoer/uitvoerfunctie om de relatie te modelleren tussen de ontvangen signalen die een (zacht) neuron krijgt via de dendrieten en de ‘beslissing’ van dat neuron dat signaal door te geven aan andere hersencellen.

Precies zo’n functie leerden de onderzoekers aan hun ki-systeem om de complexiteit van een neuron te kunnen vaststellen (benaderen). Hun neurale netwerk bestond uit 256 ‘neuronen’ in elke laag. Ze namen er steeds een laag extra bij om een resultaat van 99% juistheid te krijgen tussen de invoer en de uitvoer van dat gesimuleerde neuron. Daarvoor bleken, dus, op zijn minst vijf lagen voor nodig (en niet meer dan acht).

Complexiteit

Over wat dat precies betekent heerst nog onzekerheid bij de onderzoekers. “De relatie tussen het aantal lagen in een neuraal netwerk dat je nodig hebt en de complexiteit daarvan is niet duidelijk”, zegt London. “Dus kunnen we ook niet zeggen hoeveel complexer iets wordt als je van, zeg, vier naar vijf lagen gaat. Ook kunnen we niet zeggen dat als je 1000 kunstmatige neuronen nodig hebt dat een biologische neuron 1000 maal complexer is. Het zou mogelijk kunnen zijn dat als je exponentieel meer kunstmatige neuronen in elke laag gebruikt dat zou kunnen leiden tot een diep neuraal netwerk van een laag, maar dat zou waarschijnlijk veel meer gegevens en tijd vergen voor het algoritme om te leren.”
London stelt dat ze verschillende architecturen, dieptes en andere zaken hebben uitgeprobeerd, maar dat die faalden. De onderzoekers stellen hun code ter beschikking van collega’s om een betere oplossing te vinden met minder lagen, maar zelf geloven ze niet erg dat dat zal lukken. Ze hopen dat hun onderzoek iets kan betekenen voor de netwerkarchitectuur in de ki. Segev: “Die zou meer in lijn moeten zijn met hoe de hersens werken door een simpele eenheid (‘neuron’; as) in een diep netwerk te vervangen door een eenheid die een neuron voorstelt die op zich al ‘diep’ is.”

Het lijkt er op dat onderzoekers meer te weten zouden moeten komen over wat afzonderlijke neuronen doen. “Dit artikel maakt duidelijk dat het belangrijker dan ooit is om aan dendrieten en afzonderlijke neuronen te denken”, zegt Konrad Kording van de universiteit van Pennsylvania. Anderen als Lillicrap stellen dat dat je richten op een neuron in een circuit net zo belangrijk is om erachter te komen hoe die echte neuronen werken. Weer anderen stellen dat de onderzoekers alleen twee modellen hebben vergeleken omdat we niet weten hoe zachte neuronen werken.

Hoe dan ook, hersens hebben, ten minste, een gigantisch voordeel boven zelflerende systemen: ze gebruiken veel minder energie dan al die dure zelflerende ki-systemen (en leveren in verschillende gevallen nog betere resultaten op ook).

Bron: quantamagazine.org