ChatGPT schijnt het druk te hebben (afb: blog ChatGPT)

Er is veel te doen om de ki-bot ChatGPT (en ik=as doe vrolijk mee), maar het persbericht bij Science Daily van het MIT deed me beide wenkbrauwen ernstig fronsen. Onderzoek zou hebben uitgewezen dat ’taalmodellen’ als ChatGPT een nieuwe taak leren op basis van maar een paar voorbeelden, meldt dat persbericht. Huh? Hebben de programmeurs bij OpenAI dat niet vooraf bedacht toen ze dat algoritme ‘bekokstoofden’ en is dit (toevallige) bijvangst (of meerwaarde)? Of weten de onderzoekers niet wat de makers van OpenAI voor ogen stond toen ze dat algoritme schreven?
Hoe dan ook: ze (dat zijn de MIT-onderzoekers) ontdekten dat deze ’taalmodellen’ zelf kleinere lineaire modellen schrijven in hun ‘verborgen lagen’, waardoor de ki-bot makkelijk nieuwe taken aan kan.

De MIT-onderzoekers hebben het over GPT-3. Dat schijnt een gigantisch neuraal netwerk te zijn, dat teksten produceert die net echt menselijk lijken, van gedichten tot coderegels. Dat wordt ‘opgeleid’ door ze te voeren met gegevens op het gebied waarop ze moeten opereren.
Dat is niet het enige dat ze kunnen. Ze zijn ook het zogeheten contextleren machtig, het aanleren van een nieuwe taak op basis van een paar voorbeelden, die weinig met hun oorspronkelijk taak gemeen heeft. Normaal moeten dit soort ‘intelligente’ systemen dan weer stevig aan de ‘leertiet’, niet GPT-3.

Mysterie

Dat noemen de MIT-onderzoekers een mysterie, of eigenlijk is het een wonder. Dat wilden ze (=de MIT-onderzoekers) oplossen. Mij lijkt dan dat je dat aan die OpenAI-ontwikkelaars vraagt, maar kennelijk wisten die dat niet of was dat simpelweg niet te doen om wat voor een reden/oorzaak dan ook.Dus bestudeerden ze grote GPT-3-achtige taalmodellen.
Het bleek hun dat die gigantische neurale netwerken in staat zijn om, of de beschikking hebben over, kleinere lineaire modellen die ergens in dat algoritme of in de architectuur van dat algoritme zijn verborgen (???;as). Daarmee zouden snel nieuwe taken zijn aan te leren, waarbij alleen informatie gebruikt wordt die al in dat grotere model aanwezig is. De onbekenden (parameters) veranderen niet.

Beter begrip van dat contextleren zou dergelijke ki-systemen tot echte zelflerende systemen maken, die niet bij iedere nieuwe taak opnieuw grondig hoeven worden ‘her- of bijgeschoold’, denkt hoofdauteur Ekin Akyürek. Daaruit leid ik af dat dat contextlerende vermogen van GPT-3 is komen aanwaaien.

Niet zo dom

“Deze modellen zijn niet zo dom als mensen denken (????;as)”, zegt Akyürek. “Ze leren niet alleen taken, maar ook (snel; as) nieuwe. Wij hebben aangetoond hoe dat kan.”

Bron: Science Daily