ChatGPT schijnt het druk te hebben (afb: blog ChatGPT)

Er is veel te doen om de ki-bot ChatGPT (en ik=as doe vrolijk mee), maar het persbericht bij Science Daily van het MIT deed me beide wenkbrauwen ernstig fronsen. Onderzoek zou hebben uitgewezen dat ’taalmodellen’ als ChatGPT een nieuwe taak leren op basis van maar een paar voorbeelden, meldt dat persbericht. Huh? Hebben de programmeurs bij OpenAI dat niet vooraf bedacht toen ze dat algoritme ‘bekokstoofden’ en is dit (toevallige) bijvangst (of meerwaarde)? Of weten de onderzoekers niet wat de makers van OpenAI voor ogen stond toen ze dat algoritme schreven?
Hoe dan ook: ze (dat zijn de MIT-onderzoekers) ontdekten dat deze ’taalmodellen’ zelf kleinere lineaire modellen schrijven in hun ‘verborgen lagen’, waardoor de ki-bot makkelijk nieuwe taken aan kan.
Lees verder →