Aantal gepubliceerde artikelen stijgt en daarmee het aantal beoordelingen (afb: NSF)

Belangrijk onderdeel in het wetenschappelijk bouwwerk is de beoordeling van wetenschappelijke artikelen in goede wetenschappelijke tijdschriften. Die beoordelaars zijn mensen van vlees en bloed die uit het vakgebied van de auteurs van het artikel komen en dat kan nog wel eens wringen. Bovendien stijgt het aantal wetenschappelijke artikelen in rap tempo. Met de opkomst van kunstmatige intelligentie is ook de gedachte opgekomen ki een grotere rol of misschien dé rol te laten spelen in dat beoordelingsproces. Sommige onderzoekers zijn voor maar andere hebben grote twijfels of ki een rol zou kunnen spelen.
Die vraag werd opgeworpen door het populairwetenschappelijk blad uit de VK, New Scientist, maar helaas ben ik niet geabonneerd en kan het bijgaande artikel niet lezen behoudens de eerste paar regels. In het gerespecteerde blad Science stond afgelopen juli een artikel waarin gesteld werd dat wetenschapsfondsen geen voorstanders zijn van het gebruik van ki bij de beoordeling vooraf van de artikelen.
Zo deed het Amerikaanse instituut voor gezondheidsinstellingen (NIH) ki-systemen in de ban voor het analyseren en formuleren van de beoordelingen. Daarbij gaat het ook om het beoordelen van onderzoeksvoorstellen. De Australische onderzoeksraad (pdf-bestand) deed ki in de ban voor beoordeling van artikelen na berichten dat die zouden zijn gemaakt door ChatGPT. De Amerikaanse en Europese onderzoeksraden beraden zich kennelijk nog over de rol van ki-systemen in de beoordeling van artikelen en onderzoeksvoorstellen.

Voor de tegenstanders is vertrouwelijkheid de grootste zorg bij het gebruik van ki. Als delen van een artikel of voorstel worden gebruikt om ki-systemen ‘wegwijs’ te maken, dan is de vrees gerechtvaardigd dat die misbruikt of gestolen kunnen worden. Bovendien zouden die systemen nogal wat fouten maken door afwijkende standpunten mee te nemen als algemeen aanvaarde wetenschappelijke standpunten. “De oorspronkelijkheid die de NIH graag ziet raakt verloren in dit proces en dat zou zelfs plagiaat kunnen produceren”, schreven NIH-ers in een blog.

Gevaarlijk

Tjibbe Donker van de universiteit van Freiburg (D) had het in The Lancet over de gevaren van ki in de beoordeling. De beoordeling van het taalmodel leek op wat mensen zouden produceren, maar had niets te maken met waar het artikel over ging. Bovendien produceerde het ki-systeem (een zogeheten groot taalmodel (LLM in Engels afko) zoals ChatGPT) een hoop flauwekulreferenties. De beoordeling zag er oppervlakkig bekeken professioneel uit maar bevatte geen wezenlijke kritiek op het artikel of het onderzoek.
Iemand die het artikel niet goed zou hebben gelezen zou de beoordeling voor degelijk houden. Het commentaar dat vaak kant noch wal raakte zou zelfs kunnen leiden tot weigering van het artikel. Niet gebruiken, was zijn commentaar.

Volgens sommige onderzoekers is de NIH technofoob. Mohammad Hosseini van de Northwesternuniversiteit, die zich met deze kwestie heeft bezig gehouden, denkt dat de beslissing op het moment juist is gegeven de relatieve nieuwigheid van ki en de gevoeligheid van het onderwerp. Hij constateert in zijn artikel dat er momenteel nog geen richtlijnen zijn om ki te kunnen gebruiken.

Hosseini zegt dat niet expliciet, maar suggereert wel dat dat met de tijd kan veranderen en dat zou best wel eens kunnen. Hoe lang hebben we nog mensen nodig om wetenschap te bedrijven?, denk ik (=as) dan.

Bronnen: New Scientist, Science, editage.com