Wetenschappers verkiezen de mening van Kunstmatige Intelligentie boven die van hun menselijke collega’s: het onderzoek

door Janine

03 November 2023

Onder de chatbot-programma's die kunstmatige intelligentie gebruiken, is er ChatGPT. Het gebruik ervan breidt zich uit tot het punt dat het zelfs de menselijke beoordeling vervangt bij de analyse van wetenschappelijke documenten, blijkt uit een onderzoek.

ChatGPT: wat is het en waar dient het voor

Freepik

ChatGPT is een taalkundig model dat in november 2022 door OpenAI is gelanceerd en een ongelooflijke hoeveelheid gegevens gebruikt om antwoorden te verwerken, waardoor het ook op de werkplek uiterst nuttig is. Je stelt gewoon een vraag om gedetailleerde informatie te krijgen over vrijwel elk onderwerp, behalve over bijzonder gevoelige thema’s: deze geavanceerde technologie is in staat woorden en zinsdelen te indexeren door middel van statistieken, begeleid en versterkend kennis opdoen. Uiteraard beschikt het niet over dezelfde intelligentie als het menselijk brein, maar het is wel in staat woorden op een verrassende manier samen te stellen en onderwerpen te genereren die niet alleen betekenisvol zijn, maar ook goed geformuleerd.

Op academisch en wetenschappelijk gebied is het niet alleen nuttig voor het schrijven van artikelen, maar ook voor het vragen om suggesties over de te gebruiken titel, over de in te voegen begrippen, totdat een heel document is geproduceerd: dit geldt ook voor de eenvoudigste schoolopstellen en essays, tot aan wetenschappelijke teksten. Om deze reden zijn er talloze debatten en twijfels ontstaan ​​over het gebruik ervan, dat door een simpele ondersteuning een echte vervanging kan worden voor sommige menselijke activiteiten. Zoals bijvoorbeeld in het geval van wetenschappelijke reviewers.

ChatGPT en wetenschappelijke beoordeling: het experiment

Pexels

Blijkbaar ontvangen onderzoekers liever de mening van ChatGPT over hun werk dan dat ze zich tot hun collega's wenden voor suggesties, kritiek en correcties. Alvorens hun geschriften in wetenschappelijke tijdschriften te publiceren, moeten academici hun werk onderwerpen aan peer review, dat wil zeggen aan het oordeel van collega’s in de sector. Dit betekent dat andere onderzoekers in hetzelfde vakgebied het verrichte werk evalueren en vergelijken met eerder gepubliceerde artikelen om de bevindingen te bevestigen of te weerleggen. Dit systeem is erop gericht het document origineel en solide te maken, maar het lijkt erop dat het aantal “menselijke” recensenten is afgenomen.

Veel gerenommeerde vakbladen vertrouwen op vrijwillige reviewers om dit werk uit te voeren: dit betekent dat alleen onderzoekers die ermee instemmen om de documenten van collega-collega's gratis te beoordelen, zichzelf beschikbaar stellen, waardoor hun aantal steeds beperkter wordt. Dit soort hulpmiddelen, zowel vanwege de noodzaak om iemand uit dezelfde sector te vinden als vanwege het gebrek aan beloningen, zijn steeds moeilijker te vinden en dit bewustzijn heeft James Zou, assistent-professor biomedische datawetenschappen aan de Stanford University, VS, ertoe aangezet om te controleren of chatbots zoals ChatGPT daadwerkelijk peer review kunnen vervangen. Samen met zijn collega's verzamelde hij 5.000 documenten die eerder waren beoordeeld door de uitgeversgroep Nature en de ICLR (International Conference on Learning Representations), stuurde de pdf-bestanden naar ChatGPT en vergeleek de beoordeling van de AI met die van de onderzoekers.

Peiling: wat onderzoekers zeggen over de ChatGPT-review

Pixabay

Uit het resultaat bleek dat ongeveer een derde van de waarnemingen van het programma dezelfde waren als die van mensen. Op dit punt nam Zou contact op met de onderzoekers die de documenten voor zijn onderzoek hadden opgesteld: 57,4% vond de beoordeling van ChatGPT zeer nuttig, terwijl 82,4% verklaarde dat het werk van de chatbot beter was dan dat van sommige menselijke collega's. In Zou's experiment werd echter geen rekening gehouden met een belangrijk aspect: er zijn enkele fouten aanwezig in de ChatGPT-feedback, vanwege het probleem van verkeerde informatie van chatbots, wat voor verwarring kan zorgen. Zou's onderzoek is nog niet gepubliceerd omdat het wacht op peer review, maar het laat hoe dan ook zien dat de meerderheid van de auteurs ChatGPT efficiënter vindt dan het analyseren van hun collega's. Blijft de vraag: is dit echt zo?

Om deze technologie functioneel en nuttig in te zetten, kun je in ieder geval rekening houden met deze aspecten:

•  Formuleer zinnen eenvoudig en duidelijk, zodat de antwoorden eenvoudig, maar gedetailleerd zijn
• Hoe meer details je verstrekt, des te “begrijpender” ChatGPT je zal voorzien van een effectief antwoord
• Als je inspiratie nodig hebt voor het schrijven van een tekst, vraag dan aan de technologie welke onderwerpen je zou kunnen behandelen
• Als je een toespraak moet voorbereiden, kun je het programma vragen om je wat ideeën te geven
• Moet je op reis? Door je bestemming aan te geven en je behoeften te beschrijven, kan ChatGPT je een persoonlijk reisschema bezorgen

Kortom, er zijn heel veel gebruiksmogelijkheden, maar de menselijke bijdrage aan kunstmatige intelligentie mag nooit ontbreken. Wat denk jij ervan?