Print Friendly, PDF & Email

Door Lisette van Gemert-Pijnen

Inleidingi 

ChatGPT (ontwikkeld door Open AI)  is een Large Language Model, een kunstmatige intelligente (AI) chatbot. ChatGPT heeft sinds de lancering ervan in november 2022 veel aandacht in de media, het gaat dan vooral over de impact ervan op onderwijs en de arbeidsmarkt, minder op de fundamentele betekenis ervan. De vraag die in dit artikel centraal staat is wat de impact is die ChatGPT kan hebben op het doen van onderzoek, welke nieuwe mogelijkheden biedt het en wat zijn de nadelen ervan? Om die vraag te beantwoorden is gebruik gemaakt van artikelen die zich louter richten op de toepassing van ChatGPT ten behoeve van wetenschappelijk onderzoek.   

Mogelijkheden van ChatGPT  

Uit diverse studies komt een aantal mogelijkheden naar voren voor de toepassing van ChatGPT in onderzoek (Sallam 2023; Mahuli, 2023; Sok, 2023) 

  • ChatGPT kan snel en uitvoerig data verzamelen en omgaan met grote volumes aan informatie.    

Voor onderzoekers kan ChatGPT van nut zijn voor het schrijven van werkstukken, artikelen, reviews van literatuur of voor het updaten van bestaande informatie. Taken die doorgaans veel inspanning en tijd kosten. Vooral de systematische reviews kosten tijd.  Door gebruik van AI (Large Language model, LLM) en training op grote datasets is efficiënt onderzoek doen mogelijk.  

  • ChatGPT kan helpen bij idee-ontwikkelen, brainstormen.   

Door gebruik van sleuteltermen, zoekwoorden kan ChatGPT relevante topics leveren over een bepaald probleem of toepassing. Dit kan als aanvulling gebruikt worden op de klassieke zoektochten naar informatie, of voor nadere verdieping van informatie.  

  • ChatGPT kan gaps en tekortkomingen in informatie opsporen   

ChatGPT kan als assistent editor functioneren door tekortkomingen in een tekst te identificeren of door gaps te benoemen in de informatie. Dit kan handig zijn voor het schrijven van een introductie van een artikel. Voor het schrijven van een onderzoeksvoorstel of een discussie. ChatGPT  kan een lijst met onderzoeksvragen aanleveren die nieuwe topics aansnijden of verder uitdiepen.  

  • ChatGPT kan aanvullende demografische profielen genereren  

Denk hierbij aan gegevens die van belang zijn voor het nader verkennen van de doelgroep van het onderzoek, gegevens die mogelijk andere inzichten op kunnen leveren dan de gebruikelijke profielen als gender, leeftijd etc.  

  • ChatGPT kan de stijl en leesbaarheid aanpassen 

ChatGPT kan de stijl en leesbaarheid afstemmen op de beoogde doelgroep en kan teksten in allerlei talen opleveren, wat handig is voor degenen die het Engels niet als eerste taal beheersen.  

Kritische houding voor het gebruik van ChatGPT in onderzoek 

Uit recente studies naar het gebruik van ChatGPT in onderzoek komt naar voren dat de waarde van de tool vooral het brainstormen is, het genereren van nieuwe of andere ideeën over een bepaald onderwerp of onderzoeksdesign of het genereren van een gedetailleerde outline van een artikel (Rahman 2023; Qureshi, 2023, Sallam, 2023). ChatGPT is niet meer weg te denken, van belang is dat de implicaties ervan op onderzoek nader verkend, bediscussieerd en gerapporteerd worden.  Vooralsnog komen uit literatuur onderstaande aandachtspunten naar voren: 

  • Betrouwbaarheid en onderbouwing  

Alhoewel ChatGPT een handige hulp kan zijn om de uitvoering van onderzoek te versnellen of zelfs te innoveren, is een kritische houding naar geleverde output en de geraadpleegde bronnen van belang. De kwaliteit en betrouwbaarheid van onderzoek kan bij ChatGPT in het geding zijn als expertise en ervaring ontbreken voor het doen van een “dubbelcheck” door onderzoekers zelf, en als er onvoldoende begrip van of inzicht is in de AI-modellen die ten grondslag liggen aan ChatGPT (van Dis et al, 2023, ref).  

Minder betrouwbaar is ChatGPT voor het verdiepen van een onderzoeksvraag of het identificeren van gaps in onderzoek omdat er te algemene informatie opgeleverd wordt over een bepaald onderwerp en omdat alleen referenties geleverd worden in plaats van originele artikelen. Er wordt met inzet van LLM alleen “non-existent” in tekst-citaties gegenereerd.  ChatGPT kan niet internet of nieuwe bronnen doorzoeken nadat het “getraind is”, het heeft een gedefinieerd eindpunt. Dit betekent dat de waarde ervan voor een systematische review dus zeer beperkt is. Ter illustratie, ontleend aan Rahman et al, 2023:  

Ook komt naar voren dat ChatGPT niet adequaat is in een synthese van literatuur, een van de kerntaken van een systematisch literatuuronderzoek. ChatGPT kan wel een handige onderzoek hulp zijn, maar een onderzoeker kan en mag er niet blind op vertrouwen.  

Een andere tekortkoming is dat er geen analyse van empirische data mogelijk is, zoals een thematische analyse van data (ref Qureshi, 2023, Rahman, 2023). Daarentegen kan ChatGPT wel van nut zijn om op basis van aangeleverde kwalitatieve data, zoals interviews, een analyse uit te voeren, mits daartoe de juiste “prompts” voor een analyse geleverd worden. Hiervoor is dan weer “menselijke” expertise nodig.  Bijvoorbeeld ChatGPT kan gebruikt worden voor de opzet van een meta-analyse in Python of R, maar ook dan is methodologische expertise nodig voor het omgaan met coderingsfouten, (ref  Qureshi 2023).  

Uit een studie naar het gebruik van ChatGPT in medische context, komt naar voren dat ChatGPT (ook nieuwere versies) wel ideeën kan genereren voor klinische vraagstukken maar dat er weinig ethische aspecten daarbij naar voren komen (Jianning Li, et al (2023). Verder blijkt dat ChatGPT relevante maar geen innovatieve onderzoeksvragen genereert bij  diverse medische aandoeningen, en dat het niet adequaat bruikbaar is voor klinische besluitvorming (CDS). Immers de antwoorden zijn gebiast en redundant ( ref Li,  Van Dis et al 2023).  De nieuwere versie GPT-4.0 is wel krachtiger in de performance maar blijkt nauwelijks beter voor assistentie bij een systematische review (ref Qureshi, 2023).  

Een toegevoegde waarde is dat door ChatGPT nieuwe of onverwachte ideeën gegeneerd worden die de kijk op onderzoek, zowel op de output ervan als op de methodologie, kan innoveren.  Echter, ChatGPT is getraind op een vaste data set, met mogelijke onnauwkeurigheden en bias en kan daardoor dus niet voldoen aan kwaliteitsnormen voor het gebruik van data in onderzoek. Bovendien stelt het gebruik eisen aan verantwoordelijkheid aangezien het LLM of AI-model (als non human) niet aansprakelijk gesteld kan worden. 

Voor een adequate en accurate toepassing van ChatGPT is beter inzicht nodig in de onderliggende AI en Large Language modellen (ref van Dis et al, 2023,  Qureshi, 2023, LI et al, 2023). Onderzoekers zullen de achterliggende opzet van AI en LLM moeten begrijpen om de betekenis van de gegenereerde output te kunnen duiden. Voor het doen van een systematische review bijvoorbeeld is het opstellen van een zoekstrategie nodig, ChatGPT kan hierin ondersteunen maar daarvoor is voldoende training van “gestructureerde taal”, zoals Boolean operators nodig. ( ref Qureshi, 2023).  OpenAI heeft vooralsnog nog geen details ontsloten over de werking van AI en algoritmen, wat de betrouwbaarheid van ChatGPT voor onderzoek op scherp stelt  

ChatGPT is in ontwikkeling en zal lerend zijn, en mogelijk dus ook meer van waarde kunnen zijn dan we nu kunnen overzien. Daarvoor is niet alleen inzicht in tekortkomingen nodig maar vooral ook in hoe de onderliggende LLM geoptimaliseerd kunnen worden. (Li et al, 2023). Onderzoek in Natural Language Processing kan veel betekenen voor het ontwerp van gespecialiseerde language modellen, bijvoorbeeld voor toepassing ervan in de gezondheidszorg (ref LI et al, 2023, en Wang et al, 2023)   

  • Verantwoording 

Verantwoording van het gebruik van bronnen, data en transparantie in toegepaste methoden zijn voorwaarden voor het doen van onderzoek, dat integer, betrouwbaar is en kwaliteit heeft. Juist deze aspecten zijn in het geding bij ChatGPT, AI-chatbots en de daarop gebaseerde LLM.  

In geval een dergelijk tool gebruikt is, zal dat vermeld moeten zijn in methodologie, of in “acknowledgement”(erkenning) van een publicatie. Ook (co)auteurschap dient nader gespecificeerd te worden. Uitgevers wijzigen dan ook hun beleid over het gebruik van Large Language Models (LLM)., Dwivedi et al, 2023). Grotere uitgevers zoals Springer-Nature, Taylor &Francis geven aan dat ChatGPT niet gebruikt kan worden als een auteur of coauteur, als het gebruikt wordt dan moet dat accuraat gerapporteerd worden en auteurs zijn daarvoor verantwoordelijk. Recent echter heeft Elsevier een artikel gepubliceerd waar ChatGPT coauteur is, wat een doorbraak kan betekenen in gebruik ervan in wetenschappelijke artikelen. Bij gebruik van ChatGPT moet verantwoord worden hoe en waarvoor (bv analyses etc.) gebruikgemaakt is van ChatGPT, wie de feitelijke auteur is van een publicatie (Chatbot; onderzoeker) en wie de rechten heeft van een publicatie? (ref van Dis et al, 2023)  

Onderzoeksinstellingen en uitgevers dienen beleid te ontwikkelen voor het verantwoord gebruik van ChatGPT, om plagiaat, bias en inaccurate gegevens te voorkomen. Diverse universitaire instellingen (o.m universiteiten Groningen, Radboud, Tilburg, Leiden, Erasmus, Delft, Twente) wijzen op de risico’s van ChatGPT, en geven aan hoe ChatGPT verantwoord en ethisch in onderwijs en onderzoek toegepast kan worden, en dat zij nader onderzoek en debat over AI en chatbots stimuleren.  

  • Richtlijnen 

Beleid en richtlijnen zijn nodig voor het gebruik van ChatGPT in academisch onderzoek ( Dwivedi et al, 2023 en Rahman, 2023). Deze richtlijnen moeten ingaan op aspecten als privacy, veiligheid, accuraatheid en betrouwbaarheid van AI gegenereerde content, en wat de rol is van betrokken onderzoekers als zij gebruik maken van ChatGPT. (ref Wang et al, 2023). Regelgeving omtrent het gebruik van AI en algoritmen is in beweging, vooral gericht op transparantie en het voorkomen van uitsluiting. (ref Wang et al, 2023).  

De toepassing van ChatGPT in gezondheidszorgonderzoek gaat vooral in op de impact die ChatGPT kan hebben op autonomie van zorgverleners , op de implicaties voor patiënten en op de accuraatheid van klinische beslissingen (Ref Li et al, Wang et al, 2023).  

  • Ethiek 

Een ander aspect betreft de betekenis van ChatGPT voor de ethiek van onderzoek doen. In literatuur reviews is daar vooralsnog weinig over bekend. In een onderwijs context is geen ‘ethische goedkeuring” nodig, zoals gebruikelijk bij onderzoek in de gezondheidszorg.   

Ethische kaders zijn nodig voor de toepassing van ChatGPT, AI, en algoritmen ter handhaving van privacy, ter voorkoming van bias en plagiaat, en ter bescherming van de informatie voor onderzoekers, burgers of patiënten, (Wang et al, 2023, Li et al, 2023 en Sallam, 2023) 

Data governance is nodig ter bescherming van privacy. Bijvoorbeeld identificatieproblemen kunnen ontstaan door het koppelen van diverse databronnen. Strikte en geavanceerde data anonimisering procedures zijn nodig om ongeautoriseerd bundelen van data te voorkomen (Wang et al, 2023).  

Zorgorganisaties dienen dan ook maatregelen te nemen voor adequate en ethische data-encryptie ter bescherming van privacy en ter bevordering van vertrouwen in data gestuurde zorg.  

 Regelgeving is ook nodig om sociale, culturele uitsluiting te voorkomen door toepassing van niet geteste, onzuivere algoritmen of inaccurate AI-modellen in onderzoek en medische besluitvorming (Wang et al, 2023/JMIR. /lancet) 

Momenteel worden ethische kaders en wet- en regelgeving voor toepassing van AI en ChatGPT verkend en geïncorporeerd in wetenschappelijke uitgaves en publicaties van universitaire instellingen, (ref Wang et al, 2023;): “The UN is assembling a high-level advisory body to build global capacity for trustworthy, safe, and sustainable AI; it is crucial that health and medicine are well represented” 

  • Onafhankelijkheid  

Hoe kan de onafhankelijkheid van de onderzoekers gewaarborgd worden met inzet van AI, ChatGPT?  

In plaats van menselijke schrijvers, reviewers en editors kan AI ingezet worden, maar wat betekent dit voor het doen van onafhankelijk onderzoek?  Dergelijke onzekerheden dienen nader verkend te worden, niet door ChatGPT te vermijden maar door te rapporteren over het gebruik ervan en implicaties ter discussie te stellen (van Dis et al, 2023; Wang et al, 2023). 

Discussie over autonomie is nodig, ook gezien het risico om afhankelijk te worden van grote commerciële technologiebedrijven Van Dis et al, 2023). Onderzoekers moeten hun rol nemen in verantwoordelijkheid voor data gegeneerde en AI gestuurde beslissingen, (Wang et al, 2023). 

Conclusie 

De laagdrempelige bereikbaarheid en de eenvoudige Q-A gebaseerde interface van ChatGPT geeft een impuls aan onderzoek, vooral voor het leesbaarder maken van artikelen, maar ook voor een discussie over methodologie. Meer inzicht is nodig hoe ChatGPT van toegevoegde waarde kan zijn, complementair aan de huidige onderzoek aanpak bijvoorbeeld voor de tijdrovende systematische literatuurstudies. Maar ook om de theoretische concepten van gebruikte methodologieën beter te doorzien. Door het uitproberen van AI-tools (LLM) en het publiceren van mogelijkheden en beperkingen kunnen we komen tot nieuwe inzichten en innovaties in het doen van onderzoek. Daarom is “gecalculeerd” experimenteren met LLM en AI gestuurde chatbots nodig, en discussie met uitgevers, onderzoekers en daaraan gerelateerde (inter) nationale instituten over de toegevoegde waarde ervan (Qusheri, Van Dis). Een (inter)nationale onderzoeksagenda is van belang voor de toepassing van generatieve AI-modellen, LLM en chatbots (ref Dwivedi, LI et al). De ICASR zet hier stappen in.  Het monitoren van het gebruik van ChatGPT in wetenschappelijke publicaties is gewenst om beleid te ontwikkelen voor het publiceren over en met ChatGPT (Wen et al, 2023). 

i Leeswijzer: hyperlinks naar literatuurbronnen worden alleen bij de eerste verwijzing gegeven. 

Over de auteur 

Lisette van Gemert-Pijnen is em. hoogleraar persuasive gezondheidstechnologie aan de Universiteit Twente. Zij is betrokken in diverse onderzoeks- en advies projecten voor een mensgerichte toepassing van AI in de gezondheidszorg.  

 Zoektermen voor het internet:   

Lisette van Gemert-Pijnen,ChatGPT, Artificial Intelligence, digitalisering, Large Language Model, chatbots, AI tools

Schrijf u in voor de nieuwsbrief


En ontvang elke 2 weken de nieuwsbrief met de meest recente artikelen in je mailbox!

Klik hier om in te schrijven

Dit zal sluiten in 10 seconden