Wist je dat AI-detectors vaak ernaast zitten? Dit moet je weten

Kort antwoord: AI-detectors zijn niet betrouwbaar genoeg om beslissingen op te baseren. Zelfs OpenAI stopte in 2023 met zijn eigen detector, omdat die te vaak fout zat. Onderzoek laat bovendien zien dat detectors teksten van niet-moedertaalschrijvers vaker ten onrechte als AI aanmerken.

Het is een begrijpelijke reflex. Je krijgt een sollicitatiebrief, een rapport of een offerte die verdacht glad leest, en je wilt weten of er AI aan te pas kwam. Er zijn tientallen tools die beloven dat ze dat kunnen zien. Het probleem: ze kunnen het niet goed.

Wat er gebeurde met de detector van OpenAI

In januari 2023 bracht OpenAI een eigen tool uit om AI-tekst te herkennen. In juli 2023 haalde het bedrijf die tool weer offline, met als reden de lage nauwkeurigheid. Volgens OpenAI herkende de tool maar 26 procent van de AI-teksten correct als AI. En 9 procent van de door mensen geschreven teksten werd juist ten onrechte als AI gemarkeerd.

Als de maker van ChatGPT zelf geen betrouwbare detector kan bouwen, is dat een goede reden om voorzichtig te zijn met tools die het wel beloven.

Wie er het vaakst onterecht wordt beschuldigd

Onderzoekers van Stanford publiceerden in 2023 een studie met een veelzeggende titel: AI-detectors zijn bevooroordeeld tegen mensen die in een tweede taal schrijven. Teksten van niet-moedertaalschrijvers werden structureel vaker als AI aangemerkt, terwijl teksten van moedertaalschrijvers grotendeels goed werden herkend.

De reden is logisch als je het weet. Detectors kijken onder meer naar hoe voorspelbaar een tekst is. Wie in een tweede taal schrijft, gebruikt vaak eenvoudiger en voorspelbaarder zinnen. Precies dat lijkt voor een detector op AI.

De onderzoekers lieten ook zien dat een simpele herschrijfopdracht de detectors kon misleiden. Wie AI wil verbergen, lukt dat dus vaak. Wie eerlijk schrijft, loopt juist het risico verdacht te worden.

Waar dit in organisaties misgaat

Bij werving en selectie. Een kandidaat wordt afgewezen omdat een detector zegt dat de brief van AI komt.
Bij beoordelingen. Een medewerker krijgt de vraag of een rapport "wel echt van hem is".
Bij leveranciers. Een offerte wordt gewantrouwd op basis van een percentage.

In al deze gevallen neem je een beslissing over een mens op basis van een tool die het vaak mis heeft. Dat is oneerlijk, en het kan discriminerend uitpakken.

Wat je beter wel doet

De vraag "is dit door AI geschreven?" is meestal de verkeerde vraag. Betere vragen zijn:

Klopt de inhoud? Een tekst met AI-hulp kan prima zijn. Een tekst zonder AI kan vol fouten zitten.
Kan de schrijver het uitleggen? Vraag in een gesprek door op de inhoud. Dat zegt meer dan een percentage.
Wat hebben we afgesproken? Leg vast wanneer AI-hulp wel en niet mag, en wanneer je het vermeldt. Dan hoef je niet te raden.

Voor sollicitaties geldt: wees duidelijk in je vacature of je AI-hulp bij een brief prima vindt. Veel organisaties vinden dat geen probleem, zolang de kandidaat zelf achter de inhoud staat. Meer hierover lees je in wat HR moet weten over AI bij werving en selectie.

Veelgestelde vragen

Bestaat er een betrouwbare AI-detector?

Er is geen detector die betrouwbaar genoeg is om beslissingen over mensen op te baseren. OpenAI stopte met zijn eigen detector vanwege de lage nauwkeurigheid.

Waarom markeren detectors menselijke tekst als AI?

Ze kijken onder meer naar hoe voorspelbaar een tekst is. Eenvoudige, heldere zinnen, zoals mensen die in een tweede taal schrijven vaak gebruiken, lijken voor een detector op AI.

Mag ik een kandidaat afwijzen op basis van een AI-detector?

Dat is af te raden. De uitkomst is onbetrouwbaar en kan bepaalde groepen benadelen. Beoordeel de inhoud en het gesprek.

Hoe weet ik dan of iemand AI gebruikt?

Vaak hoeft dat niet. Spreek af wanneer AI-hulp mag en wanneer je het vermeldt, en beoordeel de inhoud op juistheid.