Zo meet je of je AI-training echt werkt

Kort antwoord: meet op vier niveaus. Wat vonden mensen ervan, wat weten ze nu, wat doen ze anders, en wat levert dat op? Dat is het model van Kirkpatrick, het bekendste model om trainingen te evalueren. Bij AI-training is het derde niveau, gedrag, het belangrijkste: gebruiken mensen AI nu echt veiliger?

Een training afronden is makkelijk te meten. Iedereen heeft een vinkje, klaar. Maar dat zegt niet of er morgen minder klantgegevens in privé-tools verdwijnen. Daarvoor moet je verder kijken.

Het model van Kirkpatrick

Donald Kirkpatrick ontwikkelde in 1959 een model met vier niveaus om het effect van trainingen te meten. Het wordt nog steeds breed gebruikt:

1. Reactie: wat vonden deelnemers van de training?

2. Leren: wat weten en kunnen ze nu?

3. Gedrag: passen ze het toe in hun werk?

4. Resultaten: wat levert dat op voor de organisatie?

Hieronder per niveau wat je bij AI-training meet.

Niveau 1: reactie

Vraag na de training kort wat mensen ervan vonden. Was het bruikbaar voor hun werk? Was het duidelijk? Zouden ze het een collega aanraden?

Dit niveau zegt weinig over het effect, maar het is een voorwaarde. Een training die mensen saai of nutteloos vinden, verandert zelden iets.

Niveau 2: leren

Toets wat mensen weten. Bijvoorbeeld met een korte set vragen voor en na de training:

• Welke gegevens mogen niet in een AI-tool zonder afspraken?

• Wat is het verschil tussen een privé-account en een zakelijke tool?

• Waarom kan AI met overtuiging iets verzinnen?

• Wat controleer je altijd voordat je AI-output deelt?

Het verschil tussen de voor- en nameting laat zien wat er is geleerd.

Niveau 3: gedrag

Dit is waar het om gaat. Een paar manieren om gedrag te meten:

• Zelfrapportage. Vraag na een paar weken anoniem: wat doe je nu anders dan voor de training?

• Gebruik van de goedgekeurde tool. Stijgt het gebruik van de zakelijke tool? Dan wijken mensen waarschijnlijk minder uit naar privé-tools.

• Vragen die binnenkomen. Meer vragen over twijfelgevallen is een goed teken. Het betekent dat mensen nadenken over de grens.

• Steekproeven. Kijk samen met een team naar een paar AI-teksten die naar klanten zijn gegaan. Zijn ze nagelezen?

Niveau 4: resultaten

Dit is het moeilijkst te meten, maar het is wat de directie wil weten:

• minder incidenten met gegevens in AI-tools;

• minder fouten in AI-teksten die naar buiten gaan;

• tijd die AI bespaart, nu mensen het goed en veilig gebruiken;

• een helder antwoord als een klant vraagt hoe je met AI omgaat (lees waarom klanten dat gaan vragen).

Wees eerlijk dat niet alles direct aan de training is toe te schrijven. Maar als je voor de training een nulmeting doet, kun je wel een duidelijke trend laten zien.

Zo maak je het praktisch

1. Doe een nulmeting. Een korte vragenlijst over kennis en gedrag voordat de training begint. De gratis AI-risicocheck kan daarbij helpen.

2. Meet direct na de training reactie en kennis.

3. Meet na vier tot zes weken het gedrag.

4. Meet na een half jaar de resultaten en herhaal de kennisvragen.

5. Deel de uitkomsten. Met de directie, en met het team. Zo blijft het onderwerp leven.

Lees ook hoe je voorkomt dat AI-training een vergeten e-learning wordt.

Veelgestelde vragen

Hoe meet je het effect van een AI-training?

Op vier niveaus: reactie, leren, gedrag en resultaten. Dat is het model van Kirkpatrick. Bij AI-training is het meten van gedrag het belangrijkst.

Is een certificaat genoeg bewijs?

Een certificaat laat zien dat iemand de training heeft gevolgd. Het zegt niet of iemand AI nu veiliger gebruikt. Daarvoor meet je kennis en gedrag.

Wanneer meet je het gedrag?

Na vier tot zes weken. Dan hebben mensen de kans gehad om het toe te passen, en is de training nog niet vergeten.

Wat is een goede nulmeting?

Een korte vragenlijst over wat mensen weten en hoe ze AI nu gebruiken, afgenomen voordat de training begint.

Bronnen

• Kirkpatrick Partners, The Kirkpatrick Model