Gesprekken testen en evalueren

Tijdens een optimalisatieronde test je hoe goed de vragen.ai agent aansluit op jouw organisatie, content en gebruikers. De vragen.ai AI-agent kan:

• zelfstandig informatie ophalen uit meerdere bronnen;

• vervolgvragen begrijpen binnen dezelfde context;

• informatie combineren;

• bronnen tonen;

• inzicht geven in hoe een antwoord tot stand is gekomen.

Het doel van de testronde is om te zorgen dat de AI de intentie van de gebruiker goed begrijpt, relevante informatie ophaalt én passende en bruikbare antwoorden geeft.

Waar test je op?

Tijdens iedere testronde onderzoek je waar verbeteringen nodig zijn, bijvoorbeeld:

• begrijpt de AI de vraag goed?

• worden de juiste bronnen gebruikt?

• sluit het antwoord aan op de doelgroep?

• is het antwoord inhoudelijk correct en bruikbaar?

Op basis van de resultaten kun je de agent verbeteren, dit kan zitten in;

• de beschikbare content

• het zoek- en retrievalgedrag;

• de interpretatie van vragen;

• antwoordopbouw;

• AI-instellingen en instructies.

Rollen binnen de testronde

Bij een testronde kun je een onderscheid maken tussen twee rollen:

• Tester

• Annotator

Rol 1: Tester

Als tester beoordeel je hoe goed de agent vragen begrijpt en beantwoordt.

1. Stel een vraag
Test realistische vragen vanuit verschillende doelgroepen of situaties.
Wil je een nieuw onderwerp testen? Start dan altijd een nieuw gesprek. 

2. Beoordeel het antwoord
Kijk naar:

• Volledigheid - Is de vraag goed beantwoord?

• Inhoudelijke juistheid - Klopt de informatie?

• Bruikbaarheid - Is het antwoord duidelijk en toepasbaar?

• Bronvermelding - Zijn de juiste bronnen gebruikt?

• Doelgroepgerichtheid - Past het antwoord bij de gebruiker?

3. Geef feedback
Gebruik het duimpje omhoog of omlaag onder het antwoord.
Beschrijf zo concreet mogelijk:

• wat goed ging;

• wat beter kan;

• welke informatie ontbreekt;

• welke bron niet klopt of ontbreekt.

Hoe concreter de feedback, hoe beter de agent geoptimaliseerd kan worden.

4. Verstuur je feedback
Klik op Versturen om je feedback op te slaan.

Rol 2: Annotator

Als annotator beoordeel je:

• de kwaliteit van antwoorden;

• de gebruikte bronnen;

• de feedback van testers.

Daarnaast help je om patronen en verbeterpunten zichtbaar te maken.

Taken van een annotator

1. Feedback beoordelen
Bekijk in de inbox van vragen.ai:

• de vraag;

• het antwoord;

• de feedback;

• en eventueel de trace.

De trace laat zien:

• welke (denk)stappen de AI heeft genomen;

• welke bronnen zijn gebruikt;

• hoe het antwoord is opgebouwd.

2. Voorbeelden markeren
Markeer voorbeelden die relevant zijn om met je team of het vragen.ai support team te bespreken, zoals:

• sterke antwoorden;

• terugkerende fouten;

• ontbrekende content;

• verkeerde interpretaties.

3. Bevindingen samenvatten (optioneel)
Het vragen.ai support team staat altijd klaar om te helpen, maak dan ook een korte samenvatting van;

• belangrijkste inzichten;

• terugkerende patronen;

• verbeterpunten.

Op deze manier kunnen we goed meedenken in hoe we de agent kunnen optimaliseren.

Goed om te weten

• Feedback en annotaties worden gekoppeld aan een gebruikersnaam (als je bent ingelogd op vragen.ai).

• Niet iedere fout betekent dat de AI verkeerd werkt; soms ontbreekt content of context.

• Iedere test helpt om de agent slimmer en betrouwbaarder te maken.

Tips voor een goede test

• Test vanuit verschillende doelgroepen.

• Gebruik zowel simpele als complexe vragen.

• Stel vervolgvragen binnen hetzelfde gesprek.

• Test ook synoniemen, vaktermen en onduidelijke vragen.

• Kijk niet alleen naar het antwoord, maar ook naar de gebruikte bronnen