Testen en evalueren
Tijdens een optimalisatieronde test je hoe goed de vragen.ai agent aansluit op jouw organisatie, content en gebruikers. De vragen.ai AI-agent kan:
-
zelfstandig informatie ophalen uit meerdere bronnen;
-
vervolgvragen begrijpen binnen dezelfde context;
-
informatie combineren;
-
bronnen tonen;
-
inzicht geven in hoe een antwoord tot stand is gekomen.
Het doel van de testronde is om te zorgen dat de AI de intentie van de gebruiker goed begrijpt, relevante informatie ophaalt én passende en bruikbare antwoorden geeft.
Waar test je op?
Tijdens iedere testronde onderzoek je waar verbeteringen nodig zijn, bijvoorbeeld:
-
begrijpt de AI de vraag goed?
-
worden de juiste bronnen gebruikt?
-
sluit het antwoord aan op de doelgroep?
-
is het antwoord inhoudelijk correct en bruikbaar?
Op basis van de resultaten kun je de agent verbeteren, dit kan zitten in;
-
de beschikbare content
-
het zoek- en retrievalgedrag;
-
de interpretatie van vragen;
-
antwoordopbouw;
-
AI-instellingen en instructies.
Twee taken tijdens de testronde
Tijdens een testronde zijn er twee soorten werk. Iemand kan ze allebei doen, of je verdeelt ze over collega's:
-
Testen: vragen stellen en de antwoorden beoordelen.
-
Annoteren: die beoordelingen en de gebruikte bronnen nalopen en patronen zichtbaar maken.
Wie dit mag doen, regel je met de systeemrollen: testen en annoteren kan iedereen met de rol Annotator of Editor (zie Gebruikers en rollen beheren). "Tester" en "annotator" hieronder zijn dus taken, geen aparte toegangsrollen.
Testen
Bij het testen beoordeel je hoe goed de agent vragen begrijpt en beantwoordt.
1. Stel een vraag
Test realistische vragen vanuit verschillende doelgroepen of situaties.
Wil je een nieuw onderwerp testen? Start dan altijd een nieuw gesprek.
2. Beoordeel het antwoord
Kijk naar:
-
Volledigheid: is de vraag goed beantwoord?
-
Inhoudelijke juistheid: klopt de informatie?
-
Bruikbaarheid: is het antwoord duidelijk en toepasbaar?
-
Bronvermelding: zijn de juiste bronnen gebruikt?
-
Doelgroepgerichtheid: past het antwoord bij de gebruiker?
3. Geef feedback
Gebruik het duimpje omhoog of omlaag onder het antwoord.
Beschrijf zo concreet mogelijk:
-
wat goed ging;
-
wat beter kan;
-
welke informatie ontbreekt;
-
welke bron niet klopt of ontbreekt.
Hoe concreter de feedback, hoe beter de agent geoptimaliseerd kan worden.
4. Verstuur je feedback
Klik op Versturen om je feedback op te slaan.
Annoteren
Bij het annoteren beoordeel je:
-
de kwaliteit van antwoorden;
-
de gebruikte bronnen;
-
de feedback van testers.
Daarnaast help je om patronen en verbeterpunten zichtbaar te maken.
Taken van een annotator
1. Feedback beoordelen
Bekijk in de inbox van vragen.ai:
-
de vraag;
-
het antwoord;
-
de feedback;
-
en eventueel de trace.
De trace laat zien:
-
welke (denk)stappen de AI heeft genomen;
-
welke bronnen zijn gebruikt;
-
hoe het antwoord is opgebouwd.
2. Voorbeelden markeren
Markeer voorbeelden die relevant zijn om met je team of het vragen.ai support team te bespreken, zoals:
-
sterke antwoorden;
-
terugkerende fouten;
-
ontbrekende content;
-
verkeerde interpretaties.
3. Bevindingen samenvatten (optioneel)
Het vragen.ai support team staat altijd klaar om te helpen, maak dan ook een korte samenvatting van;
-
belangrijkste inzichten;
-
terugkerende patronen;
-
verbeterpunten.
Op deze manier kunnen we goed meedenken in hoe we de agent kunnen optimaliseren.
Goed om te weten
-
Feedback en annotaties worden gekoppeld aan een gebruikersnaam (als je bent ingelogd op vragen.ai).
-
Niet iedere fout betekent dat de AI verkeerd werkt; soms ontbreekt content of context.
-
Iedere test helpt om de agent slimmer en betrouwbaarder te maken.
Tips voor een goede test
-
Test vanuit verschillende doelgroepen.
-
Gebruik zowel simpele als complexe vragen.
-
Stel vervolgvragen binnen hetzelfde gesprek.
-
Test ook synoniemen, vaktermen en onduidelijke vragen.
-
Kijk niet alleen naar het antwoord, maar ook naar de gebruikte bronnen
De evaluatiescores in je inbox
Naast menselijke feedback helpen de AI-evaluatiescores je monitoren hoe goed vragen.ai vragen beantwoordt. Elke beantwoorde vraag in je inbox krijgt drie scores, op een schaal van 0 tot 100.
Betrouwbaarheidsscore
Betrouwbaarheid geeft aan in hoeverre het antwoord gebaseerd is op betrouwbare, geverifieerde informatie uit jullie gekoppelde bronnen. Een hoge score betekent dat het antwoord goed onderbouwd is met relevante brondata.
Relevantiescore
De relevantiescore laat zien hoe goed het antwoord aansluit op de gestelde vraag. Hoe hoger de relevantie, hoe beter het antwoord past bij de informatiebehoefte van de gebruiker.
Bronrelevantiescore
Bronrelevantie geeft aan in hoeverre de gebruikte bron(nen) daadwerkelijk aansluiten bij de vraag. Het meet dus de mate waarin de geraadpleegde documenten of pagina's relevant zijn voor het specifieke antwoord.
Wat doe je bij een lage score?
Een enkele lage score is geen reden tot zorg; kijk vooral naar vragen of onderwerpen die structureel laag scoren. Welke score laag is, wijst meestal naar de oorzaak:
-
Lage betrouwbaarheid: de content over dit onderwerp ontbreekt, is verouderd of spreekt zichzelf tegen. Omdat elk antwoord op een bron wordt gebaseerd, valt een lage score hier vaak samen met een bron die niet goed past. De oplossing zit dan bijna altijd in de content: vul de ontbrekende informatie aan op je website of herschrijf de tegenstrijdige pagina's (zie Best practices). In de trace bij een gesprek zie je welke bron en welke stappen tot het antwoord leidden.
-
Lage relevantie: het antwoord beantwoordt de vraag niet echt. Vaak mist er een pagina die precies deze vraag behandelt; taakgerichte content ("Hoe vraag ik X aan?") helpt hier het meest.
-
Lage bronrelevantie: de AI vindt wel bronnen, maar niet de juiste. Controleer op dubbelingen of verouderde documenten in je kennisbank, en beperk zo nodig met kennis-scopes welke bronnen meetellen (zie vragen.ai configureren).
Test na een aanpassing met een controle-vraag of de score verbetert (zie de tip in Problemen oplossen en support). Kom je er niet uit, mail dan naar service@vragen.ai; we kijken graag mee.