Les 02: Je AI-assistent beheren: door wie, hoe pak je het aan en hoeveel tijd kost dit?

Dit is les 2 in onze reeks over werken met een AI-assistent op je website. In les 1 ging het over de context die de vraag bepaalt. We hebben al met meer dan veertig organisaties een onboardingtraject doorlopen. Van gemeenten en zorginstellingen tot vakuitgevers, brancheverenigingen, bouwbedrijven en technische dienstverleners. De vraag die daarbij het vaakst terugkomt, gaat over het beheer van de AI-assistent: hoe pak je dat aan? Daar gaat deze les over.

Wie beheert de AI-assistent?

De eerste reactie is vaak dat AI iets voor IT is. Wij zien het als een marketingtool en iets voor het webteam: de contentmanager, webredacteur of product owner van de website. Dat zijn de collega's die nu al bepalen wat er op de site staat en hoe het er staat.

Als een antwoord niet klopt, ligt dat in de meeste gevallen aan de content, en dat is precies de expertise van het webteam. Ze kennen de pagina's, ze weten welke informatie verouderd is en welke term de organisatie liever niet gebruikt. Een AI-assistent is een nieuw kanaal op de kennis die op je website staat. Staat er iets fout op je website, dan zet het webteam dat zelf recht, en dat werkt hier net zo.

Wij als vragen.ai zorgen voor de techniek, het model, de beschikbaarheid en de veiligheidsregels. Wat we niet kunnen, is beoordelen of een antwoord inhoudelijk klopt. Een antwoord van een taalmodel is snel plausibel en mooi geformuleerd, maar als je de inhoud kent, zie je direct of het ook goed is.

Wat ik bij klanten goed zie werken, is de volgende rolverdeling:

• één eigenaar (maximaal twee) die de assistent beheert en mag aanpassen
• een kernteam van drie of vier mensen dat meebeslist
• een bredere groep collega's die af en toe een steekproef doet en feedback geeft

Hoe kleiner het kernteam, hoe sneller je kan schakelen.

vragen.ai =

• AI-harnas De motor. Taalmodel naar keuze, in Nederland of de EU.vragen.ai
• Kennis Je eigen bronnen, altijd actueel.Jij
• Instructies Toon, richtlijnen en gedrag van je agents.Jij
• Monitoring Volg live wat je AI doet en hoe het presteert.Jij
• Evaluatie Meet de kwaliteit en stuur bij op resultaat.Jij

Wij beheren het model en de functionaliteit. • Jij beheert de rest.

Hoeveel tijd ben je eraan kwijt?

Dit valt gelukkig mee. Je hebt geen halve fte nodig om een AI-assistent in de lucht te houden. Het meeste werk zit in de periode voor de livegang: bepalen welke content meegaat, de toon, grenzen vastleggen en testen met echte vragen. Staat dit eenmaal, dan kan je gaan monitoren en bijsturen waar nodig.

Vlak na livegang kijk je waarschijnlijk iedere ochtend even een kwartier voor een korte steekproef. Je leert de assistent kennen, je ziet welke vragen binnenkomen en je ontdekt waar je content tekortschiet. Dat is ook de leukste fase, want je ziet voor het eerst letterlijk wat bezoekers vragen aan je website.

Na een paar weken zakt dat naar een wekelijkse blik van een half uur tot een uur. Je krijgt steeds meer gevoel voor wat je assistent doet en waarom hij bepaalde antwoorden geeft. Daarnaast plan je iedere maand een uur of twee om wijzigingen door te voeren, dus een paar uur per maand.

De tijd groeit mee met het aantal gesprekken. Een site met tweehonderd gesprekken per maand bekijk je in een half uur. Een site met duizenden gesprekken leunt zwaarder op de automatische signalen in de beheeromgeving van vragen.ai. Wat niet verandert, is dat je dit werk moet inplannen, anders blijft het liggen.

Vergelijk het met je webstatistieken: daar kijk je ook niet dagelijks naar, maar wel met een vast ritme.

Dit zijn de uren die je besteedt aan het monitoren en aansturen van de AI-assistent. Komt daaruit dat er content ontbreekt of verouderd is, dan kost het schrijven of bijwerken van die pagina ook tijd. Hoeveel, hangt af van wat je tegenkomt. Nieuw werk is het niet; dit doe je als webteam al. Je krijgt er nu alleen een hulpmiddel bij dat laat zien waar die content over moet gaan, omdat je bezoekers het je letterlijk vragen.

Hoe pak ik het beheer aan?

Open eerst de analyse in de beheeromgeving voordat je losse gesprekken gaat lezen. Daar zie je in één oogopslag welke onderwerpen deze week het meest voorkwamen, welke onderwerpen zijn verschoven ten opzichte van de vorige periode en hoe de antwoordkwaliteit zich ontwikkelt. Je ziet er ook de gesprekken die vragen.ai zelf heeft gelabeld met “ontbrekende content” of “content verbeteren”. Je hoeft dus niet ieder gesprek na te lezen; dat is veel te tijdrovend. De analyse vertelt je welke onderwerpen en gelabelde gesprekken je in je steekproef wilt meenemen.

Gesprekken lezen en beoordelen

Tijdens je steekproef open je de gesprekken van de periode die je kiest en lees je er een handvol. Niet alles, en niet alleen de gesprekken met een signaal: juist de gesprekken zonder label laten zien of je de automatische beoordeling kunt vertrouwen. Een kwartier tot een half uur is genoeg.

Zie je een gesprek dat aandacht nodig heeft, dan markeer je het en zet je er in één zin bij waarom. “Belooft iets uit te zoeken wat hij niet kan.” “Oude versie van de richtlijn gebruikt.” Door een reactie te plaatsen ontdek je snel of er een rode draad in de bevindingen zit. Ook collega's kunnen zo meekijken en zien waar jij vindt dat er actie nodig is. En niet alleen collega's: met Regels verbeteren met AI kan vragen.ai op verzoek je reacties meelezen en stelt het op basis daarvan aanpassingen voor die jij alleen nog hoeft te beoordelen.

Een aanpassing doorvoeren

Na een paar dagen markeren ligt er een stapel gesprekken met een reactie erbij, en dan komt het aanpassen. Voordat je iets verandert, helpt het om te weten aan welke twee knoppen je kunt draaien.

Een antwoord van de AI-assistent wordt bepaald door:

1. Kennis (de bronnen) Welke bronnen de assistent gebruikt en wat erin staat. Wat mist, wat klopt niet, wat moet zwaarder wegen?
2. Deskundigheid (gedrag en toon) Hoe hij antwoordt, het gedrag, toon en de zoekstrategie. Hoe moet de agent antwoorden?

De gemarkeerde gesprekken bespreek je met je team. Per gesprek bepaal je of het een contentactie is of een aanpassing van de instructies. Deze flowchart helpt bij het maken van de keuze:

1. 1 Komt dit vaker voor?

   Nee Eenmalig Geen actie, houd het in de gaten.

   JaGa door naar vraag 2

2. 2 Klopt de reactie en past die bij de vraag? Ook als de AI bewust geen antwoord geeft.

   Ja Bewuste keuze Geen actie.

   NeeGa door naar vraag 3

3. 3 Hoort deze vraag bij de assistent?

   Nee Instructies Leg vast hoe hij dan doorverwijst.

   JaGa door naar vraag 4

4. 4 Staat het antwoord (de informatie) op jullie website?

   Nee Content Zet de informatie op je website.

   JaGa door naar vraag 5

5. 5 Staat de pagina in de kennisbank van de AI?

   Nee Kennisbank De AI kan de pagina niet goed lezen. Check of hij wordt opgehaald, of laat ons meekijken.

   JaGa door naar vraag 6

6. 6 De juiste bron is gevonden, maar zit het antwoord niet goed in elkaar?

   Ja Instructies Aanpassen met Regels verbeteren met AI.

De eerste vraag in de flowchart is meteen de belangrijkste: komt dit vaker voor? Een taalmodel geeft niet twee keer exact hetzelfde antwoord, dus één slecht antwoord op je eigen lievelingsvraag zegt weinig. Kijk naar patronen over meerdere gesprekken voordat je iets aanpast.

Pas je veel tegelijk aan, dan dupliceer je de agent (zo heet je assistent in de beheeromgeving), geef je de kopie een versienummer en pas je die aan. Je test eerst met elkaar, met dezelfde vragen als voorheen, en pas als het beter is zet je de nieuwe versie open voor bezoekers, precies zoals je in je CMS een pagina klaarzet voordat je hem publiceert. Bij ieder gesprek zie je achteraf met welke versie er is geantwoord.

Het ritme is dus: wekelijks kijken en markeren, en maandelijks met het team beslissen en aanpassen.

Waar kijk je naar in vragen.ai?

Niet naar alles: praktisch gezien beantwoord je drie vragen.

Waar komen mensen voor? De onderwerpen en thema's laten zien welke vragen leven. Dit is het deel dat teams het meest interessant vinden, en terecht. Je hoeft niet langer te raden naar de intentie achter een paginabezoek, je leest hem. Let wel op vertekening door voorbeeldvragen: een onderwerp dat hoog scoort omdat iedereen op dezelfde suggestie klikt, zegt weinig.

Waar gaat het mis? Daarvoor heb je twee hulpmiddelen. Het eerste zijn de scores: vragen.ai beoordeelt ieder antwoord automatisch op drie punten, en bij iedere score hoort een andere actie.

• Betrouwbaarheid Kloppen de claims met de bronnen? Scoort dit laag, dan zegt de assistent dingen die niet in je bronnen staan. Kijk eerst naar de content: ontbreekt de informatie, is hij verouderd of spreekt hij zichzelf tegen? Klopt de content wel, dan is het een instructie-actie: hij is te stellig of vult zelf aan.
• Relevantie Sluit het antwoord aan op de vraag? Scoort dit laag, dan ontbreekt de informatie vaak op je website. Meestal een content-actie, of de vraag hoort niet bij de assistent.
• Bronrelevantie Sluiten de gevonden bronnen aan bij de vraag? Scoort dit laag, dan vond de assistent vooral iets wat erop lijkt. Ook vaak ontbrekende informatie, of de juiste pagina staat niet goed in de kennisbank.

Het tweede zijn de labels. Gesprekken die laag scoren, of waar de bezoeker een duimpje omlaag gaf, krijgen er een. Twee labels verdienen je aandacht:

• “Ontbrekende content” betekent dat er geen pagina is die deze vraag beantwoordt.
• “Content verbeteren” betekent dat de pagina wel bestaat, maar dat de assistent hem niet goed begreep of dat de informatie over zes plekken verspreid staat.

Zie een label als goed nieuws. Een vraag waarop de assistent geen antwoord heeft, laat precies zien waarvoor mensen komen en wat er op je site nog ontbreekt.

Wat zegt de trend? Een enkel slecht antwoord is een incident. Een score die over weken langzaam daalt, is een signaal: de content sluit niet meer aan op wat bezoekers vragen, of een aanpassing heeft iets kapotgemaakt. Daarom kijk je in de maandelijkse sessie ook naar het verloop, en niet alleen naar deze week.

Mag ik aan de AI-instructies zitten?

De instructies voelen als de motor: je draait aan één schroef en wie weet wat er aan de andere kant verandert. Een klant zei het laatst zo: hoe weet ik dat een nieuwe regel niet botst met de regels die er al staan?

Kijk eerst naar de content, dan pas naar de instructies. In acht van de tien gevallen waarin een antwoord niet goed is, ligt dat aan de content. De pagina ontbreekt, is verouderd, of de informatie staat verspreid over zes plekken. Kijk dus altijd eerst waar de assistent zijn informatie vandaan haalde; dat zie je per gesprek, stap voor stap. Meestal is de oplossing een betere pagina, en daar zit je als webteam al dagelijks aan. De instructies zijn voor de uitzonderingen: een campagne die loopt van 3 tot 6 oktober, een vakterm die de assistent niet herkent, een vervolgvraag die te stellig klinkt.

Je kunt bovendien weinig kapotmaken. Je probeert een regel uit zonder op te slaan, zodat de live assistent niet verandert, en je draait dezelfde vraag opnieuw om te vergelijken. Bevalt het, dan zet je het live. Grotere wijzigingen doe je in een kopie met een versienummer, zoals hierboven beschreven. En iedereen kan een eigen testassistent aanmaken om mee te oefenen, die nooit online komt.

Je hoeft ook geen prompt te schrijven. Je beschrijft in gewone taal wat je zag (“de assistent belooft dingen uit te zoeken die hij niet kan opzoeken”) en met Regels verbeteren met AI stelt vragen.ai een regel voor, toetst die aan de bestaande regels en laat zien wat er verandert. Jij beslist.

Nog één ding dat ik teams meegeef als ze gaan aanpassen: formuleer regels algemeen. Een regel voor één vakterm is al snel een regel te veel; na een tijdje heb je er twintig en ziet de assistent door de bomen het bos niet meer. Wat wel goed werkt: één algemene regel met een paar voorbeelden erbij. Je hoeft geen uitputtende lijst vaktermen aan te leveren; met twee of drie voorbeelden snapt de assistent het patroon en past hij de regel ook toe op termen die je niet had genoemd.

Vlak na livegang pas je de instructies regelmatig aan. Na een paar maanden zakt dat bij de meeste klanten naar één aanpassing per maand.

Zo begin je

Je hoeft niet alles uit deze les in één keer te regelen. Begin met twee afspraken: wie de eigenaar is, en wanneer je tevreden bent. Die tweede vergeten teams het vaakst. Welke score wil je zien, hoeveel gesprekken verwacht je, welke vragen moeten in ieder geval goed beantwoord worden? Zonder eigen criteria blijft een assistent eindeloos in de pilotfase hangen.

De rest komt vanzelf zodra je iedere ochtend dat kwartier pakt. Twijfel je over wie dit bij jullie moet oppakken, vraag ons dan om advies.