Les 01: Andijvie snijden, hoefbevangen shetlanders en andere vragen voor het orakel

Sinds de lancering in 2023 hebben we vragen.ai bij ruim veertig organisaties live gezet. Van gemeenten en zorginstellingen tot vakuitgevers, brancheverenigingen, bouwbedrijven en technische dienstverleners. Iedere onboarding leert ons iets wat in geen enkele handleiding staat. In deze reeks zetten we tien van die lessen op een rij. We beginnen bij onszelf, want onze eigen site bleek een goede eerste les.

Wat gebeurt er als je “Stel je vraag” boven een AI-veld zet zonder erbij te zeggen waarover? Wij weten het nu. We hebben alle gesprekken van dit jaar op onze eigen site doorgelezen, 2.389 vragen in 1.589 gesprekken, en de rare vragen bleken niet eens het echte probleem.

Dit kwam er binnen

• “Kan een shetlander hoefbevangenheid aan één voorbeen krijgen?”
• “Kun je een vraag bedenken voor een pubquiz over de huisartsenpraktijk in Ewijk”
• “Ford kuga laat soms 2 toetertjes horen als ik auto afsluit. Waarom”
• “Kunnen er twee pizarettes op één groep”
• “Hoe kan ik kipkar recht laten terugzetten zonder dat wielen omklappen”
• “Waar is het eerste gevangenishotel ter wereld”
• “Geef de 5 goedkoopste oplaadstations op de A1 in Frankrijk voor een BMW i3 met 120 Ah”

Stuk voor stuk op vragen.ai, onze eigen site. Vragen waar wij werkelijk niets mee te maken hebben. En omdat we er geen antwoord op hadden, kregen die mensen netjes ons standaardantwoord: neem contact op met Timon Zuurmond (onze accountmanager), hier is zijn nummer en zijn mailadres. Hij is er een paar keer echt over gebeld.

Eerst verbazing, toen ongemak

Onze eerste reactie: wat zijn mensen aan het doen?

Onze tweede reactie: misschien keken we naar de verkeerde plek. Niet het model, maar onze eigen homepage bleek deze vragen uit te lokken.

Kijk maar mee met iemand die ons niet kent. De naam vragen.ai is nogal breed. Dat kan klinken als het orakel: hier mag alles, hier weten ze alles. Staat er dan ook nog groot “Stel je vraag” op de pagina, met “is het nieuwe zoeken” eronder, dan is het niet zo gek dat je denkt: oké, let's go. En mensen scannen. Drie woorden, twee tellen, hup. Die fout is zo gemaakt.

Dus deden mensen precies wat er stond. Ze stelden een vraag. Alleen niet over ons.

Een duidelijkere ingang maakte direct verschil

We hebben het verhaal op onze website opnieuw opgebouwd, zodat sneller duidelijk is wat vragen.ai is en voor wie. En we hebben de ingang veranderd: van “Stel je vraag” naar “Probeer vragen.ai uit”. Dat ene zinnetje verandert de verwachting. Niet omdat “Stel je vraag” op zichzelf verkeerd is. Maar in combinatie met de naam vragen.ai en “is het nieuwe zoeken” werd de uitnodiging wel erg breed. “Probeer vragen.ai uit” maakt duidelijker waar het gesprek op onze website voor bedoeld is.

Maand	Gesprekken	Ging nergens over
januari	154	55%
februari	180	52%
maart	207	53%
april	126	69%
mei	169	85%
juni	185	55%
juli	369	27%
augustus (t/m 28)	199	34%

Van ruim de helft naar ongeveer een derde. Er is geen regel bijgekomen in het model. We hebben alleen duidelijker gemaakt waar mensen waren en waarvoor ze vragen.ai konden gebruiken.

1.589 gesprekken in acht maanden is trouwens geen enorm aantal. Dat weten we. We werken eraan om meer mensen vragen.ai te laten vinden en gebruiken. Tips zijn welkom.

Dezelfde fout, één laag hoger

Mei is de raarste maand van het jaar: 85% van de gesprekken ging nergens over. En het was allemaal hetzelfde. “Where can I pick up my race number?” “Tot hoe laat kan ik zaterdag mijn startnummer voor de 5 km ophalen?” “The 10k was cancelled, I'd like a refund.” “Is there a shuttle bus from Den Haag?”

Wij zijn sponsor van de Leiden Marathon. Op de site van de marathon staat vragen.ai, die deze vragen prima beantwoordt. Maar wie via ons logo bij ons uitkwam, stelde zijn vraag gewoon daar.

Dezelfde aanname, andere plek. Ook hier bepaalde de context welke vraag iemand stelde. De pagina wekte een verwachting, en de bezoeker handelde daarnaar.

De rare vragen waren niet het echte probleem

Van de 2.389 vragen gingen er 1.025 over iets waar wij niets mee te maken hebben. Vervelend, maar te repareren met een duidelijkere pagina.

De andere 1.314 gingen wél over ons. Over vragen.ai, over prijzen, over privacy, over koppelingen. En daarvan kregen er 294 geen antwoord. Ruim één op de vijf mensen stelde precies de goede vraag en kreeg te horen dat we het niet wisten.

Dat is geen AI-probleem. Het is een contentprobleem. De informatie stond simpelweg niet op onze website.

Waar die 294 over gingen:

Wat ze wilden weten	Aantal	Bijvoorbeeld
Wat is dit eigenlijk	69	“Waarom ben je anders dan een vraag stellen aan chatGPT?”
Wat kost het	35	“Wat zijn de prijzen van de verschillende pakketten?”
Hoe koppel ik het	27	“Zijn er al bestaande integraties met WordPress?”
Hoe gaat zo'n traject	20	“Welke personen en afdelingen zijn betrokken bij de implementatie?”
Wie gebruikt het al	11	“Welke klanten in het onderwijs hebben jullie?”
Is het veilig	10	“Hoe gaat vragen.ai om met persoonsgegevens van kinderen jonger dan 16?”

En dan nog wat losse: “Vervang jij de zoekfunctie op een site?” “Hoe kom ik aan een API Bearer token?” “Hebben jullie prijzen voor non-profits?” “Waar wordt vragen.ai gehost?” “Als ik jou nu allemaal privégevoelige gegevens geef, wat doe je daar dan mee?” “Ja, geef me een referentie-gemeente.”

Die vragen wijzen precies aan wat er nog mist. Eigenlijk vormen ze onze inhoudsopgave. De prijzen, de WordPress-plugin, de hosting en beveiliging: het staat er inmiddels allemaal, omdat iemand het vroeg.

De vragen bepalen waar we over schrijven

De onbeantwoorde vragen zijn ons belangrijkste redactiemiddel geworden. We lezen ze door en stellen bij iedere vraag dezelfde vraag: zou onze website hier antwoord op moeten geven? Is het antwoord ja, dan schrijven we het. Niet als losse regel in een prompt, maar als pagina, want dan kan iedereen het lezen en kan de agent het gebruiken.

We kijken daarbij verder dan alleen de gesprekken in vragen.ai. Wat wordt er in klantoverleggen gevraagd? Wat komt er binnen via servicetickets? Waar vragen mensen aan de telefoon op door? Welke vragen blijven via de mail terugkomen? Steeds met hetzelfde filter: hoort dit op de site? Zo ja, dan schrijven we het.

Daarin zijn we niet de enige. Het contentteam van Werken voor Nederland leest de onbeantwoorde vragen op precies dezelfde manier terug.

Zo krijg je drie dingen tegelijk. Een agent die meer over vragen.ai kan vertellen, een website waar de informatie staat die mensen willen weten en betere vindbaarheid op onderwerpen waar mensen naar zoeken. Dat laatste is mooi meegenomen, maar de kern blijft hetzelfde.

We schrijven voor mensen, niet voor het model. De agent profiteert mee.

Het werkt:

Maand	Vragen over ons	Kreeg geen antwoord
januari	88	99%
februari	128	73%
maart	171	20%
april	59	17%
mei	59	27%
juni	141	9%
juli	494	6%
augustus (t/m 28)	174	6%

Van bijna alles naar bijna niets, zonder dat er één keer iemand ging bedenken wat bezoekers zouden willen weten. Ze vertelden het gewoon.

Begin bij de context

Zet je een AI-gesprek op je eigen site, kijk dan eerst naar wat je rondom dat gesprek vertelt. Wat staat er boven het invoerveld? Is duidelijk waar iemand is en waarover diegene een vraag kan stellen? De naam, de tekst en de plek op de pagina bepalen samen wat iemand verwacht.

Kijk daarna naar de vragen waarop geen antwoord komt. Staan daar veel vragen tussen die niets met je organisatie te maken hebben, dan is de context misschien niet duidelijk genoeg. Gaan de vragen wél over je organisatie, maar ontbreekt het antwoord, dan weet je waar je content nog tekortschiet.

Een goed AI-gesprek begint dus niet alleen bij de AI. Het begint bij de context die je geeft en de informatie die je beschikbaar maakt.