De Vragen.ai Crawler

Wat is een crawler?

Een crawler, ook wel een webcrawler of bot genoemd, is een geautomatiseerd programma dat websites bezoekt en hun inhoud analyseert. Crawlers worden vaak gebruikt door zoekmachines om webpagina's te indexeren, maar ze kunnen ook worden ingezet voor andere doeleinden, zoals het verzamelen van informatie voor AI-systemen.

Wat doet de Vragen.ai Crawler?

De Vragen.ai Crawler wordt gebruikt om relevante informatie van uw website op te halen en te verwerken. Dit stelt onze AI in staat om nauwkeurige en up-to-date antwoorden te geven op vragen die gebruikers stellen. De crawler volgt de richtlijnen die zijn ingesteld in het robots.txt-bestand en respecteert standaard crawling-intervals om de serverbelasting te minimaliseren.

User Agent

Onze crawler identificeert zichzelf met de volgende User Agent:

Je kan onze crawler herkennen in de serverlogs van je website aan deze User Agent.

Hoe kan je de Vragen.ai Crawler beheren?

Robots.txt-instellingen

Je kan het gedrag van de Vragen.ai Crawler beheren door regels toe te voegen aan uw robots.txt-bestand. Bijvoorbeeld:

Dit voorkomt dat de crawler de map /private-folder/ bezoekt.

Crawl-snelheid aanpassen

Onze crawler respecteert crawl-delay-richtlijnen indien deze in robots.txt zijn gedefinieerd. Bijvoorbeeld:

Hiermee wordt ingesteld dat de crawler minstens 10 seconden wacht tussen opeenvolgende verzoeken.

Wat als ik problemen ondervind?

Als je vragen hebt of ongewenst crawlgedrag ervaart, kan je contact opnemen met ons supportteam via support@vragen.ai.