Onze Crawler Whitelisten in Cloudflare

Waarom de Vragen.ai Crawler white-listen?

Cloudflare beschermt websites tegen ongewenste bots en aanvallen, maar soms kan dit legitieme crawlers zoals de Vragen.ai Crawler blokkeren. Door onze crawler te white-listen, zorg je ervoor dat onze AI jouw content correct kan indexeren zonder onderbroken te worden door beveiligingsmaatregelen.

Hoe herken je de Vragen.ai Crawler?

Onze crawler gebruikt de volgende User Agent:

Meer lezen over onze Crawler

Stappen om de Vragen.ai Crawler te white-listen in Cloudflare

1. Inloggen op Cloudflare

• Ga naar Cloudflare Dashboard en log in op je account.

• Selecteer de juiste website waarvoor je de Vragen.ai Crawler wilt white-listen.

2. Firewall Rule aanmaken

1. Navigeer naar Security > WAF (Web Application Firewall).

2. Ga naar Custom Rules en klik op Create Rule.

3. Geef de regel een naam, bijvoorbeeld: Whitelist Vragenai Crawler.

4. Stel de regel in als volgt:

   • Field: User-Agent

   • Operator: contains

   • Value: Vragenai

5. Kies bij Action: Allow.

6. Klik op Deploy Rule om de instellingen op te slaan.

3. IP-adres van de crawler white-listen (optioneel)

Als extra maatregel kun je IP-adressen white-listen die door onze crawler worden gebruikt:

1. Ga naar Security > WAF > Tools.

2. Voeg onder IP Access Rules een nieuw IP-adres toe (neem contact op voor de actuele IP-ranges).

3. Stel de actie in op Allow en klik op Add.

Veelgestelde vragen

1. Wat als de crawler nog steeds wordt geblokkeerd?

Controleer of er andere regels actief zijn die bots blokkeren, zoals Bot Fight Mode of Rate Limiting. Pas deze instellingen aan indien nodig.

2. Hoe vaak crawlt Vragen.ai mijn site?

Onze crawler volgt de richtlijnen in je robots.txt-bestand en past zich aan op basis van de serverbelasting.

3. Kan ik de crawl-snelheid aanpassen?

Ja, je kunt een Crawl-delay instellen in je robots.txt-bestand.

Support

Door de bovenstaande stappen te volgen, zorg je ervoor dat de Vragen.ai Crawler je website correct kan indexeren zonder dat Cloudflare het verkeer blokkeert. Als je nog vragen hebt, neem dan contact op met ons supportteam via support@vragen.ai.