In deze categorie (6)
Een AI-model kan je alleen citeren als het je pagina mag ophalen. Een regel in je robots.txt, een firewall of een botbeveiliging kan dat tegenhouden, terwijl je site in je eigen browser gewoon werkt. Deze controle laat zien of dat bij jou zo is.
De controle doen
- Open de tab AI-Readiness en zoek het blok Kunnen AI-crawlers hier bij?. Het controleert de pagina die je bovenaan bekijkt.
- Klik op Crawlers controleren. Veesie leest je robots.txt en klopt daarna met elke botnaam apart aan. Dat duurt een tiental seconden.
- Lees de gekleurde samenvatting. Die zegt of de bots die AI-antwoorden opbouwen bij deze pagina kunnen.
- Onder Alle 14 bots staat het detail per bot, verdeeld in Antwoorden nu, Zoekindex en Training. De lijst staat open; klik op de kop om hem dicht te klappen.
De drie groepen
- Antwoorden nu: deze bots halen je pagina op terwijl iemand een vraag stelt. Weer je ze, dan sta je niet in dat antwoord. Dit is de groep die telt.
- Zoekindex: deze bots bouwen de index waar AI-antwoorden uit putten. Een blokkade werkt trager door, met hetzelfde eindresultaat.
- Training: deze bots verzamelen materiaal om modellen te trainen. Ze weren kost je vandaag geen zichtbaarheid en is een legitieme keuze over je eigen content.
Per bot twee uitkomsten
Elke bot krijgt twee labels. Het eerste zegt wat je robots.txt toelaat (robots.txt ok of robots.txt blokkeert, en robots.txt niet na te lezen als je bestand te groot was om helemaal te lezen). Bij een blokkade staat de regel erbij die het doet.
Het tweede zegt wat er gebeurde toen Veesie met die botnaam aanklopte: server antwoordt, server weigert of niet vast te stellen. Dat laatste staat er bij een time-out of als de server het aantal verzoeken begrenst; dat kan aan de controle zelf liggen en zegt niets over je botbeleid. Twee bots zijn geen echte crawler maar een schakelaar in robots.txt; daar staat geen eigen crawler.
Grenzen
- Vijf controles per website per 24 uur. Dit telt niet mee voor je AI-acties.
- De uitslag wordt niet bewaard: ze verandert zodra jij je robots.txt of firewall aanpast, dus een oude uitslag zou misleiden.
- Kon Veesie je robots.txt niet ophalen, dan zegt de samenvatting dat. Wat dan groen staat, is niet zeker.
- Is je proefperiode of abonnement afgelopen, staat er een betaling open of staat de website op pauze, dan staat de controle uit.
Zie ook
- Hoe Veesie meet: hoe de chatmodellen live op het web zoeken voor ze antwoorden
- Welke AI-bronnen Veesie meet: welke AI-bronnen Veesie bevraagt
- Zien welke pagina's AI als bron gebruikt: of AI je pagina's daarna ook als bron gebruikt