Een webcrawler (ook wel spider of (ro)bot genoemd) is een stukje software dat website-pagina’s in kaart brengt. Elke zoekmachine of software heeft zijn eigen webcrawler. Zo heeft Google bijvoorbeeld “Googlebot” als webcrawler. Ook SEO-software (zoals SEMRush of Screaming Frog) maakt gebruik van een crawler om je website te analyseren.
Zoekmachines sturen deze crawlers het hele internet over om website-pagina’s in kaart te brengen en toe te voegen aan de zoekresultaten.
Een crawler ziet alleen de code van een pagina en leest deze regel voor regel. Als een crawler een link tegenkomt, dan volgt hij deze. Daarom zijn interne links en het hebben van een sitemap zo belangrijk voor SEO. Ze zorgen er namelijk voor dat al je pagina’s in de zoekmachines terecht komen.
Wil je dat bepaalde pagina’s niet worden opgepakt door een crawler (en daarmee niet in zoekmachines komen)? Dan kan je deze pagina een ‘noindex’ geven en verwijderen uit je sitemap. Als je een WordPres-website hebt, kan je dit eenvoudig doen met de Yoast SEO plugin.
