Wat is een webcrawler?

Een webcrawler (ook wel spider of (ro)bot genoemd) is een stukje software dat website-pagina’s in kaart brengt. Elke zoekmachine of software heeft zijn eigen webcrawler. Zo heeft Google bijvoorbeeld “Googlebot” als webcrawler. Ook SEO-software (zoals SEMRush of Screaming Frog) maakt gebruik van een crawler om je website te analyseren.

Zoekmachines sturen deze crawlers het hele internet over om website-pagina’s in kaart te brengen en toe te voegen aan de zoekresultaten.

Een crawler ziet alleen de code van een pagina en leest deze regel voor regel. Als een crawler een link tegenkomt, dan volgt hij deze. Daarom zijn interne links en het hebben van een sitemap zo belangrijk voor SEO. Ze zorgen er namelijk voor dat al je pagina’s in de zoekmachines terecht komen.