(Web)crawlers spelen een cruciale rol in de wereld van SEO. Crawlers worden ook wel spider, of spiderbot genoemd. De crawlers waarover we spreken hebben als doel om pagina's op het internet te vinden en te indexeren. De belangrijkste crawler waar waarover we het hebben is Googlebot
Crawlers zijn stukjes software die geprogrammeerd zijn om automatisch informatie op het web te vinden en te verwerken. Binnen SEO worden er aandachtig naar crawlers gekeken omdat deze informatie verzameld die mogelijk kan worden weergegeven in zoekmachines. Veel website-eigenaren doen dan ook hun uiterste best de website zo toegankelijk mogelijk te maken voor deze crawlers.
Crawlers gaan op zoek naar informatie en gegevens op websites en in mindere maten mobiele applicaties. Een crawler begint met een website URL of een lijst aan URL's. Een crawler bezoekt deze URL's en scant de inhoud van website achter deze URL's. Tijdens het bezoek zoekt de crawler naar linkjes en slaat deze op aan een "te bezoeken" lijst om deze pagina's in de toekomst te bezoeken. Tijdens het bezoeken van de pagina's slaat een crawler de gevonden informatie op, vaak om het zoeken binnen de betreffende pagina's in de toekomst te vereenvoudigen.
Crawlers worden bijna altijd ingezet door zoekmachines. Verschillendde algoritmes sturen de crawlers aan en vertellen naar welke informatie ze moeten zoeken. Je kunt een crawler zien als iemand die door een hele collectie boeken struint en belangrijke informatie arceert met een marker. Zo kan iemand op een later moment vliegensvlug gebruik maken van deze nuttige informatie zonder zelf het boek te moeten lezen.
Een crawler werkt als vogt:
Het crawlen van het web is erg kostbaar. Er zijn miljoenen websites actief. Crawlers zijn dag en nacht bezig al deze informatie op te slaan en te verwerken. Om te zorgen dat ze dit op de meest effieciente wijze doen werken ze volgens bepaalde regels.
Niet alle pagina's zijn even relavant. Pagina's met weinig content of pagina's die nauwelijks bezocht worden zijn niet interessant.
Sommige pagina's zijn juist erg interessant en worden regelmatig geupdatet. De crawler moet in dit geval periodiek terugkomen om de updates te verwerken.
Simpel: als Google je website niet weet te vinden, kunnen ze deze ook niet weergeven. Je wil zorgen dat Google jouw pagina's ziet en opslaat. Over het algemeen gaat het proces van crawlen en weergeven automatisch. Je hebt hier geen invloed op, maar hoeft je er ook geen zorgen over te maken.
Om te verifieren of Google je pagina's succesvol kan crawlen heb je een account bij Search Console nodig.
Op deze pagina wordt uitgelegd wat Google Search Console precies is en hoe het werkt.
Na het inloggen bij Search Console klik je in het linkermenu op "Coverage"
Je ziet een scherm met vier knoppen
Uitleg per onderdeel:
Kort samengevat heb je gelezen wat crawlers zijn, dat crawlers voornamelijk door zoekmachines worden ingezet en heb je gelezen hoe crawlers te werk gaan. Heb je vragen over crawlers of wil je meer weten over zoekmachine optimalisatie? Bekijk al onze content. We vertellen je alles over zoekmachine optimalisatie en hoe je je website beter vindbaar maakt in Google.
