Crawl budget

Publicerad 13 mars 2017, senast uppdaterad 2023-05-19

Crawl budget är en nyckelfaktor för SEO-arbetet trots att det inte är en direkt rankingsignal. Följer ni upp hur era webbplatser spindlas?

Oavsett om du har en webbplats med ett mindre antal sidor eller en webbplats med väldigt många sidor, vill du att Google ska besöka alla dessa om du har byggt en bra webbplatsstruktur. Först då har Google möjlighet att bedöma de och välja ifall de ska indexeras och vilken relevans de har mot olika söktermer. Att en specifik sida ska spindlas säkerställer du genom att du har en bra intern länkstruktur i form av menyer och internlänkar som gör att Googles spindlar kan besöka dessa sidor och därefter indexera.

En del som är intressant gällande det här med hur Google väljer att spindla webbplatser är det som oftast benämns som Crawl budget, vilket handlar om hur ofta och vilka sidor Googles bottar spindlar. Det här är ingenting som direkt påverkar din ranking hos Google men det är ändå är något som kan påverka webbplatsen i det långa loppet med tanke på hur många sidor som spindlas och indexeras.

Två viktiga faktorer för Crawl budget?

Er webbplats crawl budget baseras bland annat på crawl limit som säger hur pass väl er sida responderar ur ett spindlingsperspektiv. Det innefattar faktorer som laddningstid och serverfel men även ifall du har givit Google några förhållningsregler.

Den andra stora faktorn som crawl budget baseras på är crawl demand. Det indikerar hur populär din webbplats och dess sidor är. Men också en viktigt detalj i hur ofta de uppdateras.

Vad bör du då tänka på kring crawl budget?

• Undersök hur många sidor Google spindlar i snitt per dag enligt Google Search Console under Genomsökningsåtgärder -> Genomsökningsstatistik. Förhåll genomsnittet till hur många sidor du har på din webbplats och tänk på att Google besöker mer populära sidor oftare.
• Undersök hämtningstiden på i grafen nederst på samma sida och se ifall ni kan sänka hämtningstiden.
• Försök hålla antalet 400 och 500-fel på så låg nivå som möjligt. Kan enkelt undersökas i Google Search Console.
• Säkerställ att Google spindlar alla sidor på er webbplats. Gör det genom att i serverloggarna undersöka att Googles user agent besökt alla urler. Screaming Frog har skrivit ett bra inlägg om det här.
• Hur många sidor har du på din webbplats och hur många är indexerade när du gör en sökning på site:domain.se. Det är en indikator som påvisar indexering i förhållande till spindling.

För att sammanfatta Crawl budget kan man säga att det är en av de störst påverkande faktorerna ur ett SEO-perspektiv som inte är en direkt ranking signal.