Hvad er et crawl budget, og hvad er det til for?
Et crawl-budget er et budget som Google sætter for, hvor meget af din side, Googlebotten indekserer, når den besøger din hjemmeside. Med andre ord kan man sige, at det er den tid og opmærksomhed, Google tildeler din hjemmeside, inden Google hopper videre og kigger på konkurrenterne og deres sider.
Der er mange hjemmesider på internettet, og søgemaskinen kan ikke læse alt på alle hjemmesider. Derfor udvælger Google, hvem og hvor meget, der indekseres af hver hjemmeside.
En indeksering sørger bl.a. for at opdatere din rangering og hvordan du vises i Googles søgeresultater, hvis du eksempelvis har lavet ændringer i dine meta-informationer.
Googles bot crawler sådan set alle dine landingssider, men den crawler kun et vist antal landingssider, for hver gang, den er forbi din hjemmeside.
Så har du en stor side, f. eks. en webshop med mange produkter, bliver alle dine sider højst sandsynligt ikke crawlet på én gang. Google vil dele sit budget op, og tage siderne lidt ad gangen i dét omfang, Googles bot tillader det.
Hvordan bestemmer botten så, hvad der skal crawles først og hyppigst?
Når Google indekserer din side, vil botten bl.a. prioritere de sider, som er mest populære. Det er typisk sider med gode links, der har en vis link-autoritet, og de sider, som eksempelvis fremgår af dit XML-sitemap.
Indekseringen er altså baseret på data, så selvom du mener, der er sider, der er vigtigere for din hjemmeside, er Google altså herre i eget hus og det er derfor søgemaskinens egen algoritme, der fordeler budgettet.
Døde landingssider = Flere irrelevante sider
Nu spørger du måske dig selv, hvorfor det her mon er relevant for dig?
Det er det netop fordi, at Google som sagt nødvendigvis ikke kan besøge hele din hjemmeside på én gang, og dermed heller ikke nødvendigvis de landingssider, der er vigtigst for din forretning.
Derfor kan du fx være ude i, at du har lavet ændringer på en side, som ikke bliver indekseret, fordi dit crawl budget er brugt op, før Google når til den pågældende landingsside.
Her kommer de døde landingssider ind i billedet.
Døde landingssider er sider, du ikke rigtigt bruger, men som bare fylder på din hjemmeside. Det kan dog godt være, at kunderne bruger dem, når de besøger din side, men de finder ikke siderne på Google, fordi de døde landingssider typisk ikke har et søgeord tilknyttet.
Hvis du eksempelvis sælger t-shirts, der kommer i flere farver og størrelser, vil brugerne typisk blot søge efter t-shirtens model eller farve – Altså én søgning. Når de besøger landingssiden, hvor du sælger t-shirten fra, kan de så se t-shirten i andre farver og størrelser. De har hver deres landingsside, men de indekseres ikke.
Derfor er det heller ikke relevant at indeksere alle t-shirtens farver og alle de tilgængelige størrelser. Disse overskydende sider vil i så fald stjæle budget fra de sider, der reelt sælger dit produkt. Du kan nøjes med at tilknytte søgeord til én landingsside per produkt. Dermed sparer du budget, som kan fordeles ud på andre sider med andre produkter.
Dette kan betyde, at du får indekseret en masse sider, som ikke er relevante for dig at få indekseret, fordi det ikke er sider du ønsker at rangere, og dermed heller ikke sider, du tjener penge på.
Altså kan du risikere, at de sider som du måske har lavet ændringer på, ikke rangerer så godt i søgeresultaterne som de ville, hvis ikke Google crawlede andre sider, som ikke er lige så relevante.
Hvordan kan man så se, hvor mange sider ens crawl budget bliver brugt på?
Det kan man bl.a. ved at lave en site-søgning på Google, som ser ud som følger: site:domæne.dk
Her er eksemplet på arla.dk.
I den blå boks, som ses nederst på billedet, ser du antallet af sider som har “arla.dk” som en del af deres URL. Der står 19.000, og det er så antallet af sider, som Google potentielt kunne crawle, når deres Google bot når til Arlas hjemmeside.
Det giver altså en ide om, hvor mange sider som Google skal igennem, skulle den crawle alle din sides landingssider.
Hvordan finder du så ud af, hvor mange af siderne er døde landingssider, som måske stjæler dit budget? En måde, du kan se døde landingssider på, er at benytte dig af værktøjet Ahrefs. Ahrefs er godt nok ikke et gratis værktøj, men man kan købe en 7 dages prøveperiode for ca. 50 kr. Det er rigeligt til at tjekke din hjemmeside for døde landingssider.
Du skal da heller ikke snydes for en kort guide til, hvordan du gør det.
Vi viser dig hvordan du finder døde landingssider i Ahrefs, og hvordan du kan identificere dem. Samtidigt vil vi til sidst også forklare, hvad du kan gøre ved de døde landingssider.
- Du skal starte med at logge ind med din konto på Ahrefs, eller oprette en konto, hvis det er første gang du bruger programmet.
- Efter du har gjort det, sætter du URL’en på forsiden for din hjemmeside ind i søgefeltet, og trykker enter.
- Herefter trykker du på “top pages”, som befinder sig omkring midten af menuen, som du finder i venstre side. Den ligger under fanen “organic search”.
- Når du har trykket på “top pages”, får du en lang række sider, som rangerer på forskellige søgeord. Disse er de primære søgeord, som siderne rangerer på. Du kan se dem i højre side af skærmen.
- Nu skal du rulle ned i bunden af siden, og gå til den sidste side, som du har adgang til, alt efter hvilken adgang/pakke du har købt.
Hvad gør du så?
Her kan du se en masse af de sider, som rangerer på forskellige søgeord, som enten kan være relevante, eller irrelevante.
Her skal du kigge efter søgeord, som ikke er relevante for den pågældende landingsside.
Herunder ses et eksempel på en side, som rangerer på et søgeord, som ikke er relevant for den landingsside, som rangerer på det pågældende søgeord. Søgeordet er her “250 ml til gram”.
Inden du begynder at gøre noget, skal du sikre dig, at den døde landingsside du gerne vil gøre noget ved, ikke rangerer på et andet søgeord, som kunne være eller er relevant for siden. Du kan se, om landingssiden rangerer på andre søgeord end det, som står i højre side, ved at trykke på den lille boks i venstre side, som befinder sig under kolonnen “keywords”, og som er ud for den landingsside du kigger på. Boksen indeholder altid et tal, som angiver, hvor mange søgeord den pågældende landingsside rangerer på.
Hvis det irrelevante søgeord er det eneste søgeord, som siden rangerer på, kan du dit content management system, CMS, noindex siden. Dit CMS kan er måske WordPress eller Umbraco. Heri fortæller du med noindex Google, at Googles bot ikke skal indeksere siden, og derfor bruger man ikke crawl budget på den pågældende side, fordi du simpelthen beder Google om at ignorere den.
Hvordan gør man?
Her skal du ind i dit CMS, og finde den landingsside, som du ønsker at lave ændringer på.
I vores eksempel er systemet WordPress med pluginnet Yoast SEO installeret. Her ruller du lidt ned på siden, du vil lave ændringer på, og trykker på kategorien “avanceret” i Yoast SEO.
Derefter skal du trykke på bjælken, der befinder sig under “Tillad søgemaskiner at vise denne/dette Produkt i søgeresultaterne?”, og vælge muligheden “Nej”. Derefter trykker du “Opdater”.
Benytter du ikke WordPress, eller har et andet plugin end Yoast SEO, kan der være en knap eller et felt, som du skal trykke i, som også har en overskrift i stil med “Tillad søgemaskiner at vise denne/dette produkt i søgeresultaterne?”. Det er ikke alle CMS-systemer, der tillader dig at bruge noindex, så vi har selvfølgelig også en sekundær mulighed til dig.
Du kan nemlig også tilknytte et andet og relevant søgeord til siden, som du gerne vil rangere på, som du ikke allerede rangerer på. Således ændrer du den døde landingsside fra at være irrelevant og skadende for dit crawl budget, til at blive relevant for dig og din forretning at få indekseret.
Hvis siden i forvejen rangerer på et relevant søgeord, skal du ikke noindexe siden. Du kan derimod med fordel optimere siden til at rangere på det søgeord og relaterede søgeord, som siden i forvejen rangerer på. Dette er dog kun en mulighed, hvis der ikke er andre af sine landingssider, der allerede er på side 1 på Google, der bruger det pågældende søgeord.
Således slipper du altså for at køre dig selv og din forretning i ring, og du kan hurtigt og let erhverve dig mere crawl budget, og dermed øge dine egne muligheder for at blive tilgodeset af Googles crawl bot og opnå endnu bedre placeringer på Google.
