Website crawling refererer til den proces, hvor søgemaskiner scanner hjemmesider for indhold for efterfølgende at indeksere det i databaser.
Det gør de for at skabe overblik over, hvad de enkelte hjemmesiders indhold egentlig består af, samt hvor relevant det er for brugerne.
Lad os tage et nærmere kig på, hvad crawling er for en størrelse, samt hvilken relevans det har for dig som hjemmesideejer.
Hvorfor crawler søgemaskiner hjemmesider?
Crawling af hjemmesider er en proces, der foregår hele tiden.
Dette sker, da søgemaskinernes opgave altid er at finde og vise de mest relevante sider frem til brugerne, så snart de henvender sig med en søgeforespørgsel.
På denne måde er det nødvendigt at søgemaskinerne har en indikation af, hvilket indhold der er at finde på de enkelte hjemmesider og hvor disse sider kan placeres organisk på SERP.
Crawling og SEO
På denne måde har website-crawling en hel del at sige i forhold til SEO da forståelsen af, hvordan crawling-processen virker, giver en indikation af hvorledes hjemmesider bør optimeres.
Det er dog ikke let at vide, hvilke konkrete elementer søgemaskinernes crawler-bots leder efter, når de besøger en hjemmeside, da dette aldrig er blevet offentliggjort.
Man kan dog roligt regne med, at crawler-bots blandt andet leder efter søgeord på hjemmesider, for på denne måde at finde frem til, hvad hjemmesiden kan tilbyde.
Der vil dog her være tale om en balancegang mellem hvor mange og hvor få søgeord, man vælger at sætte på sin hjemmeside, da for mange søgeord kan være med til at udelukke en hjemmeside fra de øverste organiske placeringer.
Udover søgeordene kan SEO-discipliner såsom linkbuilding, strukturering af indhold, meta-tags etc. også være med til at give søgemaskinernes crawler-bots en bedre indikation af, hvilken type indhold der er tale om for den enkelte hjemmeside.
Hvad kigger crawler-bots efter?
Når søgemaskinernes crawler-bots kommer forbi en hjemmeside, kan man godt sammenligne det med, når gæster kommer på besøg derhjemme.
I disse tilfælde ønsker man at rydde op og gøre det pænt i boligen; det samme bør man tænke, når crawler-bots kommer på besøg på en hjemmeside.
Her kan man med fordel ”rydde op” på hjemmesiden og sørge for den mest logiske struktur, der gør det nemmere for bots at finde relevant indhold.
Der findes en række forskellige processer, der kan være med til gøre en hjemmeside præsentabel for bots, og nogle af disse indkluderer:
Skab en logisk struktur med interne links
Først og fremmest er det vigtigt at holde strukturen logisk på en hjemmeside.
Der skal gerne være interne links mellem siderne, hvor det giver mening, og er der tale om mange undersider, er det vigtigt at prioritere, at de vigtigste sider aldrig ligger mere end et par enkelte klik væk fra selve forsiden.
Brug sitemaps til at guide søgemaskinerne
Sitemaps kan i mange tilfælde være et hjælpsomt tool til at skabe struktur på en hjemmeside og holde undersiderne opdaterede.
Sitemaps uploades eksempelvis til Google Search Console, hvor crawlers opnår det fulde overblik over, hvilke sider en hjemmeside består – hvilket kan være en stor hjælp for større hjemmesider med mange undersider.
I denne forbindelse kan Robot txt koder anvendes i et sitemap for at fortælle crawler-bots, hvilke undersider, der ikke skal crawles.
Hjælp søgemaskinerne med schema markup
Schema markup kan ligeledes anvendes for at gøre det nemmere og mere overskueligt for søgemaskinerne at opnå indsigt omkring, hvilken type indhold der er at finde på en hjemmeside.
Helt grundlæggende er schema markup med til at strukturere mange forskellige former for data, der sidenhen kan præsenteres for søgemaskinerne og således give dem en dybere forståelse for indholdet.
Jeg har skrevet et dedikeret indlæg om netop schema markup, du kan læse her.
Husk mobilvenlighed
Sidst men ikke mindst har Google som bekendt en mobile first indexing proces, der udelukkende viser resultater fra deres indeksering af mobilvenlige hjemmesider – uanset om det er en desktop, mobil eller tablet, som brugerne søger fra.
Af denne grund er mobilvenligheden af en hjemmeside ligeledes afgørende for, at hjemmesider crawles korrekt og opnår en fordelagtig placering på SERP.
15 års tips og tricks?
På LinkedIn deler jeg hver uge tips og tricks med mere end 8.000 følgere. Det er gratis at følge med og du kan altid “unfollow” mig igen. Vil du være med?
Gratis tips og tricks »
Kommentarer