Hvad er en robots txt?

En robots.txt er en simpel tekstfil, der ligger i roden af dit domæne og fungerer som en instruktionsbog for søgemaskiner. Filen fortæller crawlere fra Google og andre søgemaskiner, hvilke sider de må besøge og indeksere, og hvilke de skal holde sig væk fra. Tænk på det som et skilt ved indgangen til din hjemmeside, der guider de automatiske besøgende rundt.

Filen skal altid ligge i roden af dit domæne, så den kan tilgås via dinhjemmeside.dk/robots.txt. Hvis filen ligger andre steder, vil søgemaskinerne simpelthen ikke finde den. Det er en fast standard, som alle crawlere forventer og leder efter automatisk.

Index betyder, at søgemaskinen må tilføje siden til sit søgeindeks, så den kan dukke op i søgeresultaterne. Noindex er det modsatte og fortæller søgemaskinen, at siden ikke skal vises i søgeresultaterne. Det er værd at bemærke, at noindex teknisk set styres via meta tags på selve siden, mens robots.txt primært styrer crawling med disallow.

Follow fortæller søgemaskinen, at den gerne må følge links på siden og overføre linkjuice til de sider, der linkes til. Nofollow betyder, at søgemaskinen ikke skal følge linkene eller videregive linkværdi. Dette giver dig kontrol over, hvordan din sides autoritet fordeles til andre sider både internt og eksternt.

Google respekterer i de fleste tilfælde anvisningerne i din robots.txt, men filen er teknisk set kun en anbefaling. Seriøse søgemaskiner som Google, Bing og andre følger standarden, men ondsindede bots kan vælge at ignorere den. Derfor bør du aldrig bruge robots.txt som eneste sikkerhed for følsomt indhold. Du kan læse mere om Googles officielle dokumentation om robots.txt.

Typiske kandidater er tak sider efter konverteringer, landingssider til specifikke kampagner, interne ressourcer og admin områder. Du kan også overveje at blokere søgeresultatsider på din egen side, filtersider med duplicate content eller sider under udvikling. Pointen er at holde irrelevant indhold ude af søgeresultaterne.

Ja, Yoast SEO til WordPress gør det nemt at redigere din robots.txt uden at skrive kode. Du kan tilgå filen direkte i pluginets indstillinger og justere reglerne ved at tjekke af i bokse. I 2026 har Yoast desuden fået funktioner til at håndtere AI crawlere og LLM bots, hvilket gør pluginet endnu mere relevant for moderne SEO.

Du kan bruge Googles robots.txt tester i Search Console, selvom den ikke er så nem at finde i den nye version. Alternativt kan du manuelt tjekke filen ved at gå til dinhjemmeside.dk/robots.txt i browseren. Der findes også tredjeparts værktøjer, der kan validere syntaksen og simulere, hvordan forskellige crawlere vil fortolke dine regler.

GPTBot er OpenAIs crawler, der indsamler data til at træne og opdatere ChatGPT. I 2026 er denne bot blevet relevant for alle website ejere, fordi du kan vælge at blokere den i din robots.txt, hvis du ikke ønsker dit indhold brugt til AI træning. Det er en strategisk beslutning, der handler om at balancere synlighed i AI svar mod beskyttelse af dit indhold.

Du tilføjer simpelthen de specifikke user agents til din robots.txt med en disallow regel. For at blokere GPTBot skriver du “User-agent: GPTBot” efterfulgt af “Disallow: /”. Samme princip gælder for ClaudeBot fra Anthropic og PerplexityBot. Du kan blokere dem alle sammen eller vælge individuelt, hvilke AI systemer der må crawle dit indhold.

Det afhænger af din strategi og forretningsmodel. Mange udgivere blokerer AI crawlere for at beskytte deres indhold mod at blive brugt uden kompensation. Andre åbner bevidst op for at få synlighed i AI genererede svar, hvilket kan drive trafik på nye måder. Overvej hvad der giver mest mening for netop din hjemmeside og dit indhold.

Linkjuice er den SEO værdi eller autoritet, der overføres fra en side til en anden gennem links. Ved at bruge nofollow direktiver kan du kontrollere, hvordan denne værdi fordeles på din hjemmeside. Du kan fx vælge ikke at videregive linkjuice til mindre vigtige sider og i stedet koncentrere den på dine vigtigste sider.

Nej, ikke helt. Hvis du blokerer en side med robots.txt, kan Google stadig vise den i søgeresultaterne, hvis andre sider linker til den. Du vil bare se en beskrivelse som “Ingen information tilgængelig for denne side” i stedet for et normalt uddrag. For at holde en side helt ude af søgeresultaterne skal du bruge et noindex meta tag på selve siden.

Hvis du ikke har en robots.txt fil, vil søgemaskinerne crawle og indeksere alt tilgængeligt indhold på din hjemmeside. Det er standardadfærden og fungerer fint for mange simple hjemmesider. Men du mister muligheden for at styre crawl budget, skjule irrelevante sider og kontrollere AI crawlere, hvilket kan være problematisk for større sites.

En user agent er den identifikation, som en crawler sender med, når den besøger din hjemmeside. Googlebot er Googles primære crawler, Bingbot er Microsofts, og GPTBot er OpenAIs. I din robots.txt kan du lave specifikke regler for hver user agent, så forskellige crawlere behandles forskelligt baseret på dine præferencer.

Google cacher typisk din robots.txt fil og tjekker den med jævne mellemrum, ofte omkring en gang i døgnet for aktive sites. Hvis du laver ændringer, kan det derfor tage lidt tid, før de træder i kraft. Du kan anmode om en hurtigere genindeksering gennem Search Console, hvis du har brug for at ændringerne slår igennem hurtigt.