Hvad er en robots txt?
Micky Weis
Micky Weis

15 års erfaring i online marketing. Tidligere CMO i bla. Firtal Web A/S. Blogger om marketing og de ting jeg har oplevet på vejen. Følg med på LinkedIn for daglige opdateringer.

En Robots.txt er en fil, du laver for at fortælle søgemaskinerne (i vores tilfælde typisk Google), hvordan de skal “crawle” en side på en hjemmeside.

Helt lavpraktisk fortæller robots.txt-filen søgemaskinen, om de skal indeksere siden “index” eller indeksere siden “no-index”.

Filen kan også fortælle, om søgemaskinerne skal “follow” eller “no-follow” sider, som man linker ud til.

Sådan kan du bruge robots.txt på din hjemmeside

Lad os sige, at jeg har nogle “skjulte sider” på min hjemmeside, som du kun kan tilgå, hvis du har et link dertil. Det er sider, hvor jeg ville skrive “no-index” på i min robots.txt, så folk fra Google ikke tilfældigvis lander herinde.

Det ville se sådan her ud i koden på den enkelte, skjulte side:

Det er måske en smule langhåret, og medmindre man er programmør, vil man også sidde og rette i denne fil på en lidt nemmere facon.

2 værktøjer der kan hjælpe dig lidt

Eksempelvis gennem et plugin såsom “Yoast SEO” til WordPress. På den måde skal du ikke selv skrive kode – du skal bare tjekke af i nogle bokse, hvordan du ønsker, at søgemaskinerne skal læse din hjemmeside.

Du kan ligeledes bruge Googles eget- robots.txt tester – Det er ikke så nemt at finde længere i det nye Search Console. Det er der måske en grund til som jeg lige vil nævne herunder.

Da Google bliver mere og mere intelligent er det robots.txt ikke så relevant som det har været. Google ved efterhånden godt hvilke dele af en hjemmeside de skal crawle og hvilke elementer de skal undlade. Desuden er kodestykker som eksempelvis “no-index” som jeg omtalte før også næsten udfaset af Google. Man kan læse lidt mere om deres eget syn på robots.txt her.

Kommentarer

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *

15 års tips og tricks?

På LinkedIn deler jeg hver uge tips og tricks med mere end 8.000 følgere. Det er gratis at følge med og du kan altid “unfollow” mig igen. Vil du være med?

Gratis tips og tricks »