Hvad er en robots txt?


En Robots.txt er en fil, du laver for at fortælle søgemaskinerne (i vores tilfælde typisk Google), hvordan de skal “crawle” en side på en hjemmeside.

Helt lavpraktisk fortæller robots.txt-filen søgemaskinen, om de skal indeksere siden “index” eller indeksere siden “no-index”.

Filen kan også fortælle, om søgemaskinerne skal “follow” eller “no-follow” sider, som man linker ud til.

Sådan kan du bruge robots.txt på din hjemmeside

Lad os sige, at jeg har nogle “skjulte sider” på min hjemmeside, som du kun kan tilgå, hvis du har et link dertil. Det er sider, hvor jeg ville skrive “no-index” på i min robots.txt, så folk fra Google ikke tilfældigvis lander herinde.

Det ville se sådan her ud i koden på den enkelte, skjulte side:

Det er måske en smule langhåret, og medmindre man er programmør, vil man også sidde og rette i denne fil på en lidt nemmere facon.

2 værktøjer der kan hjælpe dig lidt

Eksempelvis gennem et plugin såsom “Yoast SEO” til WordPress. På den måde skal du ikke selv skrive kode – du skal bare tjekke af i nogle bokse, hvordan du ønsker, at søgemaskinerne skal læse din hjemmeside.

Du kan ligeledes bruge Googles eget- robots.txt tester – Det er ikke så nemt at finde længere i det nye Search Console. Det er der måske en grund til som jeg lige vil nævne herunder.

Da Google bliver mere og mere intelligent er det robots.txt ikke så relevant som det har været. Google ved efterhånden godt hvilke dele af en hjemmeside de skal crawle og hvilke elementer de skal undlade. Desuden er kodestykker som eksempelvis “no-index” som jeg omtalte før også næsten udfaset af Google. Man kan læse lidt mere om deres eget syn på robots.txt her.

Send dit spørgsmål til brevkassen

Ingen kommentar

Skriv en kommentar

This site uses Akismet to reduce spam. Learn how your comment data is processed.