
En Robots.txt er en fil, du laver for at fortælle søgemaskinerne (i vores tilfælde typisk Google), hvordan de skal “crawle” en side på en hjemmeside.
Helt lavpraktisk fortæller robots.txt-filen søgemaskinen, om de skal indeksere siden “index” eller indeksere siden “no-index”.
Filen kan også fortælle, om søgemaskinerne skal “follow” eller “no-follow” sider, som man linker ud til.
Sådan kan du bruge robots.txt på din hjemmeside
Lad os sige, at jeg har nogle “skjulte sider” på min hjemmeside, som du kun kan tilgå, hvis du har et link dertil. Det er sider, hvor jeg ville skrive “no-index” på i min robots.txt, så folk fra Google ikke tilfældigvis lander herinde.
Det ville se sådan her ud i koden på den enkelte, skjulte side:
Det er måske en smule langhåret, og medmindre man er programmør, vil man også sidde og rette i denne fil på en lidt nemmere facon.
2 værktøjer der kan hjælpe dig lidt
Eksempelvis gennem et plugin såsom “Yoast SEO” til WordPress. På den måde skal du ikke selv skrive kode – du skal bare tjekke af i nogle bokse, hvordan du ønsker, at søgemaskinerne skal læse din hjemmeside.
Du kan ligeledes bruge Googles eget- robots.txt tester – Det er ikke så nemt at finde længere i det nye Search Console. Det er der måske en grund til som jeg lige vil nævne herunder.
15 års tips og tricks?
På LinkedIn deler jeg hver uge tips og tricks med mere end 8.000 følgere. Det er gratis at følge med og du kan altid “unfollow” mig igen. Vil du være med?
Kommentarer