SEO akademie

Robots.txt je textový soubor, který říká vyhledávačům, jaké stránky by měli nebo neměli procházet. Používá se hlavně kvůli tomu, pokud chcete některé stránky vyloučit z indexu procházení nebo aby se zabránilo přetížení webových požadavků. Pokud chcete některé stránky vyloučit před indexováním, stačí přidat do robots.txt k určité stránce noindex. Pro lepší představivost, si ukážeme například textový soubor…