10 правила при използването на Robots.txt

1.    Файлът “robots.txt” трябва винаги да е озаглавен с малки букви, дори ако сайтът ви се хоства върху case-insensitive платформа като Уиндоус. Файлове именувани “Robots.txt” или “robots.Txt” са погрешни и невалидни;

2.    Wildcards не се поддържат изцяло. Знакът (*) може да бъде използван само в User-agent полето за команден синтаксис, за да обозначи команда валидна за “всички”;

3.    Googlebot е единственият паяк, който поддържа някои wildcard файлови разширения, предоставяйки възможност да забраните дадени файлови разширения за индексиране. За повече информация, посетете http://www.google.com/webmasters/;

4.    Функционалността на уеб сайта не се нарушава, ако не е направен “robots.txt” файл или той е празен. Въпреки всичко, ако съществува такъв файл, той може да направи всички страници на сайта достъпни за ботовете на всички търсачки;

5.    Понякога, за някои сървъри и някои ботове, отсъствието на “robots.txt” файл може да генерира грешка 404 и да редиректне (пренасочи) бота към вашата 404 error page по подразбиране. В тази ситуация, ботът може да “помисли”, че това е вашият “robots.txt” файл, а оттам нататък неговото поведение може да стане непредвидимо. Затова винаги използвайте такъв файл;

6.    Можете да създавате не повече от един “robots.txt” файл за всеки домейн и той трябва да е поставен задължително във главната директория (root directory) на сайта ви, т.е. в същата директория, в която сте поставили своята начална страница (home page);

7.    Уебмастърите, които нямат пълни администраторски права (write access), най-вероятно няма да могат да се възползват от предимствата на “robots.txt” файла. В такъв случай, можете да прибегнете до използването на META Robots таг;

8.    Необходимо е винаги да започвате нов ред, когато пишете команди за различните потребителски агенти (User-agents), а забраняващата команда “Disallow” в “robots.txt” файла не трябва да съдържа повече от една команда на ред, въпреки че няма ограничения за броя редове;

9.    Както  User-agent, така и Disallow командата могат да бъдат използвани неограничен брой пъти за различните ботове на търсачки. Оставянето на празни редове в “robots.txt” файла за тези две команди ще действа само, ако е зададено за всяка от тях по отделно (на отделен ред);

10.    Използвайте само малки букви за всички команди, включени в “robots.txt” файла (изключение прави употребата на файла на case-sensitive платформи като Unix).

За повече правила и съвети относно употребата на “robots.txt”, посетете: http://www.robotstxt.org/wc/norobots.html