META Robots таг

Роботи

Съществуват 2 начина, с които можете да ограничите ботовете на търсачките да обхождат сайта ви или отделни негови страници. Единият е да поставите т.нар. META Robots таг в HEAD секцията на своя сайт (действа само за тези страници, в чийто header е поставен), а вторият – посредством добавянето на специален файл с инструкции наречен “robots.txt“, който да поставите в основната директория (root directory) на сайта ви.

Роботите са полезни по отношение на SEO оптимизацията откакто стана известно, че ботовете имат определен лимит от уеб страници, до който индексират даден уеб сайт. Какъвто и да е този лимит, едва ли бихте искали да разхищавате резервите на паяците, позволявайки им да индексират файлове, които не са оптимизирани или не са замислени с цел да бъдат индексирани от търсачките.

Появи се нужда и от създаването на “robots.txt” файл, чиято основна цел е да пречи на претоварването на сървърите от т.нар. Rapid-fire (скорострелни) заявки или непрекъснато безсмислено индексиране на едни и същи файлове. Ако имате дублирано съдържание някъде из сайта по някаква причина, същото може да бъде контролирано като му забраните да бъде индексирано от търсачките, като оставите само уникално съдържание. По този начин не само ще избегнете наказания за дублирано съдържание, но и ще Подобрите своите шансове за по-добри позиции в SERP. Не на последно място, може би най-голямото предимство на “robots.txt” е, че уебмастърите могат да скриват (правят недостъпни през търсачките) на файлове, чието съдържание искат да остане недостъпно за потребителите.

META Robots таг

META Robots тагът е таг, разположен в HTML кода на сайта, който инструктира ботовете на търсачките кои страници от него да индексират и кои – не. Използвайте този таг, за да зададете тези уеб страници, които искате да останат недостъпни за търсачките и съответно за потребителите (например: форми за попълване и книги за гости).

В HTML кода на една уеб страница стандартният Robots META таг изглежда по следния начин:

<meta name=”robots” content=”index, follow” />, където

“index” означава на търсачката й е позволено да индексира съответната страница, а “follow” – че й е позволено да търси други страници, към които водят линковете от тази.

Можете лесно да инструктирате търсачката да не индексира дадена страница като промените показаните по-горе показатели от “index, follow” на “noindex, follow” или на “noindex, nofollow”, ако не искате нито да я индексира, нито да следва линковете излизащи от нея.

Robots META тагът трябва да бъде поставен е HEAD секцията на вашия HTML код. Някои търсачки не поддържат този таг само използването на универсалния Robots Exclusion Protocol.

Related posts:

1. Lesson (19): META Robots Tag and “robots.txt” Robots There are two ways you can restrict a spider from crawling all or part of your site. First is by placing the META Robots tag within the “head” section of your HTML file (making it effective only for the pages where the tag is inserted). The second is to write a special instruction file [...]...
2. Robots.txt и ботът на Гугъл (Googlebot) Googlebot и MSNBot тагове Както вероятно си спомняте, ботовете на Гугъл и MSN се наричат съответно GoogleBot и MSNBot. Когато обхождат уеб страниците тези ботове търсят за наличието на МЕТА тагове наречени META GoogleBot и META MSNBot. Тези тагове са създадени с идеята да дадат възможност на уебмастъри, които нямат достъп до root directory на [...]...
3. 10 правила при използването на Robots.txt 1.    Файлът “robots.txt” трябва винаги да е озаглавен с малки букви, дори ако сайтът ви се хоства върху case-insensitive платформа като Уиндоус. Файлове именувани “Robots.txt” или “robots.Txt” са погрешни и невалидни; 2.    Wildcards не се поддържат изцяло. Знакът (*) може да бъде използван само в User-agent полето за команден синтаксис, за да обозначи команда валидна [...]...
4. 10 Rules on using Robots Exclusion Protocol The “robots.txt” file must always be named in lowercase, even if your site is hosted on a case-insensitive platform like Windows (e.g. “Robots.txt” or “robots.Txt” is incorrect). Wildcards are not supported in both the fields. “*” can only be used in the User-agent field command syntax to denote “all”. Googlebot is the only robot that [...]...
5. Изграждане на подходяща навигационна структура на сайт SEO-friendly навигационна структура Нека първо дефинираме понятието навигационна структура на сайт. От гледна точка на SEO и SEM, този термин се отнася до цялостната рамка (framework), която поддържа съдържанието на един сайт и определя пътя, по който минават ботовете на търсачките, за да индексират това съдържание. Архитектурата на всеки сайт се състои от навигационна структура, [...]...