Let’s imagine that submission alone gets you into the search engine index and you’re now listed – this means that your site is found in the result list for every word or word combination that is on your page. You should understand that this is really of little consequence. Submission alone will not get you a high ranking on particular terms. It simply means that the search engine knows that your pages exist.

We’ve said it before throughout this course and it bears repeating again:  search engines find new websites and pages by following links. In fact, submitting a new site will not get it listed. If you don’t have links pointing to your site, search engines will ignore it.

Google occasionally crawls websites that have been submitted and queued, but it doesn’t necessarily mean a listing. It all depends on whether you’ve got links pointing to your site from other domains. Therefore, submit your site to search engines if you want to, but it’s not necessary – you’re better off looking for links.

In some cases, however, submitting to Google and other search engines makes sense. After you update pages (for instance, after another optimization cycle) or add new pages to a site which is already listed, your submission can sometimes speed up the listing process. This is not always the case, and often it will only get you listed a day earlier, but in other cases it can really help.
How many engines are there that I really need to submit to?

We would like to warn you about submission services that promise to submit your site automatically to thousands of search services. There are, actually, only a few dozen major search engines which are really used by customers and which are potential traffic sources for your business. And when you remember that most of them pull the result data from a common data provider, you will see that the promise to submit to thousands of search engines looks, at a minimum, odd.

Most often, the “search engines” to which these services submit you are the so-called “Free For All” link pages offering low value for your site.

How many pages of my site should be submitted?

We recommend that you only submit your site after you’ve brought significant changes to your pages that may modify a spider’s “opinion” about your site. Submit your pages after you’ve made additions to page content or added new pages. In the second situation, submit only the page that has been added. If you have made changes to several pages, submit only those changes. Be careful to not exceed the submission limit some engines set for daily submissions. If you have four pages to submit to a search engine and it says it will accept only two per day, it’s better to schedule the other two for the next day.

If your aim is just to get listed, make sure your link structure will allow a search spider to find all your pages through links (probably through a site map) and then submit only your home page.
Is resubmission useful?

Resubmission is neither useful nor harmful for your site. It will not help if your rankings slip downwards. In the majority of cases, it will also not help if your pages disappear from the search engine’s list (which would be unusual in any case and would only happen during the update of the search engine’s database).

In the past, resubmitting a site that was already listed in a search engine could hurt your rankings. For example, Inktomi went through a period where they penalized every site that was resubmitted to them. This was because the majority of submissions were spam. To save them the trouble of weeding out good sites from bad, they just penalized all of them.

AltaVista also went through a period where they would remove any site submitted to them. This was possible because they assumed that a submitted site had changed so they’d remove it until they had time to recrawl it.

These days, resubmission is a complete waste of time and only makes some sense when the page you resubmit has undergone major changes.

Related posts:

1. Step 3: Optimizing Site Structure Let’s start our introduction into the site structure optimization by quoting Shari Thurow, the author...
2. Lesson (18): Domain Name, File Names and Extensions Your domain name, the URLs of your pages and your title tag are some of...
3. Creating a SEO-friendly and visitor-friendly sitemap Creating a sitemap gives you a double advantage by offering your visitors more convenience and...

Предлагам ви кратък списък с подбрани съвети за това как да създадете ефективна (SEO-friendly) карта на сайта си.

Картата на сайта ви трябва да е линкната само от началната страница на сайта ви и от никъде другаде, защото ще искате търсачките да намерят вашия sitemap директно от индексната страница на сайта ви и да го последват оттам. От гледна точка на дистрибуцията на PageRank, линкването към картата на сайта ви само от началната страница ще спомогне до по-бързо разпространение на стойността на този показател из страниците на сайта ви.

Ако имате сайт с над 50 страници ограничете броя на страниците, които са включени във вашата карта, до 30. В противен случай рискувате да бъдете нарочени за линк ферма от Гугъл и другите търсачки. Ограничавайки се до 30 sitemap линка ще направи картата ви много по-лесна за разчитане за човешките посетители на сайта. Тази стъпка може да означава да разделите картата на сайта на няколко страници – не се притеснявайте от това, единственото за което трябва да се уверите е, че всяка секция от картата ви линква към следващата. В противен случай, както търсачките, така и хората ще загубят интерес и ще напуснат сайта, ако попаднат на счупен линк.

Анкорът на всеки линк от картата на сайта трябва да бъде наситен с ключови думи и да линква директно към оригиналната страница. Винаги използвайте такива анкор текстове, които могат ви помогнат в позиционирането на сайта ви в SERP. Включете откъс от около 10-20 думи, които да “обливат” (ограждат) всеки sitemap линк. По този начин, вие ще създадете повече съдържание за търсачките, а хората ще могат да видят за какво точно се отнася дадена уеб страница преди да я посетят. Освен това, описанията помагат да се намали показателят плътност на ключовите думи до по-ниски (приемливи) нива, в случай, че те са завишени. Не на последно място, уверете се, че темплейтът, който сте решили да използвате за картата на своя сайт си подхожда с цялостната визия на сайта ви.

Като решение на проблемът с индексирането на големи уеб сайтове, Гугъл предлагат своята Sitemap програма. От гиганта твърдят, че тяхната Sitemap Technology е създадена именно с тази цел – да спомага за по-бързото индексиране на сайтовете (http://www.google.com/webmasters/sitemaps/docs/en/about.html). Идеята е, че по този начин вие информирате Гугъл за своя сайт, броя на неговите страници, честотата на обновяването на съдържанието в него и дали това става на редовен или на произволен принцип. Също така, по този начин вие ще можете да  видите сайта си от гледна точка на търсачките, т.е. да се осведомите за грешки от най-различен характер (https://www.google.com/support/webmasters/bin/answer.py?answer=35120&topic=8474).

Това е напълно безплатно и по този начин ще можете да индексирате нови или променени стари страници, като своевременно да се информирате дали сте в крак с последните промени в стандартите и изискванията на Гугъл.

Related posts:

1. Създаване на SEO-friendly Sitemap Sitemap (карта на сайта) често биват подминавани с безразличие от уебмастърите. Тяхната стойност както за...
2. Creating a SEO-friendly and visitor-friendly sitemap Creating a sitemap gives you a double advantage by offering your visitors more convenience and...
3. Lesson (20): Creating a Search Engine Friendly Sitemap What is a Sitemap? Sitemaps are often ignored by webmasters. Their value for both visitor-targeted...

Here we list our collection of tips on how to build an effective sitemap.

A search engine-friendly and visitor-friendly sitemap

Your sitemap must only be linked to from your homepage and no other page, because: a) you want the search engine spiders to find this link directly from your homepage and follow it from there and b) according to the PageRank distribution concerns, linking to your sitemap from only your home page will spread the PageRank quickly to pages all over your site.

If you have a large website of 50 pages or more, limit the number of pages listed on your sitemap to a maximum of 30, otherwise it can be mistaken for a link farm by the search engines. Limiting the number of entries to 30 also makes a map much easier for real human visitors to read. This step may mean splitting your sitemap over several pages – don’t be afraid of that, just make sure each of your sitemap pages links to the next. Otherwise both visitors and search engine spiders will find a broken link, lose interest and go away.

The title of each sitemap link should be keyword rich and link directly back to the original page. Always link from your sitemap to your pages using the anchor text that will help those pages with their rankings (i.e. use the keywords for link text that the page you’re linking to is optimized for). Include around 10 – 20 words of textual content from the original page underneath each sitemap link. This creates more content for search engine spiders and human visitors can see exactly what each page is about before clicking. Besides, descriptions help bring the keyword density of the map down to an acceptable level, should this level be exceeded.

Ensure that the look and feel of your sitemap page is consistent with the rest of your site. Use the same basic HTML template you used for every other page of your site.

As a solution for the problem of crawling big websites Google has suggested its Sitemap program. Google claims that its Sitemap Technology was created in order to list sites much faster (http://www.google.com/webmasters/sitemaps/docs/en/about.html). The idea is that you inform Google about your site, the quantity of pages, the frequency of updates and their regular or irregular basis. It also gives you the ability to see your site from the Google’s point of view, i.e. learn about errors

(https://www.google.com/support/webmasters/bin/answer.py?answer=35120&topic=8474). It is free and gives you an opportunity to index new or changed pages on-the-fly if they conform to Google standards.

Related posts:

1. Lesson (20): Creating a Search Engine Friendly Sitemap What is a Sitemap? Sitemaps are often ignored by webmasters. Their value for both visitor-targeted...
2. Създаване на SEO & Visitor Friendly карта на сайта Създаването на карта на сайта (Sitemap) ви дава двойно предимство, предлагайки на вашите посетители повече...
3. Създаване на SEO-friendly Sitemap Sitemap (карта на сайта) често биват подминавани с безразличие от уебмастърите. Тяхната стойност както за...

Какво е карта на сайта (Sitemap)?

Казано най-общо, това е уеб страница или страници, които съдържат списък с линкове към всички други документи от сайта ви. Теоретично погледнато, такава страница е създадена с идеята да даде на потребителите бърз и улеснен достъп до всички части на сайта, без да им се налага да сърфират из всички негови секции. Картата на сайта също има за цел да елиминира нуждата от поставяне на линк от началната страница към всички останали страници.

В последните няколко години картите на сайтове се превърнаха във важен SEO фактор – те могат да се използват за насочване на ботовете на търсачките към всички богати на съдържание страници в сайта. Това е особено валидно за големи сайтове, където повечето страници се намират на повече от 3-4 клика разстояние от началната страница и потребителите трябва да преминат през голям брой секции и подсекции, за да достигнат до търсеното от тях съдържание.

Ако сайтът ви има няколко стотин уеб страници и повече, трябва сериозно да се замислите за удачно групиране на информацията в него по секции и подсекции, с цел улесняване на цялостната му навигационна структура. Това също така означава, че паякът ще трябва да свърши много работа, докато индексира всички страници от големия ви сайт. Това е и основното предимство на картата на сайта (sitemap) – чрез нея улеснявате максимално работата на ботовете и си гарантирате, че всичките ви страници ще бъдат включени в SERP на Гугъл и другите търсачки. Излишно е да казвам колко важно е това, нали? Страница, която не е индексирана, все едно не съществува за търсачките.

Нека обобщим основните причини, поради които е важно да използваме Sitemap за своя уеб сайт:

• Sitemap помага на ботовете да достигнат максимално бързо до всички страници от сайта и да ги индексира. При сайтове с много страници и deep link структура, на паяците ще им е нужно много време и допълнителни усилия, за да открият и обходят всички техни страници. Създавайки една единствена страница, съдържаща линкове към всички останали страници на сайта, вие значително улеснявате паяците и се подсигурявате, че никоя страница от него няма да остане неиндексирана;
• Sitemap ви дава възможност да разпределяте PageRank към страниците, които се нуждаят от него най-много. PageRank е важна част от алгоритъма на Гугъл, но разпределянето му между желаните от вас уеб страници може да се окаже истинско предизвикателство. Затова, вместо да пълните началната страница на сайта си с internal links (вътрешни линкове), по добре създайте карта на сайта си, която да свърши тази работа вместо вас;
• Sitemap може да бъде използвана за много по-напредничави и специфични PageRank дейности. Нека си представим, че нашият уеб сайт има  страница озаглавена “За нас”, чиято основна цел е да дава информация на потребителите, а не на търсачките. Ако поставим линк към нея от всяка друга страница на сайта ни, това ще се отрази на нейния PageRank – той ще нарасне. Ние, обаче, едва ли бихме искали това да се случи, защото това си е пилеене на ценен link juice. Затова, вместо да правим горното, ние просто поместваме линк към страницата “За нас” в нашата sitemap. По този начин ще обвържем с вътрешни линкове само най-важните откъм PageRank страници от сайта ни.

Related posts:

1. Creating a SEO-friendly and visitor-friendly sitemap Creating a sitemap gives you a double advantage by offering your visitors more convenience and...
2. Създаване на SEO & Visitor Friendly карта на сайта Създаването на карта на сайта (Sitemap) ви дава двойно предимство, предлагайки на вашите посетители повече...
3. Lesson (20): Creating a Search Engine Friendly Sitemap What is a Sitemap? Sitemaps are often ignored by webmasters. Their value for both visitor-targeted...

Sitemaps are often ignored by webmasters. Their value for both visitor-targeted and spider-targeted optimization is underestimated.

What is a sitemap? In the most general terms, it’s a page or pages that contain a list of and link to all the other documents on your site. Theoretically, it’s designed to give your visitors a quick way to find what they are looking for on your site without browsing the entire content. A sitemap also aims at eliminating the need to link to every page of your site from your home page.

In the last few years, sitemaps have gained importance as a SEO factor: they can be utilized to direct the search engine spiders to all of your content-rich pages. This is especially true for large sites, where a number of clicks are needed to get to specific pages through the numerous sections and subsections. If a site has thousands of pages, its webmaster should really consider dividing it into sections to make navigation easy. This can also mean that a search engine crawler needs to do a lot of work to find all of the pages. With a sitemap, spiders feel much more “relaxed”.

Mainly, a sitemap is important because of the following reasons:

• It helps ensure that all of your content-rich pages are exposed to the search engine spider. With lots of pages and a deep link structure, the crawlers would need to work hard to find all of your pages. When you give them one single page which maps to all the necessary content, you make their job easier and ensure that nothing gets missed.
• It gives you a way to spread Google’s PageRank (covered in one of the future lessons) to the pages that need it and distribute it among these pages. PageRank is a very important part of Google’s algorithm but sending it to the right pages may become a headache. So, instead of filling up your home page with internal links, you can use the sitemap to do the job.
• Sitemap can be used for a more advanced PageRank distribution. Say your site has an “About Us” page which is solely designed for your visitors and not targeted at the spiders. If you link to it from every page on your site, such behavior will affect the rankings of your important pages. Instead, you can link to it from your sitemap and only have your important pages linking to each other.

Creating a sitemap gives you a double advantage by offering your visitors more convenience and a better browsing experience and smartly channeling the search engines‘ power. Be sure to include a sitemap as a part of your overall SE Marketing strategy.

Here we list our collection of tips on how to build an effective sitemap.

A search engine-friendly and visitor-friendly sitemap

Your sitemap must only be linked to from your homepage and no other page, because: a) you want the search engine spiders to find this link directly from your homepage and follow it from there and b) according to the PageRank distribution concerns, linking to your sitemap from only your home page will spread the PageRank quickly to pages all over your site.

If you have a large website of 50 pages or more, limit the number of pages listed on your sitemap to a maximum of 30, otherwise it can be mistaken for a link farm by the search engines. Limiting the number of entries to 30 also makes a map much easier for real human visitors to read. This step may mean splitting your sitemap over several pages – don’t be afraid of that, just make sure each of your sitemap pages links to the next. Otherwise both visitors and search engine spiders will find a broken link, lose interest and go away.

The title of each sitemap link should be keyword rich and link directly back to the original page. Always link from your sitemap to your pages using the anchor text that will help those pages with their rankings (i.e. use the keywords for link text that the page you’re linking to is optimized for). Include around 10 – 20 words of textual content from the original page underneath each sitemap link. This creates more content for search engine spiders and human visitors can see exactly what each page is about before clicking. Besides, descriptions help bring the keyword density of the map down to an acceptable level, should this level be exceeded.

Ensure that the look and feel of your sitemap page is consistent with the rest of your site. Use the same basic HTML template you used for every other page of your site.

As a solution for the problem of crawling big websites Google has suggested its Sitemap program. Google claims that its Sitemap Technology was created in order to list sites much faster (http://www.google.com/webmasters/sitemaps/docs/en/about.html). The idea is that you inform Google about your site, the quantity of pages, the frequency of updates and their regular or irregular basis. It also gives you the ability to see your site from the Google’s point of view, i.e. learn about errors

(https://www.google.com/support/webmasters/bin/answer.py?answer=35120&topic=8474). It is free and gives you an opportunity to index new or changed pages on-the-fly if they conform to Google standards.

Related posts:

1. Creating a SEO-friendly and visitor-friendly sitemap Creating a sitemap gives you a double advantage by offering your visitors more convenience and...
2. Създаване на SEO-friendly Sitemap Sitemap (карта на сайта) често биват подминавани с безразличие от уебмастърите. Тяхната стойност както за...
3. Lesson (17): Building the Right Site Architecture Let’s first define “site architecture”. In terms of SEO / SEM, it refers to the...

2.    Wildcards не се поддържат изцяло. Знакът (*) може да бъде използван само в User-agent полето за команден синтаксис, за да обозначи команда валидна за “всички”;

3.    Googlebot е единственият паяк, който поддържа някои wildcard файлови разширения, предоставяйки възможност да забраните дадени файлови разширения за индексиране. За повече информация, посетете http://www.google.com/webmasters/;

4.    Функционалността на уеб сайта не се нарушава, ако не е направен “robots.txt” файл или той е празен. Въпреки всичко, ако съществува такъв файл, той може да направи всички страници на сайта достъпни за ботовете на всички търсачки;

5.    Понякога, за някои сървъри и някои ботове, отсъствието на “robots.txt” файл може да генерира грешка 404 и да редиректне (пренасочи) бота към вашата 404 error page по подразбиране. В тази ситуация, ботът може да “помисли”, че това е вашият “robots.txt” файл, а оттам нататък неговото поведение може да стане непредвидимо. Затова винаги използвайте такъв файл;

6.    Можете да създавате не повече от един “robots.txt” файл за всеки домейн и той трябва да е поставен задължително във главната директория (root directory) на сайта ви, т.е. в същата директория, в която сте поставили своята начална страница (home page);

7.    Уебмастърите, които нямат пълни администраторски права (write access), най-вероятно няма да могат да се възползват от предимствата на “robots.txt” файла. В такъв случай, можете да прибегнете до използването на META Robots таг;

8.    Необходимо е винаги да започвате нов ред, когато пишете команди за различните потребителски агенти (User-agents), а забраняващата команда “Disallow” в “robots.txt” файла не трябва да съдържа повече от една команда на ред, въпреки че няма ограничения за броя редове;

9.    Както  User-agent, така и Disallow командата могат да бъдат използвани неограничен брой пъти за различните ботове на търсачки. Оставянето на празни редове в “robots.txt” файла за тези две команди ще действа само, ако е зададено за всяка от тях по отделно (на отделен ред);

10.    Използвайте само малки букви за всички команди, включени в “robots.txt” файла (изключение прави употребата на файла на case-sensitive платформи като Unix).

За повече правила и съвети относно употребата на “robots.txt”, посетете: http://www.robotstxt.org/wc/norobots.html

Related posts:

1. Robots.txt и ботът на Гугъл (Googlebot) Googlebot и MSNBot тагове Както вероятно си спомняте, ботовете на Гугъл и MSN се наричат...
2. META Robots таг Роботи Съществуват 2 начина, с които можете да ограничите ботовете на търсачките да обхождат сайта...
3. Lesson (19): META Robots Tag and “robots.txt” Robots There are two ways you can restrict a spider from crawling all or part...

For more rules and guidelines on using Robots visit http://www.robotstxt.org/wc/norobots.html

Related posts:

1. Lesson (19): META Robots Tag and “robots.txt” Robots There are two ways you can restrict a spider from crawling all or part...
2. 10 правила при използването на Robots.txt 1.    Файлът “robots.txt” трябва винаги да е озаглавен с малки букви, дори ако сайтът ви...
3. Robots.txt и ботът на Гугъл (Googlebot) Googlebot и MSNBot тагове Както вероятно си спомняте, ботовете на Гугъл и MSN се наричат...

Здравейте скъпи читатели,

Отдавна не бях поствал извлечение от статистиката на SEO блога ми. Не е нарочно, повярвайте, просто от многото други дейности, с които съм се захванал да движа едновременно, тази е с най-нисък приоритет. Нищо, всяко SEO зло за SEO добро, както беше лафа Ето, че сега помествам не една, а две графики на Google Analytics, съответно за месеците март и април 2009 г. И разбира се, следва краткият ми коментар:

1. Брой посещения – 3 114 (средно по 103 на ден);
2. Брой разгледани страници на посещение – 7 079 (средно по 235 на ден);
3. Среден брой разгледани страници на посещение – 2.27;
4. Показател “Bounce rate” – 69.49 % (силно влошаване, като през този период той достигна максимално допустимия за един успешен блог – около 70%, по-нататъшното увеличаване би било крайно неприятно за мен);
5. Среден времепрестой в сайта – 2 мин и 40 сек (няма никаква промяна в сравнение с месец февруари);
6. Процент нови посетители – 66.22 %.

Няма да коментирам растеж/ спад в проценти, само ще кажа, че през тези 2 месеца за последен път прибягвах до т.нар. Social bookmarking (публикуване на статии от сайта в портали като svejo.net), защото смятам, че 3 месеца са напълно достатъчни за първоначална реклама на SEO блога ми. Оттук нататък започва истинското предизвикатество наречено органичен трафик Пожелавам си успех, пожелайте ми го и Вие!

Related posts:

1. Статистика за месец февруари Здравейте отново, скъпи ми читатели! Дойде време и за първата ми месечна статистика. Месец...
2. Седмици 5 и 6 – сравнителна характеристика Здравейте отново, скъпи читатели! Изминаха месец и половина от стартирането на този SEO блог...
3. Месечна статистика на блога Здравейте, скъпи читатели. Ето, че и този SEO блог навърши 1 месец. Ще се опитам...

Както вероятно си спомняте, ботовете на Гугъл и MSN се наричат съответно GoogleBot и MSNBot. Когато обхождат уеб страниците тези ботове търсят за наличието на МЕТА тагове наречени META GoogleBot и META MSNBot. Тези тагове са създадени с идеята да дадат възможност на уебмастъри, които нямат достъп до root directory на техния домейн (където биха могли да поставят “robots.txt” файла) да забранят на някои части от сайта им да се индексират от ботовете на Гугъл и MSN.

GoogleBot синтаксисът е следният:

<meta name=”googlebot” content=”noindex” />

(можете да използвате също така “noindex”, “nofollow” или “noarchive”, или “nosnippet”, или каквато и да е било комбинация от тези стойности, разделени със запетая за съответния атрибут, поставен в кавички. Например, “nosnippet, noarchive” ще каже на Гугъл да не показва снипети на вашите страници, когато се появят в отговор на заявка за търсене в SERP и да не архивират копие от този документ).

Синтаксисът, използван за MSNBot, е следният:

<meta name=”msnbot” content=”noindex, nofollow”>

Моля, имайте предвид, че GoogleBot разпознава и четирите команди споменати по-горе, докато MSNBot – само “noindex” и “nofollow”. Команди от типа “index” и “follow” ще бъдат игнорирани.

Robots Exclusion Protocol (“robots.txt” файл)

Robots Exclusion Protocol, по-известен като Robots.txt файл, е друг начин, който позволява на администраторите да инструктират ботовете кои части от техния сайт да не посещават и индексират.

Когато ботът посети даден уеб сайт, той първо проверява за наличието на файл озаглавен “robots.txt” в root директорията му (www.yoursite.com/robots.txt). Ако такъв документ бъде намерен, паякът ще се съобрази с инструкциите зададени в него.

Файлът “robots.txt” съдържа информация в следния формат:

User-agent: *
Disallow: /

Файлът винаги съдържа две полета:

·    Първото е роботът, за който е предназначен;
·    Второто – директорията/  директориите забранени за обхождане

Стрингът, съдържащ инструкцията “Disallow” задава URL-ите, до които ботовете нямат достъп.

Тук знакът звездичка (*) означава “всички роботи”, а наклонената черта (/) означава “всички URL-и”. Когато задавате URL-ите, трябва да пишете целия URL, който следва наклонената черта и нея включително. Следователно, използвайки само (/) означава самата home (root) директория на сайта ви. Това се тълкува по следния начин: “Забранява се достъпът на всички търсачки до всички URL-и”.

В следващия пример не са зададени никакви ограничения за Googlebot и той може да обхожда всички файлове и директории:

# Гарантира достъпа на Googlebot (символите след знака # и преди следващия знак # се считат за коментари).

User-agent: Googlebot
Disallow:

Ако някога ви се налага да задавате инструкции за различни ботове за повече на брои директории, можете да използвате следния стринг от команди:

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /cgi-bin/

Този пример ще забрани на всички ботове, с изключение на Googlebot, да индексират вашата “cgi-bin” directory Common Gateway Interface (CGI), в която повечето уебмастъри пазят server-side скриптовете.

Related posts:

1. Lesson (19): META Robots Tag and “robots.txt” Robots There are two ways you can restrict a spider from crawling all or part...
2. 10 Rules on using Robots Exclusion Protocol The “robots.txt” file must always be named in lowercase, even if your site is...
3. 10 правила при използването на Robots.txt 1.    Файлът “robots.txt” трябва винаги да е озаглавен с малки букви, дори ако сайтът ви...

Съществуват 2 начина, с които можете да ограничите ботовете на търсачките да обхождат сайта ви или отделни негови страници. Единият е да поставите т.нар. META Robots таг в HEAD секцията на своя сайт (действа само за тези страници, в чийто header е поставен), а вторият – посредством добавянето на специален файл с инструкции наречен “robots.txt“, който да поставите в основната директория (root directory) на сайта ви.

Роботите са полезни по отношение на SEO оптимизацията откакто стана известно, че ботовете имат определен лимит от уеб страници, до който индексират даден уеб сайт. Какъвто и да е този лимит, едва ли бихте искали да разхищавате резервите на паяците, позволявайки им да индексират файлове, които не са оптимизирани или не са замислени с цел да бъдат индексирани от търсачките.

Появи се нужда и от създаването на “robots.txt” файл, чиято основна цел е да пречи на претоварването на сървърите от т.нар. Rapid-fire (скорострелни) заявки или непрекъснато безсмислено индексиране на едни и същи файлове. Ако имате дублирано съдържание някъде из сайта по някаква причина, същото може да бъде контролирано като му забраните да бъде индексирано от търсачките, като оставите само уникално съдържание. По този начин не само ще избегнете наказания за дублирано съдържание, но и ще Подобрите своите шансове за по-добри позиции в SERP. Не на последно място, може би най-голямото предимство на “robots.txt” е, че уебмастърите могат да скриват (правят недостъпни през търсачките) на файлове, чието съдържание искат да остане недостъпно за потребителите.

META Robots таг

META Robots тагът е таг, разположен в HTML кода на сайта, който инструктира ботовете на търсачките кои страници от него да индексират и кои – не. Използвайте този таг, за да зададете тези уеб страници, които искате да останат недостъпни за търсачките и съответно за потребителите (например: форми за попълване и книги за гости).

В HTML кода на една уеб страница стандартният Robots META таг изглежда по следния начин:

<meta name=”robots” content=”index, follow” />, където

“index” означава на търсачката й е позволено да индексира съответната страница, а “follow” – че й е позволено да търси други страници, към които водят линковете от тази.

Можете лесно да инструктирате търсачката да не индексира дадена страница като промените показаните по-горе показатели от “index, follow” на “noindex, follow” или на “noindex, nofollow”, ако не искате нито да я индексира, нито да следва линковете излизащи от нея.

Robots META тагът трябва да бъде поставен е HEAD секцията на вашия HTML код. Някои търсачки не поддържат този таг само използването на универсалния Robots Exclusion Protocol.

Related posts:

1. Lesson (19): META Robots Tag and “robots.txt” Robots There are two ways you can restrict a spider from crawling all or part...
2. Robots.txt и ботът на Гугъл (Googlebot) Googlebot и MSNBot тагове Както вероятно си спомняте, ботовете на Гугъл и MSN се наричат...
3. 10 правила при използването на Robots.txt 1.    Файлът “robots.txt” трябва винаги да е озаглавен с малки букви, дори ако сайтът ви...