Главный элемент структуры современного Интернета - это поисковые машины, или поисковики.

Разных поисковиков очень много, но среди них есть главные, наиболее известные и посещаемые.
В мировом Интернете сейчас доминирует Google (произносится как гугл). В российском же, а точнее, в русскоязычном Интернете (Рунете), наиболее популярный поисковик - Яндекс.

В два раза (по количеству поисковых запросов в день) от Яндекса отстает Рамблер, потом следует «русский» Google, затем, совсем далеко от лидеров, следует Апорт, Mail.ru, а также Yahoo, Nigma и KM.ru.

Часто ли вы задаетесь вопросом – а как видит поисковый робот мой сайт? нет?
Какой вебмастер не хочет посмотреть, как видит его сайт поисковый робот поисковой системы.
Думаю это будет интересно всем, кто помимо написания текста, занимается еще и внутренней оптимизацией сайтов.  Для SEO оптимизации такой ход будет очень полезен, так как он дает увидеть, что индексирует поисковый робот, а что не индексирует.

Глазами поисковика увидите, куда в первую очередь идет поисковый робот и проанализировав увиденное сможете исправить некоторые ошибки, которые были допущены в процессе оптимизации сайта.
При написании данного материала, пришлось обойти не мало ресурсов, скриптов которые позволяют взглянуть на страницы сайта глазами поискового бота довольно много, но не все они в полной степени рабочие.

Наиболее интересной эта статья будет для начинающих веб дизайнеров, для тех кто вообще не имеет представления о тм что такое google bot, (не путать с поисковой системой от google.com)
Конечно же создавая свои сайты не нужно их делать именно для поисковых роботов, в первую очередь сайты создаются для людей, а не для поисковых систем, надо об этом не забывать, но тем не менее, львиная доля пришедших на сайт пользователей идет с поисковых систем, таких как - google.com и yandex.ru.
Но мы сегодня поговорим о поисковой системе от google, а точнее о ботах - поисковых роботах которые неустанно трудятся над сайтами, придавая наиболее важное значение тем сайтам, которые по праву этого заслуживают.

Определение: поисковые роботы - боты

Наверное Вы уже слышали о так называемой индексации сайта, но для тех кто еще не знает что это такое скажем так- индексацией сайта занимаются поисковые роботы - боты, которые периодически посещают странички сайтов в интернете и заносят эти странички в свою базу данных.

Гугл разъяснил вопросы о том, как поисковый бот трактует метатег ROBOTS.

Множественные значения content-параметра

Рекомендуется заключать все значения параметра content в один метатег. Это сделает его более удобным для чтения и уменьшит вероятность противоречий.

Нацеливание метатега ROBOTS непосредственно на Google-бота

Чтобы предоставить инструкции для всех поисковых систем, установите название метатега как «ROBOTS».
Чтобы указать инструкции только для Гугл-бота назовите метатег как «GOOGLEBOT».
Если Вы хотите создать разные инструкции для разных поисковых систем, то лучше использовать специальные метатеги для каждой поисковой системы, а не общий метатег ROBOTS в сочетании со специфическими для конкретной поисковой машины.