Наиболее интересной эта статья будет для начинающих веб дизайнеров, для тех кто вообще не имеет представления о тм что такое google bot, (не путать с поисковой системой от google.com)
Конечно же создавая свои сайты не нужно их делать именно для поисковых роботов, в первую очередь сайты создаются для людей, а не для поисковых систем, надо об этом не забывать, но тем не менее, львиная доля пришедших на сайт пользователей идет с поисковых систем, таких как - google.com и yandex.ru.
Но мы сегодня поговорим о поисковой системе от google, а точнее о ботах - поисковых роботах которые неустанно трудятся над сайтами, придавая наиболее важное значение тем сайтам, которые по праву этого заслуживают.

Определение: поисковые роботы - боты

Наверное Вы уже слышали о так называемой индексации сайта, но для тех кто еще не знает что это такое скажем так- индексацией сайта занимаются поисковые роботы - боты, которые периодически посещают странички сайтов в интернете и заносят эти странички в свою базу данных.
Скажем проще, поисковые роботы - боты, это программа, которая установлена на сервере поисковой системы, задачей этой программы является посещение сайта, индексация всех страниц сайта, и внесение всех страниц сайта в базу данных поискового сервера.

Какие роботы использует Google?

Поисковая система Google использует в своей поисковой системе 3 поисковых робота - бота - Freshbot, DeepCrawl, Adsensebot.
Ниже мы дадим краткое описание каждого из этих поисковых роботов - ботов, для наиболее полного понимания их принципа действия.

Freshbot

Этот поисковый робот - бот заходит на сайт, сканирует сайт определяя наиболее популярные странички и индексирует их.
Поисковый робот - бот Freshbot посещает сайты не каждый день, в среднем 1 раз в два дня, но посещаемость его резко возрастает если сайт популярен, имеет хорошую посещаемость и довольно часто обновляется.

Например такие сайты как myspace.com или youtube.com он посещает каждые 5-10 минут. Как видим чем популярнее сайт тем чаще посещение поискового робота - бота страниц этих сайтов.
Также, частота посещения поискового робота - бота зависит от частоты обновления информации на сайте, например на указанных выше сайтах, странички обновляются каждую минуту.
Еще одной из задач поискового робота Freshbot является сканирование всех страниц сайта для сбора всех ссылок в базу данных, после чего эта база передается другому роботу - боту DeepCrawl, который будет сканировать все эти ссылки.

DeepCrawl

Этот поисковый робот - бот, как было уже сказанно выше - получив базу данных с ссылками сайта от поискового робота - бота Freshbot, приступает к сканированию этих ссылок, добавляя их в свой индекс.
DeepCrawl посещает сайты не так часто как хотелось бы, всего 1 раз в месяц, поэтому результаты индексации этого поискового робота приходится ждать так долго.
Но, как говориться, тут уж мы ничего изменить не можем, такой уж алгоритм работы этого поискового робота.

Adsensebot

Этот поисковый робот - бот предназначен для страниц сайта, которые транслируют контекстную рекламу Google Adsense.
Если Вы установите на свои странички сайта скрипт от Google Adsense, то посещаемость этого поискового робота вас удивит.
Скрипт Adsense посылает команду для Adsensebot, после чего этот поисковый робот приходит на сайт и сканирует страницы для более точного определения релевантности объявлений по отношению к контенту странички.

Простыми словами - это будет звучать так, если на страничке сайта пишется о машине, то поисковый робот определит наиболее частое употребление ключевых слов связанное с машиной, и естественно предоставит свою рекламу той же тематики.

Ну в принципе и все.