Гугл разъяснил вопросы о том, как поисковый бот трактует метатег ROBOTS.

Множественные значения content-параметра

Рекомендуется заключать все значения параметра content в один метатег. Это сделает его более удобным для чтения и уменьшит вероятность противоречий. Например:

Если страница содержит несколько метатегов одного типа, то Гугл-бот объединит их, т.е., например:

будет распознано точно так же, как

Если значения противоречат друг другу, во внимание будет принят наиболее строгий. Так, если страница содержит метатеги

то бот подчинится значению NOINDEX.

Излишние значения content-параметра

По умолчанию Гугл-бот будет индексировать страницу и все ссылки на ней. Поэтому нет никакой необходимости помечать страницы значениями content-параметра INDEX или FOLLOW.

Нацеливание метатега ROBOTS непосредственно на Google-бота

Чтобы предоставить инструкции для всех поисковых систем, установите название метатега как «ROBOTS».

Чтобы указать инструкции только для Гугл-бота назовите метатег как «GOOGLEBOT».

Если Вы хотите создать разные инструкции для разных поисковых систем, то лучше использовать специальные метатеги для каждой поисковой системы, а не общий метатег ROBOTS в сочетании со специфическими для конкретной поисковой машины.

Google-бот понимает любую комбинацию верхнего и нижнего регистров. Поэтому каждый из следующих метатегов интерпретируется им одинаково:

Если у Вас есть несколько значений content-параметра, то между ними нужно поставить запятую, но при этом неважно, добавите Вы также пробелы или нет. Поэтому следующие метатеги интерпретируются одинаково:

Если вы используете и файл robots.txt, и метатеги ROBOTS

Если между параметрами файла robots.txt и метатегом есть противоречия, то Гугл-бот последует наиболее строгим из них.

Если более конкретно, то:

Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц.
Если страница не запрещена к индексации в robots.txt, но заблокирована с помощью метатега, Google-бот откроет ее, прочитает метатеги, и впоследствии не станет индексировать.

Валидные значения параметра content метатега ROBOTS

Несколько слов о значении «NONE»

Как определено в robotstxt.org, следующее означает «NOINDEX, NOFOLLOW»:

Однако, некоторые веб-мастера используют этот тег для указания ботам отсутствия каких-либо ограничений и тем самым непреднамеренно блокируют содержание страниц для всех поисковых систем.