Гугл разъяснил вопросы о том, как поисковый бот трактует метатег ROBOTS. Множественные значения content-параметраРекомендуется заключать все значения параметра content в один метатег. Это сделает его более удобным для чтения и уменьшит вероятность противоречий. Например: Code <meta name="robots" content="noindex, nofollow">
Если страница содержит несколько метатегов одного типа, то Гугл-бот объединит их, т.е., например: Code <meta name="robots" content="noindex">
Code <meta name="robots" content="nofollow">
будет распознано точно так же, как Code <meta name="robots" content="noindex, nofollow">
Если значения противоречат друг другу, во внимание будет принят наиболее строгий. Так, если страница содержит метатеги Code <meta name="robots" content="noindex">
Code <meta name="robots" content="index">
то бот подчинится значению NOINDEX.
Излишние значения content-параметраПо умолчанию Гугл-бот будет индексировать страницу и все ссылки на ней. Поэтому нет никакой необходимости помечать страницы значениями content-параметра INDEX или FOLLOW.
Нацеливание метатега ROBOTS непосредственно на Google-ботаЧтобы предоставить инструкции для всех поисковых систем, установите название метатега как «ROBOTS». Чтобы указать инструкции только для Гугл-бота назовите метатег как «GOOGLEBOT». Если Вы хотите создать разные инструкции для разных поисковых систем, то лучше использовать специальные метатеги для каждой поисковой системы, а не общий метатег ROBOTS в сочетании со специфическими для конкретной поисковой машины. Google-бот понимает любую комбинацию верхнего и нижнего регистров. Поэтому каждый из следующих метатегов интерпретируется им одинаково: Code <meta name="ROBOTS" content="NOODP">
Code <meta name="robots" content="noodp">
Code <meta name="Robots" content="NoOdp">
Если у Вас есть несколько значений content-параметра, то между ними нужно поставить запятую, но при этом неважно, добавите Вы также пробелы или нет. Поэтому следующие метатеги интерпретируются одинаково: Code <meta name="robots" content="noindex, nofollow">
Code <meta name="robots" content="noindex,nofollow">
Если вы используете и файл robots.txt, и метатеги ROBOTSЕсли между параметрами файла robots.txt и метатегом есть противоречия, то Гугл-бот последует наиболее строгим из них. Если более конкретно, то: Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц. Если страница не запрещена к индексации в robots.txt, но заблокирована с помощью метатега, Google-бот откроет ее, прочитает метатеги, и впоследствии не станет индексировать.
Валидные значения параметра content метатега ROBOTSNOINDEX – запрещает индексацию страницы. NOFOLLOW – запрещает Google-боту следовать по любым ссылкам на странице. (Заметьте, что это отличается от параметра NOFOLLOW, применяемого для ссылок, который запрещает Google-боту проходить по отдельным ссылкам.) NOARCHIVE – предотвращает кэширование копии страницы для ее исключения из результатов поиска. NOSNIPPET – запрещает появления описания страницы в результатах поиска, так же как предотвращает ее кэширование. NOODP – блокирует использование описания страницы, которое берется из dmoz.org для отображения в результатах поиска. NONE – эквивалентно «NOINDEX, NOFOLLOW».
Несколько слов о значении «NONE»Как определено в robotstxt.org, следующее означает «NOINDEX, NOFOLLOW»: Code <meta name="robots" content="none">
Однако, некоторые веб-мастера используют этот тег для указания ботам отсутствия каких-либо ограничений и тем самым непреднамеренно блокируют содержание страниц для всех поисковых систем.
Источник: Использование метатега ROBOTS для поисковых систем. Поисковая оптимизация сайта. Google-бот,Гугл-бот,Googlebot. Валидные значения ROBOTS |