Управление robots

Задавайте глобальные значения robots по умолчанию, добавляйте дополнительные правила для crawlers и применяйте переопределения индексации на уровне записи только там, где это нужно.

Обзор

Управление robots управляет как стандартным выводом meta robots, так и вашими дополнительными правилами robots.txt.

Путь в админке: Airygen SEO -> Настройки -> Управление robots.

Этот модуль работает лучше всего, когда вы оставляете одно безопасное значение по умолчанию для всего сайта и создаете исключения только для особых страниц.

Настройки

Страница включает Настройки и Robots.txt.

Настройки

Используйте этот раздел для обычного поведения robots на всем сайте.

  • Включить meta robots по умолчанию включает или отключает вывод robots по умолчанию для всего сайта.
  • Индексация позволяет выбрать Использовать по умолчанию, Индексировать или Noindex.
  • Следование позволяет выбрать Использовать по умолчанию, Следовать или Nofollow.
  • Максимальный предпросмотр изображения позволяет выбрать Использовать по умолчанию, Большой (лучшее качество), Стандартный или Нет.
  • Максимальный предпросмотр видео позволяет выбрать Использовать по умолчанию, Без ограничений (без лимита), 30 секунд, 60 секунд или Отключить предпросмотр видео.
  • Дополнительные директивы включает переключатели, такие как noarchive, nosnippet, noimageindex и notranslate.
  • Пользовательские директивы позволяет добавлять директивы через запятую, которые не покрыты встроенными элементами управления.
  • Предпросмотр значения meta robots показывает точную строку meta robots, которая будет выведена.

Robots.txt

Используйте этот раздел, когда вам нужны правила для crawlers сверх meta tag.

  • Дополнительные правила позволяет добавлять дополнительные строки в сгенерированный robots.txt.
  • URL предпросмотра дает прямую ссылку на живой вывод robots.txt.

Панель редактора

Панель редактора позволяет переопределять значения по умолчанию для отдельных записей.

  • Предпросмотр показывает текущий результат robots для записи.
  • Использовать значения по умолчанию оставляет запись на общесайтовых правилах.
  • Использовать пользовательские данные открывает доступ к директивам уровня записи.
  • Директива индексации позволяет выбрать Наследовать по умолчанию, Индексировать или Noindex.
  • Директива следования ссылок позволяет выбрать Наследовать по умолчанию, Следовать или Nofollow.
  • Управление на уровне записи также включает ограничения предпросмотра медиа, дополнительные директивы и поле Пользовательские директивы.

Как использовать

  1. Откройте Airygen SEO -> Настройки -> Управление robots.
  2. В Настройки включите Включить meta robots по умолчанию, если хотите, чтобы Airygen SEO выводил meta robots для всего сайта.
  3. Выберите поведение Индексация и Следование по умолчанию, затем задайте Максимальный предпросмотр изображения и Максимальный предпросмотр видео только если сайту действительно нужны эти ограничения.
  4. Включите те Дополнительные директивы, которые соответствуют вашей политике, например noarchive или nosnippet, и при необходимости добавьте остальное в Пользовательские директивы.
  5. Проверьте Предпросмотр значения meta robots, чтобы убедиться, что итоговая строка robots содержит именно то, что вы задумали.
  6. В Robots.txt добавьте нужные Дополнительные правила, затем откройте URL предпросмотра, чтобы проверить живой файл.
  7. Сохраните модуль и используйте панель редактора только на тех страницах, которым нужно правило индексации, отличное от глобального значения по умолчанию.

Проверьте эти пункты после сохранения:

  • Общесайтовая строка robots meta соответствует вашему задуманному значению по умолчанию.
  • robots.txt содержит только те дополнительные правила, которые вы действительно хотите сделать публичными.
  • Большинство страниц по-прежнему используют глобальное значение по умолчанию, а не лишние переопределения.
  • Особые страницы с индивидуальными переопределениями используют именно ту директиву, которую вы выбрали.

Преимущества SEO

Четкие правила robots помогают управлять тем, какие страницы индексируются, как формируются предпросмотры в поиске и как crawlers должны интерпретировать особые области сайта. Хорошие значения по умолчанию также снижают риск случайных ошибок индексации.

Сценарии использования

Сайты со страницами низкой ценности

До: Поисковые системы могут индексировать страницы, которые бесполезны как посадочные, например слабые служебные страницы или отфильтрованный контент.

После: Владелец сайта сохраняет чистую политику по умолчанию и использует переопределения только там, где страницам низкой ценности действительно нужен Noindex.

Сайты с особыми инструкциями для crawlers

До: Команде нужны дополнительные правила для crawlers, но они разбросаны по ручным правкам и их сложно проверять.

После: Управление robots держит в одном месте и значения meta robots по умолчанию, и добавления в robots.txt, что проще для недевелоперов.

Часто задаваемые вопросы

Должны ли большинство страниц использовать robots по умолчанию?

Да. В большинстве случаев одно чистое значение по умолчанию безопаснее, чем множество исключений на уровне записей.

В чем разница между robots meta и robots.txt?

Robots meta управляет индексацией и поведением предпросмотра на уровне страницы. robots.txt дает инструкции для crawlers на уровне файла.

Когда следует использовать Пользовательские директивы?

Используйте их только тогда, когда встроенные элементы управления не покрывают нужную вам директиву. Большинство пользователей может оставить это поле пустым.