Вход Регистрация
ruen

Правильный robots.txt для сайта - зачем нужен, как составить и где проверить

В настоящее время практически у каждого сайта имеется специальный файл, который служит для предоставления поисковым системам информации о том, как правильно индексировать сайт. Называется такой файл robots.txt - по сути это простой текстовый файл с инструкциями. В нем содержатся запреты, разрешения и прочие указания для поисковиков.

robots-txt-right-check

Составить такой файл можно самостоятельно, достаточно знать лишь некоторые общие правила. Приведем пример файла robots.txt и рассмотрим его ниже:

User-agent: *

# Directories

Disallow: /core/
Disallow: /custom/
Disallow: /modules/

Allow: /custom/modules/*.js
Allow: /custom/modules/*.css
Allow: /custom/modules/*.jpg

# Files

Disallow: /license.txt
Disallow: /index.php

# URL

Host: https://example.com
Sitemap: https://example.com/sitemap.xml

Коротко рассмотрим все основные элементы приведенного файла:

  • ключевое слово User-agent указывает, для каких агентов поисковых систем прописаны правила – значение * означает, что правила прописаны для всех поисковых роботов;
  • комментарии помечаются символом #, после которого может следовать любой текст;
  • ключевое слово Disallow означает запрет индексирования указанного адреса, можно запретить целые разделы сайта;
  • для разрешения индексация используется ключевое слово Allow;
  • ключевое слово Host служит для задания основного домена сайта;
  • ключевое слово Sitemap служит для задания пути к карте адресов.

Используя вышеуказанные ключевые слова можно составить файл robots.txt нужным образом. После составления правил, необходимо проверить файл robots.txt при помощи специальных сервисов, которые покажут есть ли в нем ошибки и предложат исправления и рекомендации в случае необходимости. Лучше всего использовать утилиты от крупных сервисов, например, Webmaster от Google или Yandex.

Таким образом, в статье было рассмотрено, зачем нужен robots.txt, как его правильно составить и где можно проверить.

Комментарии (0)
Для комментирования войдите или зарегистрируйтесь.
Оставить заявку

Последние статьи

Популярные разделы

Eqsash (Инструменты)

Приложение для Android - VK LAST USER ID, отучитель от зависимости и т.д.:
Доступно в Google Play

Amessage (Общение)

Вход в веб-версию
Приложение для Android:
Доступно в Google Play

Поделиться

Подписаться

YouTube

Книги

IT-заметки - Простым языком о самом нужном (HTML, CSS, JavaScript, PHP, базы данных, Drupal, Битрикс, SEO, домены, безопасность и другое), PDF, 500 стр.