Правильный robots.txt для сайта - зачем нужен, как составить и где проверить
В настоящее время практически у каждого сайта имеется специальный файл, который служит для предоставления поисковым системам информации о том, как правильно индексировать сайт. Называется такой файл robots.txt - по сути это простой текстовый файл с инструкциями. В нем содержатся запреты, разрешения и прочие указания для поисковиков.
Составить такой файл можно самостоятельно, достаточно знать лишь некоторые общие правила. Приведем пример файла robots.txt и рассмотрим его ниже:
User-agent: *
# Directories
Disallow: /core/
Disallow: /custom/
Disallow: /modules/
Allow: /custom/modules/*.js
Allow: /custom/modules/*.css
Allow: /custom/modules/*.jpg
# Files
Disallow: /license.txt
Disallow: /index.php
# URL
Host: https://example.com
Sitemap: https://example.com/sitemap.xml
Коротко рассмотрим все основные элементы приведенного файла:
- ключевое слово User-agent указывает, для каких агентов поисковых систем прописаны правила – значение * означает, что правила прописаны для всех поисковых роботов;
- комментарии помечаются символом #, после которого может следовать любой текст;
- ключевое слово Disallow означает запрет индексирования указанного адреса, можно запретить целые разделы сайта;
- для разрешения индексация используется ключевое слово Allow;
- ключевое слово Host служит для задания основного домена сайта;
- ключевое слово Sitemap служит для задания пути к карте адресов.
Используя вышеуказанные ключевые слова можно составить файл robots.txt нужным образом. После составления правил, необходимо проверить файл robots.txt при помощи специальных сервисов, которые покажут есть ли в нем ошибки и предложат исправления и рекомендации в случае необходимости. Лучше всего использовать утилиты от крупных сервисов, например, Webmaster от Google или Yandex.
Таким образом, в статье было рассмотрено, зачем нужен robots.txt, как его правильно составить и где можно проверить.
Последние статьи
- 09.07.22ИТ / Разное Конвертация офисных файлов DOC, DOCX, DOCM, RTF в форматы DOCX, DOCM, DOC, RTF, PDF, HTML, XML, TXT без потерь и изменения разметки
- 07.07.22ИТ / Безопасность Как защитить исходный код PHP, JS, HTML, CSS - обфускация, минимизация, сжатие и шифрование
- 06.07.22ИТ / Безопасность Подключение не защищено, проблема с Lets Encrypt - как исправить истекший 30.09.2021 DST Root CA X3, удалить его вручную и установить ISRG Root X1. Пример на MS Windows 7
- 08.07.21ИТ / Разное Как бесплатно сделать перевод для сайта без API, перевод документов в Google Translate
- 06.07.21ИТ / Разное Как сделать кнопку подписки на сайте, базу подписчиков и автоматическую рассылку