🤖 Конструктор robots.txt

Что такое robots.txt

Файл robots.txt лежит в корне сайта (например, https://example.com/robots.txt) и подсказывает поисковым роботам, какие страницы можно индексировать, а какие — нет. Это важная часть SEO.

Относительные и абсолютные адреса

• В Disallow и Allow указываются только относительные пути от корня сайта: например, /admin, /cart, /api/*. Не пишите полный URL (https://...).
• В Sitemap указывается полный абсолютный URL: https://example.com/sitemap.xml. Так требуют Google и Яндекс.

Как указать sitemap

Добавьте директиву Sitemap с полным URL файла карты сайта. Можно указать несколько sitemap (каждый с новой строки в конструкторе). Примеры:

• Sitemap: https://example.com/sitemap.xml
• Sitemap: https://example.com/sitemap_index.xml — для нескольких карт

Примеры путей Disallow

• /admin — запретить папку /admin и всё внутри
• /search? — запретить страницы поиска (знак ? важен для параметров)
• /*.php$ — в некоторых роботах: URL, заканчивающиеся на .php
• /user/*/private — пути с * совпадают с любой подстрокой

Куда загрузить готовый файл

Сохраните сгенерированный текст в файл с именем robots.txt и поместите его в корень сайта. Файл должен открываться по адресу: ваш-сайт.ru/robots.txt

Полезно для SEO

• ✅ Не закрывайте от индексации важные для пользователей страницы
• ✅ Закрывайте служебные разделы: /admin, /cart, /api, страницы с параметрами ?
• ✅ Всегда указывайте Sitemap — так поисковики быстрее найдут новые страницы
• ✅ Проверяйте файл в Яндекс.Вебмастер и Google Search Console после загрузки