Попробовать Конструктор robots.txt

Онлайн-конструктор robots.txt для быстрого управления индексацией сайта. Позволяет создать разрешающий или запрещающий файл robots.txt без ручного редактирования, с корректным синтаксисом для поисковых систем.