я.Робот (1С-Битрикс) - пример работы с модулем

Инструмент для оптимизатора SEO(СЕО).
Возможности:
-поддержка многосайтовости
-настройка разрешенных директив
-написание инструкций для любых роботов, достаточно добавить их в список
-тонкая настройка окончательной генерации файла
-возможность установки периода действия правила
-автоматическая генерация файлов (агент)
-статус 404 для закрытых роботу страниц
-метатег robots в код закрытых страниц