Этот фаил служит помощником и путеводителем для робота поисковой системы, он должен располагаться в корневой попке вашего сайта. На сайте может быть только один файл «/robots.txt». Протокол ограничения поисковых роботов (Robots Exclusion Protocol) - это метод, позволяющий администраторам веб-сайтов указывать поисковых роботам, посещающим сайт, какие части их сайтов индексировать нельзя. При заходе на ваш сайт поисковый робот загружает файл robots.txt, содержащий инструкции что можно и что нельзя индексировать. Файл можно создать, используя простой текстовый редактор, например блокнот, а можно воспользоваться программами или услугами сайтов по созданию этого файла в автоматическом режиме.
Файл robots.txt состоит из двух команд: строка пользовательского агента (User-agent) и строка запрета (Disallow).