Robots.txt для сайта: пошаговое руководство по созданию и настройке robots txt
Давайте разберёмся, что такое файл robots.txt и почему он так важен для сайта. Что такое файл Robots.txt? Файл robots.txt — это специальный файл, который находится в корневой директории вашего сайта.