robots.txt - это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно обходить, а какие лучше не трогать. Это первое, что робот читает, заходя на сайт.
Robots.txt помогает не тратить силы робота на мусорные страницы - корзину, личный кабинет, технические разделы. Ещё в нём указывают адрес карты сайта, чтобы поисковик быстрее нашёл все страницы. Без него робот всё равно обойдёт сайт, но менее эффективно.
Robots.txt не прячет страницу от людей и не гарантирует, что её не будет в выдаче. Если на закрытую страницу ведут ссылки, Google может всё равно её показать. Для настоящего сокрытия нужны другие инструменты - пароль или мета-тег noindex.
Бесплатный аудит за 30 секунд покажет, всё ли в порядке именно у вас.
Проверить сайт бесплатно