robots.txt - це текстовий файл у корені сайту, який підказує пошуковим роботам, які розділи можна обходити, а які краще не чіпати. Це перше, що робот читає, заходячи на сайт.
robots.txt допомагає не витрачати сили робота на сміттєві сторінки - кошик, особистий кабінет, технічні розділи. Ще в ньому вказують адресу карти сайту, щоб пошуковик швидше знайшов усі сторінки. Без нього робот усе одно обійде сайт, але менш ефективно.
robots.txt не ховає сторінку від людей і не гарантує, що її не буде у видачі. Якщо на закриту сторінку ведуть посилання, Google може все одно її показати. Для справжнього приховування потрібні інші інструменти - пароль або мета-тег noindex.
Безкоштовний аудит за 30 секунд покаже, чи все гаразд саме у вас.
Перевірити сайт безкоштовно