Вопрос с собеседования · Frontend

Зачем нужны robots.txt и sitemap.xml?

JuniorБраузер и DOM
Ещё спрашивают так:
  • Как запретить индексацию страницы?
Коротко

robots.txt в корне сайта говорит роботам, какие разделы не обходить (админка, корзина, бесконечные фильтры) и где лежит sitemap. Это не защита: страница может попасть в индекс по внешним ссылкам, а закрывать индексацию нужно мета-тегом robots noindex (страница при этом должна быть доступна роботу). sitemap.xml — список адресов страниц с датой изменения, помогает быстрее находить новые страницы. Обе вещи подключают в Вебмастере и Search Console.

  • Не закрывать в robots.txt CSS и JS — робот не отрисует страницу
  • Тестовый стенд закрывают паролем, а не только robots.txt
  • sitemap генерируется при сборке автоматически

Подробно

User-agent: *
Disallow: /admin/
Sitemap: https://example.ru/sitemap.xml

Что хотят услышать

  • Назначение robots.txt и его ограничения.
  • noindex для запрета индексации.
  • sitemap.xml.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✗robots.txt надёжно защищает закрытые страницы от посторонних людей и ботов
  • ✗sitemap.xml запрещает поисковикам индексировать перечисленные в нём страницы
  • ✗CSS и JS стоит закрыть от роботов в robots.txt, чтобы ускорить обход сайта
  • ✓robots.txt — обход, noindex — индексация, sitemap.xml — список страниц

Связанные вопросы

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования