admin - Апр 8, 2017
Комментариев нет
Файл robots.txt
Файл robots.txt — необходимый текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего сайта.
Которые нужно скрыть от индексации и направляет поисковых ботов, указывая что можно, а что нельзя индексировать. Размещается в корневой директории сайта и описывает исключения для поисковых роботов.
Скачать данный файл и сохранить на компьютере или на Яндекс.Диске, чтобы следующим шагом загрузить данный файл в корневую директорию сайта. Корневая директория сайта расположена на хостинге.
Для установки данного файла на сайт, нужно зайти в свой аккаунт панели управления хостингом — файловый менеджер — выбрать наш сайт — public html — в данную папку, которая является корневой директорией нашего сайта, нам нужно закачать файл robots.txt
Самый правильный файл robots.txt — составила по урокам А.Борисова, чтобы не было на сайте дублей страниц и записей.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: https://moesadovodstvo.ru
Sitemap: https://moesadovodstvo.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
Как загрузить файл robots.txt в корневую директорию сайта…
Заходим на хостинг в панель управления — файловый менеджер — domains — выбрать свой сайт — public_html — загрузить файл — в
открывшемся окне находим сохранённый на наш компьютер файл robots.txt и дважды кликаем по нему левой кнопкой мыши — загрузить (кнопка внизу справа) — всё файл robots.txt, контролирующий индексирование на нашем сайте загружен в корневую директорию сайта.
Архив файла robots.txt – можно скачать с Яндекс Диска по ссылке https://yadi.sk/d/5hhEQ7Xg3RMoVH
Внести изменения в файл robots.txt
Заходим в консоль — настройки – выбираем XML-Sitemap – копируем первую ссылку — https://ДОМЕН.ru/sitemap.xml
— заходим в панель управления хостингом – файловый менеджер — domains— выбрать свой сайт – public html – находим файл — robots.txt – открываем файл – спускаемся в самый низ – 2 раза ентер – пишем – Sitemap: пробел и вставляем ссылку скопированную из плагина
— https://ДОМЕН.ru/sitemap.xml – сохранить заходим снова для проверки в файл robots.txt – спускаемся в самый низ и проверяем как сохранилась ссылка – сохранить.
Как проверить файл robots.txt на сайте
В адресной строке браузера вписываем адрес сайта и /robots.txt и нажимаем ентер.
Например https://moesadovodstvo.ru/robots.txt
Открывается страница с файлом robots.txt, так можем его проверить.
