admin admin - Апр 8, 2017 commets Комментариев нет

Файл robots.txt

Файл robots.txt

 

Файл robots.txt — необходимый текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего сайта.

Которые нужно скрыть от индексации и направляет поисковых ботов, указывая что можно, а что нельзя индексировать. Размещается в корневой директории сайта и описывает исключения для поисковых роботов.

Скачать данный файл и сохранить на компьютере или на Яндекс.Диске, чтобы следующим шагом загрузить данный файл в корневую директорию сайта. Корневая директория сайта расположена на хостинге.

Для установки данного файла на сайт, нужно зайти  в свой аккаунт панели управления хостингом — файловый менеджер — выбрать наш сайт — public html — в данную папку, которая является корневой директорией нашего сайта, нам нужно закачать файл robots.txt

Самый правильный файл robots.txt — составила по урокам А.Борисова, чтобы не было на сайте дублей страниц и записей.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: https://moesadovodstvo.ru
Sitemap: https://moesadovodstvo.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Как загрузить файл robots.txt в корневую директорию сайта…

Заходим на хостинг в панель управления — файловый менеджер — domains — выбрать свой сайт — public_html — загрузить файл — в

открывшемся окне находим сохранённый на наш компьютер файл robots.txt и дважды кликаем по нему левой кнопкой мыши — загрузить (кнопка внизу справа) — всё файл robots.txt, контролирующий индексирование на нашем сайте загружен в корневую директорию сайта.

Архив файла robots.txt –  можно скачать с Яндекс Диска по ссылке https://yadi.sk/d/5hhEQ7Xg3RMoVH

Внести изменения в файл robots.txt

Заходим в консоль — настройки – выбираем XML-Sitemap – копируем первую ссылку — https://ДОМЕН.ru/sitemap.xml

— заходим в панель управления хостингом – файловый менеджер — domains— выбрать свой сайт – public html – находим файл — robots.txt – открываем файл – спускаемся в самый низ – 2 раза ентер – пишем – Sitemap: пробел и вставляем ссылку скопированную из плагина

— https://ДОМЕН.ru/sitemap.xml – сохранить заходим снова для проверки в файл robots.txt – спускаемся в самый низ и проверяем как сохранилась ссылка – сохранить.

Как проверить файл robots.txt на сайте

В адресной строке браузера вписываем адрес сайта и /robots.txt и нажимаем ентер.

Например https://moesadovodstvo.ru/robots.txt

Открывается страница с файлом robots.txt, так можем его проверить.

Мой блог

 

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Яндекс.Метрика