Главная » Записи с тегом "директив"

Рубрики с меткой ‘директив’

Яндекс Новые правила обработки Allow файла robots.txt

Яндекс Новые правила обработки Allow файла robots.txt

Яндекс поиск вводит новые правила обработки директивы Allow файла robots.txt, об этом можно более подробно в публикации Я.РУ новые правила . Как всем известно, одним из методов управления поведения поисковым роботом на сайте разными командами , является текстовый файл robots.txt. Где можно указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Это позволяет задавать параметры доступа робота к некоторым частям сайта или сайту целиком, используется директива ‘Allow’ и Disallow .На нашем сайте www.dle9.com.
Раньше для того что бы исключить категории из поиска (запретить роботам индексировать) папки на сайте нужно было устанавливать например директиву Disallow : /catalog. Читать далее »