Яндекс поиск вводит новые правила обработки директивы Allow файла robots.txt, об этом можно более подробно в публикации Я.РУ новые правила . Как всем известно, одним из методов управления поведения поисковым роботом на сайте разными командами , является текстовый файл robots.txt. Где можно указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Это позволяет задавать параметры доступа робота к некоторым частям сайта или сайту целиком, используется директива ‘Allow’ и Disallow .На нашем сайте www.dle9.com.
Раньше для того что бы исключить категории из поиска (запретить роботам индексировать) папки на сайте нужно было устанавливать например директиву Disallow : /catalog. Читать далее »