Сегодня я хочу вам рассказать о файле robots.txt. И попытаюсь вам помочь его сделать его, если ещё у вас его нету.

Robots.txt – это файл находящийся в корне вашего сайта, в котором содержаться инструкции для роботов поисковых систем. В нём можно запрещать индексацию страниц, категорий, папок вашего сайта. Указывать правильное зеркало домена и карты sitemap.xml.

И ещё много разных функций. Но я вам сегодня расскажу об основных. И файл robots.txt я буду делать для движка блогов WordPress. И я вам сразу говорю, если у вас сайт на DataLife Engine (то-есть DLE) вы можете не читать эту статью. Так как там уже по умолчанию идёт файл robots.txt и вам не надо ничего делать. Читать далее »