Большинство Web-сайтов доступно всем желающим. Однако некоторые сайты или отдельные страницы этих сайтов должны оставаться невидимыми.

Эти страницы часто доступны только уполномоченному персоналу, когда URL предоставляется индивидуально, и нет необходимости размещать ссылку на него в поисковой машине.Типичный пример такого сайта – это сайт,занимающийся оптовыми поставками.Доступ к сайту разрешен только определенным менеджерам,которым назначены имена пользователей и пароли для доступа к сайту,поэтому нет никакой причины афишировать URL сайта всему миру. Если вы запретите индексирование такого сайта, то уменьшите случайный и нежелательный трафик, не будете вводить в заблуждение покупателей (в частности розничных клиентов, которые найдут ваш сайт и попытаются войти) и оградите сайт от чрезмерного внимания Читать далее »