Пользуемся файлом robots.txt
Допустим у вас есть свой веб-сайт. Пойдем дальше. Допустим вы захотели добавить его в базу данных поисковых машин Google, Yahoo, Yandex, Rambler… Существует много разных методов это сделать. Это целое направление которое получило название SEO (search engine optimization) . Если вы хотите серьезно этим заняться, то вам следует на это потратить намного больше времени, чем требуется для прочтения одной статьи.
Здесь я всего этого касаться не буду. Итак. Считаем что вы уже зарегестрировали свой сайт в поисковых машинах, Google,Yahoo,Yandex,Ramble
Теперь по крайней мере 4 поисковых машины знают о вашем сайте (но все равно вам придется подождать иногда и пару месяцев, пока они проиндексируют сайт). Вот здесь и возникает проблема. Допустим у меня есть сайт. Например http://www.storageguide.al.ru/ на котором есть одна страничка, например http://www.*****.net/data/downloads.php , которая содержит мою приватную информацию. Доступ на нее имеют только определенные пользователи.
Читать далее…