Работа с файлом robots.txt

Файл robots.txt покоится в корневом каталоге нашего с Вами сервера, его задачей является распределение прав доступа для роботов поисковых машин. В нашей статье мы постараемся помочь начинающим веб-мастерам, seo специалистам и администрации сайтов разобраться в использовании robots.txt. Стандарт директив исключений для кроулеров ( роботов поисковых систем ) на самом деле очень прост, давайте разбираться в особенностях. Как только, поисковый робот зайдет на наш с Вами сайт, его основной задачей станет поиск файла «robots.txt». В том случае, когда такой файл обнаружен, Robot постарается распознать в нем свои инструкции. Инструкции относительно имеющихся запретов для индексации отдельных частей веб-сайта. Специалисты FoCeO считают, что есть смысл создавать лишь один единственный файл для роботов - «robots.txt». Нет имеет смысла, помещать файл robots.txt в Ваших личных директориях сайта, робот не станет искать их в подобных местах. Если такая необходимость все же есть, тогда Вам потребуется способ программно объединять все эти файлы в один robots.txt, причем именно в тот, что размещен в корне сайта. Для этого можно использовать специальный тег Robots.
Помните о том, что URL очень чувствителен к регистру, имя приманки для поисковых роботов должно быть в низком регистре - «robots.txt» и никак иначе.
В том случае, если такого файла в основной директории сайта у Вас нет, Вы можете его создать сами, директивы, которые Вам могут понадобиться при его создании мы покажем Вам ниже. Легче будет усвоить особенности работы директив файла robots.txt на примере:

В указанном выше примере мы запретили поисковым роботам индексировать 3 директории:
cgi-bin;
tmp;
stat.
Согласно правилам синтаксиса файла robots.txt, каждая отдельно взятая директория должна быть указана с новой строки.
В следующем примере мы покажем, как полностью закрыть сайт от индексации поисковыми роботами:

Таким образом можно открыть сайт для индексации роботам полностью:

Таким образом можно добавить запрет для конкретного робота:

В качестве примера, мы запретили индексацию сайта, роботу SpamBot, но вообще Вы можете запрещать индексацию любым ботам.
Используя файл robots.txt, можно разрешить индексацию сайта конкретному роботу, а остальным запретить, пример ниже:

В этом примере мы открыли индексацию сайта роботу от Google, на его месте может быть любой другой, для остальных индексация запрещена.
В этом примере мы покажем как открыть доступ для индексации всего сайта, кроме одной директории:

В этом примере мы закрыли доступ к директории "zapret".
Файл robots.txt, позволяет нам скрывать от индексации не только директории, но и отдельные файлы, смотрим пример:

Вот собственно и всё, что нам с Вами потребуется знать про работу файла robots.txt и его директивы.
FoCeO.RU Желает Вам успехов в продвижении сайтов!