Как создать и настроить файл для роботов
FoCeO Раскрутка сайтов Крым

Правильная настройка и создание файла robots.txt

robots txt, как настроить файл роботов, создать файл робота, роботс.txt, робот txt, файл робот в продвижении

SEO КрымПродвижение сайтов в КрымуFoCeO на английском языкеFoCeO на украинском языкеFoCeO на русском языке

Раскрутка сайтов в Крыму
Как создать и настроить файл для роботов

Правильная настройка и создание файла robots.txt

Как создать и настроить файл для роботов

Работа с файлом robots.txt


FoCeO - работа с файлом robots.txt



Файл robots.txt покоится в корневом каталоге нашего с Вами сервера, его задачей является распределение прав доступа для роботов поисковых машин. В нашей статье мы постараемся помочь начинающим веб-мастерам, seo специалистам и администрации сайтов разобраться в использовании robots.txt. Стандарт директив исключений для кроулеров ( роботов поисковых систем ) на самом деле очень прост, давайте разбираться в особенностях. Как только, поисковый робот зайдет на наш с Вами сайт, его основной задачей станет поиск файла «robots.txt». В том случае, когда такой файл обнаружен, Robot постарается распознать в нем свои инструкции. Инструкции относительно имеющихся запретов для индексации отдельных частей веб-сайта. Специалисты FoCeO считают, что есть смысл создавать лишь один единственный файл для роботов - «robots.txt». Нет имеет смысла, помещать файл robots.txt в Ваших личных директориях сайта, робот не станет искать их в подобных местах. Если такая необходимость все же есть, тогда Вам потребуется способ программно объединять все эти файлы в один robots.txt, причем именно в тот, что размещен в корне сайта. Для этого можно использовать специальный тег Robots.


Помните о том, что URL очень чувствителен к регистру, имя приманки для поисковых роботов должно быть в низком регистре - «robots.txt» и никак иначе.








В том случае, если такого файла в основной директории сайта у Вас нет, Вы можете его создать сами, директивы, которые Вам могут понадобиться при его создании мы покажем Вам ниже. Легче будет усвоить особенности работы директив файла robots.txt на примере:


User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /stat/


В указанном выше примере мы запретили поисковым роботам индексировать 3 директории:


cgi-bin;

tmp;

stat.


Согласно правилам синтаксиса файла robots.txt, каждая отдельно взятая директория должна быть указана с новой строки.


В следующем примере мы покажем, как полностью закрыть сайт от индексации поисковыми роботами:


User-agent: *

Disallow: /


Таким образом можно открыть сайт для индексации роботам полностью:


User-agent: *

Disallow:


Таким образом можно добавить запрет для конкретного робота:


User-agent: SpamBot

Disallow: /


В качестве примера, мы запретили индексацию сайта, роботу SpamBot, но вообще Вы можете запрещать индексацию любым ботам.


Используя файл robots.txt, можно разрешить индексацию сайта конкретному роботу, а остальным запретить, пример ниже:


User-agent: Google

Disallow:

User-agent: *

Disallow: /


В этом примере мы открыли индексацию сайта роботу от Google, на его месте может быть любой другой, для остальных индексация запрещена.


В этом примере мы покажем как открыть доступ для индексации всего сайта, кроме одной директории:


User-agent: *

Disallow: /zapret/



В этом примере мы закрыли доступ к директории "zapret".

Файл robots.txt, позволяет нам скрывать от индексации не только директории, но и отдельные файлы, смотрим пример:


User-agent: *

Disallow: /lichnoe/l

Disallow: /private/l

Disallow: /moe/l


Вот собственно и всё, что нам с Вами потребуется знать про работу файла robots.txt и его директивы.


FoCeO.RU Желает Вам успехов в продвижении сайтов!





Пожалуйста, оцените полезность данного материала:














Вся информация, представленная на сайте, принадлежит проекту FoCeO.RU 2013

FoCeO В TwitterFoCeO В Google+FoCeO в FaceBookFoCeO ВКонтакте Рейтинг@Mail.ru
FoCeO Раскрутка сайтов Крым
Как создать и настроить файл для роботов
FoCeO Раскрутка сайтов Крым