Главная
ВЫБЕРИТЕ ПОДХОДЯЩИЙ ПЛАН ОБМЕНА ССЫЛКАМИ
1x31x51x71x101x121x151x201x251x301x35
 
1x401x451x501x751x1001x1501x2001x2501x300
Seovisit.ru

Добавить ссылку30000 Руб В день На продаже Трафика! (
[ Кликов: 1 ]
Добавить ссылкуДИН. ССЫЛКИ ОТ 11.5р. ЗА 1000 ВИЗИТОВ.
[ Кликов: 4 ]
Добавить ссылкуОт4-150 руб.в день!+Конкурсы ежемесячно!
[ Кликов: 5 ]
Добавить ссылку10 000 посетителей за 99 рублей!
[ Кликов: 9 ]
Добавить ссылку1 КЛИК = 180 РУБЛЕЙ
[ Кликов: 6 ]
Добавить ссылку
Меню
Позиция ссылки
Баннер 200x300
Текстовые объявления
Новости сайта

  20.06.2012 - Добавлено текстовое описание Вашей ссылки, для более эффективной раскрутки и привлечения целевой аудитории....

  01.06.2012 - Подключена платежная система Robokassa...

  08.02.2012 - Список (неполный) «партнёрок» или их доменов, за которые мы 100% баним ваши «сайты»: webrom, redstream, beetraf, countbiz, url4all, grandtraff, traffstock, trafer09, cleartraf, if-page, urltraf.com, lydaboss, if-page, traffbiz (спи...
Реклама
Карта посещений

Что такое файл robots.txt





Что такое файл robots.txt


Robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, как для всех, так и для определённых, роботов.
К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к неработоспособности данного файла.
 

Как создать robots.txt


Robots.txt должен создаваться в текстовом формате Unix.
Воспользуйтесь любым текстовым редактором, создайте файл с именем "robots.txt" и заполните его в соответствии с представленными ниже правилами.
Файл robots.txt должен находиться только в корневой директории сайта, только тогда он будет учитываться поисковыми системами.
robots.txt является регистрозависимым, называть файл необходимо robots.txt, Robots.txt будет уже ошибкой.
После этого необходимо загрузить файл в корневой каталог вашего сайта.
Всегда после того, как вы закачали файл robots.txt на сервер, проверяйте его. Достаточно в броузере набрать простой запрос:
http://ваш_сайт/robots.txt
 

Проверка синтаксиса


Инструмент Проверка файла robots.txt показывает, не блокирует ли ваш файл robots.txt доступ поискового робота к файлам и каталогам вашего сайта
и не разрешает ли он сканирование файлов, которые не должны появляться в Интернете.
Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб.

Служба яндекса - webmaster.yandex.ua
Gogle webmasters - www.google.com

 

Содержимое файла robots.txt


Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.

User-agent: содержит название робота.
Disallow: URL-адреса, которые необходимо заблокировать.

User-agent: * - разрешение индексировать всем роботам.

Disallow: - разрешение индексировать всё содержимое сайта.
Disallow: / - запрет на индексацию всего сайта.
Disallow: /name – запрет на индексацию любых файлов и директорий, которые называются или имеют в своём названии name.
Disallow: /name/ - запрет на индексацию директории name.
Disallow: /*.gif$ - запрет на индексацию всех файлов, имеющих расширение .gif.
Disallow: /name.php – запрет на индексацию файла name.php.
Disallow: /name.php?action=print – запрет индексации переменной, например, страниц для печати.
Allow: / - всё наоборот (разрешается индексировать), синтаксис такой же, как и с Disallow

Примеры

Разрешает доступ всех роботов ко всему сайту:

User-agent: *
Disallow:

Запрет доступа всех роботов ко всему сайту:

User-agent: *
Disallow: /

Запрещает роботу Roverdog индексировать все файлы сервера:

User-agent: Roverdog
Disallow: /

Запрещает роботу googlebot индексировать файл cheese.htm:

User-agent: googlebot
Disallow: cheese.htm

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:
Sitemap: http://ваш_сайт/sitemap.xml

Ротатор баннеров 468x60

Баннеров в ротаторе: 2   Смотреть все   Добавить баннер
 

 
Ротатор баннеров 88x31


 
Баннеров в ротаторе: 0   Смотреть все   Добавить баннер
Партнерская реклама


Баннер 100х100
Добавить баннер   Смотреть все
Онлайн-сервисы
Реклама
Аттестат и контакты
WMID: 309688839848
WMR: R192320114440
E-mail: mrtower@mail.ru
ICQ: 35558515
  BL:Бизнес-уровень [BL]