Создаем Robots.txt

Первое, создайте файл с именем «robots.txt».

Правил может быть несколько или одно для всех. С помощью User-agent: укажем для кого данное правило. А при помощи Disallow: к чему запрещаем доступ.

User-agent:*
Disallow: /forum/
Disallow: /links/
Disallow: /uploads/
Disallow: /user/
Disallow: /wp-includes/
Disallow: /js/
Disallow: /files/
Disallow: /trackback/
Disallow: /PHP_errors.log
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php

В данном случае запретили доступ к указанным каталогам всем роботам.

Еще примеры
User-agent:*
Disallow: /forum/ #заблокировали доступ к папке forum и все что в ней
User-agent:*
Disallow: / #заблокировали доступ ко всему сайту

Робот яндекса позволяет создовать таймаут между индексированием следующей страницы. Если у вас появляется нагрузка на сервер и тд. можно попробовать увеличить время.
Crawl-delay: 2

Если вы используете РСЯ от Яндекса то добавьте следующие строчки, они позволяют роботу РСЯ просматривать все страницы. К поисковому роботу это не относится. Таким образом вы можете размещать рекламу на закрытом сайте, с посещаемостью более 300ч.

User-agent: YandexDirect
Disallow:

Host: manual1c.ru
Sitemap: http://manual1c.ru/sitemap.xml



comments powered by Disqus

Популярное