Составляем правильный robots.txt для WordPress
Все начинающие вебмастера рано или поздно узнают об одном интересном файле, который позволит вам избежать попадание в бан за дублирование контента, ускорит индексацию, поможет поисковикам «понять» и «полюбить» ваш сайт.
Бывалые seo-шники уже догадались, что речь идет о текстовом файле robots.txt. Вчера я заказывал бесплатную оптимизацию своего сайта под поисковые системы, мне подправили мой роботс, сказали в остальном он полностью соответствует лицензии и правилам пс. Так что в авторитетности и правильности сомнения нет. В связи с этим я представляю вашему вниманию правильный robots.txt для WordPress.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: seovod.ru
Sitemap: http://seovod.ru/sitemap.xmlUser-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: seovod.ruSitemap: http://seovod.ru/sitemap.xml
Только не забудьте заменить woomanizer на имя вашего сайта. Напомню, что заливать данный файлик нужно в корневую папку (там где находятся файлы сайта). Имея правильный robots.txt, вы автоматически уменьшаете риски на негативное отношение со стороны яндекса и гугла.
Десерт: Сегодня я хочу вас побаловать очень жирной ссылочко с форума_psychology.net.ru/talk/, его тиц составляет 1500 пунктов, ссылка открыта для индексации. Отличная вкусняшка для ссылочного.
18 комментариев к записи “Составляем правильный robots.txt для WordPress”
Метки
| Пн | Вт | Ср | Чт | Пт | Сб | Вс |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | |||||
спасибо! сейчас себе скопирую в файлик
Спасибо. Вот эту часть я как-то пропустил…
А это обязательно?
Конечно обязательно, это совершенно точно положительно скажется на вашем сайте.
еще для тех у кого wp на слабом тарифе или вдс:
Crawl-delay: 2
Частенько встречал, что советуют для WP ставить Crawl-delay: 5. Не знаю почему, но мне кажется, что наверное это и многова-то
Ещё 2 первые строчки я понять могу. Но всё остальное? Интересно каким макаром поисковик может попасть в папку Disallow: /wp-includes и чё он там будет делать? ПХП файлы индексировать?
Чем отличаются Disallow: /wp-comments от Disallow: /comments? Что-то второй папки я у себя на блоге не наблюдаю.
Ну да Disallow: /tag/ прятать метки от яндекса умно, но доводилось видеть более элегантное решение с уникализацией контента, соответственно с увеличением страниц в индексе.
Очень интересно насчет уникализации.
З.Ы. Рад такому осведомленному читателю.
Можно при выводе страниц отвечающим тегам использовать не начальную часть статьи, а excerpt (которая будет отличаться от начала статьи). + к страницам тегов и рубрик можно добавить дополнительные описания. В админке такое поле есть, но в большинстве тем его значение не выводится. 🙁
Раньше надо было в ручную, а сейчас уже вроди плагин Алл Ин Оне сео пак поддерживает отдельные мета дескрипшн, для каждой страницы категории и тега.
Такшо больше категорий и тегов, больше страниц в индексе… 😉
Позаимствовал вашего робота. Ждем результата)
Спасибо большое.. уже пользуюсь!
Просто и ясно. Без всяких загугулин. Поставил. Надеюсь поможет. Огромное спасибо.
Пожалуйста.
А что дает delay не могли бы пояснить?
Уважаемый, Ваш robots.txt неправильный. Благодаря вот этой строчке Disallow: /*?* поисковики не смогут сканировать страницы где будут находиться статьи Например под таким адресом как Или я не прав?
Я думаю, что вы не правы. Да и урлы подобного вида я не использую. Настраивайте правильно ЧПУ и будет вам счастье.
Тут немного не получилось вставить ссылку, вот какие ссылки не будут индексироваться: ***.ru/?p=3234234 и тому подобное. Конечно, если поставить плагин, которые будет менять /?p=32223 на буквы, то будет все нормально, а если нет, то робот не сможет проиндексировать эти страницы. В качестве доказательства, я проверил Ваш код в Яндексе, добавив при это URL таких страниц. В результате выдало что эти страницы не будут доступными. Таким образом, Вам нужно или поменять этот код, или ОБЯЗАТЕЛЬНО написать, что если применять данный код, нужно установить плагин, который будет изменять цифры на буквы.
Здравствуйте!
Позаимствовал у Вас несколько полезных строк для своего роботса)) Спасибо!
У меня такие вопросы:
1. Чем отличается функциональность при: Disallow: /wp-admin и Disallow: /wp-admin/
Дело в том, что часто встречаю различное написание. О чем, вообще, говорит последний слэш после имени директории?
2. Как закрыть от индексации все внешние ссылки через robots.txt?
Заранее благодарю за ответ!