Авг
17

Составляем правильный robots.txt для WordPress

Все начинающие вебмастера рано или поздно узнают об одном интересном файле, который позволит вам избежать попадание в бан за дублирование контента, ускорит индексацию, поможет поисковикам «понять» и «полюбить» ваш сайт.

Бывалые seo-шники уже догадались, что речь идет о текстовом файле robots.txt. Вчера я заказывал бесплатную оптимизацию своего сайта под поисковые системы, мне подправили мой роботс, сказали в остальном он полностью соответствует лицензии и правилам пс. Так что в авторитетности и правильности сомнения нет. В связи с этим я представляю вашему вниманию правильный robots.txt для WordPress.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: seovod.ru
Sitemap: http://seovod.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: seovod.ru

Sitemap: http://seovod.ru/sitemap.xml

Только не забудьте заменить woomanizer на имя вашего сайта. Напомню, что заливать данный файлик нужно в корневую папку (там где находятся файлы сайта). Имея правильный robots.txt, вы автоматически уменьшаете риски на негативное отношение со стороны яндекса и гугла.

Десерт: Сегодня я хочу вас побаловать очень жирной ссылочко с форума_psychology.net.ru/talk/, его тиц составляет 1500 пунктов, ссылка открыта для индексации. Отличная вкусняшка для ссылочного.


Также будет интересно прочитать:

18 комментариев к записи “Составляем правильный robots.txt для WordPress”

  • Женька 17.08.2010 - 6:14 дп

    спасибо! сейчас себе скопирую в файлик

  • Pirat 21.08.2010 - 12:07 пп

    Спасибо. Вот эту часть я как-то пропустил…

    Disallow: /*?*
    Disallow: /*?
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$

  • Aleks-Gold 22.08.2010 - 1:27 пп

    А это обязательно?

    • WomanizeR 22.08.2010 - 11:41 пп

      Конечно обязательно, это совершенно точно положительно скажется на вашем сайте.

  • Brown 12.09.2010 - 1:27 пп

    еще для тех у кого wp на слабом тарифе или вдс:
    Crawl-delay: 2

    • Иван Оршанский 13.09.2010 - 5:58 дп

      Частенько встречал, что советуют для WP ставить Crawl-delay: 5. Не знаю почему, но мне кажется, что наверное это и многова-то

  • Тестовая Страница 19.09.2010 - 5:29 дп

    Ещё 2 первые строчки я понять могу. Но всё остальное? Интересно каким макаром поисковик может попасть в папку Disallow: /wp-includes и чё он там будет делать? ПХП файлы индексировать?

    Чем отличаются Disallow: /wp-comments от Disallow: /comments? Что-то второй папки я у себя на блоге не наблюдаю.

    Ну да Disallow: /tag/ прятать метки от яндекса умно, но доводилось видеть более элегантное решение с уникализацией контента, соответственно с увеличением страниц в индексе.

    • WomanizeR 19.09.2010 - 5:38 дп

      Очень интересно насчет уникализации.
      З.Ы. Рад такому осведомленному читателю.

      • Тестовая Страница 22.11.2011 - 1:47 пп

        Можно при выводе страниц отвечающим тегам использовать не начальную часть статьи, а excerpt (которая будет отличаться от начала статьи). + к страницам тегов и рубрик можно добавить дополнительные описания. В админке такое поле есть, но в большинстве тем его значение не выводится. 🙁

        Раньше надо было в ручную, а сейчас уже вроди плагин Алл Ин Оне сео пак поддерживает отдельные мета дескрипшн, для каждой страницы категории и тега.

        Такшо больше категорий и тегов, больше страниц в индексе… 😉

  • Alexey 28.12.2010 - 11:47 дп

    Позаимствовал вашего робота. Ждем результата)

  • Panov Igor 25.02.2011 - 1:41 дп

    Спасибо большое.. уже пользуюсь!

  • Андрей 12.03.2011 - 3:07 дп

    Просто и ясно. Без всяких загугулин. Поставил. Надеюсь поможет. Огромное спасибо.

    • WomanizeR 12.03.2011 - 6:47 дп

      Пожалуйста.

  • kunet 17.11.2011 - 12:06 дп

    А что дает delay не могли бы пояснить?

  • Владимир 06.12.2011 - 4:28 дп

    Уважаемый, Ваш robots.txt неправильный. Благодаря вот этой строчке Disallow: /*?* поисковики не смогут сканировать страницы где будут находиться статьи Например под таким адресом как http://****.ru/?p=3141 Или я не прав?

    • WomanizeR 06.12.2011 - 9:51 дп

      Я думаю, что вы не правы. Да и урлы подобного вида я не использую. Настраивайте правильно ЧПУ и будет вам счастье.

      • Владимир 06.12.2011 - 9:55 дп

        Тут немного не получилось вставить ссылку, вот какие ссылки не будут индексироваться: ***.ru/?p=3234234 и тому подобное. Конечно, если поставить плагин, которые будет менять /?p=32223 на буквы, то будет все нормально, а если нет, то робот не сможет проиндексировать эти страницы. В качестве доказательства, я проверил Ваш код в Яндексе, добавив при это URL таких страниц. В результате выдало что эти страницы не будут доступными. Таким образом, Вам нужно или поменять этот код, или ОБЯЗАТЕЛЬНО написать, что если применять данный код, нужно установить плагин, который будет изменять цифры на буквы.

  • Сергей 14.12.2011 - 12:03 пп

    Здравствуйте!

    Позаимствовал у Вас несколько полезных строк для своего роботса)) Спасибо!

    У меня такие вопросы:

    1. Чем отличается функциональность при: Disallow: /wp-admin и Disallow: /wp-admin/
    Дело в том, что часто встречаю различное написание. О чем, вообще, говорит последний слэш после имени директории?

    2. Как закрыть от индексации все внешние ссылки через robots.txt?

    Заранее благодарю за ответ!

Реклама

Метки

Декабрь 2017
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 123
45678910
11121314151617
18192021222324
25262728293031

Свежие комментарии