Создание файла robot.txt

Сегодня наконец решила заняться созданием файла robot.txt.

Я и раньше об этом файле читала, но все как-то руки не доходили. А после того, как я проверила качество сайтов ("Как узнать качество сайта и насколько хорошо ценит его Гугл")и увидела, что количество страниц, проиндексированных Гуглом в 2 раза больше существующих, решила что пора.

Этот файл запрещает к индексации поисковыми системами дублированного контента, т.е. не индесируются страницы служебной информации.
А лучше почитайте, зачем нужен файл-робот здесь.

Побродив по просторам Рунета, обнаружила,что разные блогеры предлагают и разное содержимое для файла robot.txt.

Решила остановиться на варианте, который предлагает Дмитрий Донченко.
Итак, для всех поисковых роботов указваем следующие правила:
Содержание файла robot.txtИ отдельно для Яндекса.
Содержание файла robot.txt для ЯндексаФайл создала с помощью редактора PSPad, на сервер закачала по FTP.
Вот и всё!

2 коммент.:

Таисия комментирует...

Молодец, Лариса! Коротко и ясно!
Спасибо
Марина

Лариса Клепачева комментирует...

Благодарю за комплимент, хотя спасибо скорее Дмитрию Донченко, чем мне.

Design by Blogger Templates