Как да направим оптимален robots.txt файл за блога си?
Файлът robots.txt е обикновен текстов файл, който указва на ботовете на търсачките кои страници могат да обхождат и да индексират. Ето някои препоръки за създаване на този файл:
забраняване на индексирането на RSS фийдовете от коментарите, тъй като търсачките могат да сметнат това за дублирано съдържание
забраняване за индексиране на trackback адресите тъй като те се индексират [...]
