Как да направим оптимален robots.txt файл за блога си?
Файлът robots.txt е обикновен текстов файл, който указва на ботовете на търсачките кои страници могат да обхождат и да индексират. Ето някои препоръки за създаване на този файл:
- забраняване на индексирането на RSS фийдовете от коментарите, тъй като търсачките могат да сметнат това за дублирано съдържание
- забраняване за индексиране на trackback адресите тъй като те се индексират като празна страница
- забраняване индексирането на файловете на WordPress
Примерен файл robots.txt за WordPress
User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin/
В този пример Disallow: /wp- забранява индексирането на всички файлове на WordPress.
В кодекса на WordPress има и други примери за файлове robots.txt.
User-agent: *
# disallow files in /cgi-bin
Disallow: /cgi-bin/
Disallow: /comments/
Disallow: /z/j/
Disallow: /z/c/
# disallow all files ending in .php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$
#disallow all files in /wp- directorys
Disallow: /wp-*/
# disallow all files with ? in url
Disallow: /*?
# disallow any files that are stats related
Disallow: /stats*
Disallow: /about/legal-notice/
Disallow: /about/copyright-policy/
Disallow: /about/terms-and-conditions/
Disallow: /about/feed/
Disallow: /about/trackback/
Disallow: /contact/
Disallow: /tag
Disallow: /docs*
Disallow: /manual*
Disallow: /category/uncategorized*
Тези примери са за WordPress, но те лесно биха могли да се преобразуват за всякакви други сайтове.
Подобни публикации
Ако харесвате тази публикация можете да получавате много
такива, като се запишете за RSS емисиите. Също така
може да се абонирате и да получавате публикациите
си във Вашата електронна поща.
Comments
Защо да не можеш да го забраниш за индексиране?
Обоснови се все пак. Няма нужда тази папка да бъде индексирана. Тази забрана за индексиране действа единствено на търсещите машини. Освен това всички тези примери са взети от кодекса на WordPress. Те са приложени в този блог.
[...] ако объркяме дори и един ред в него. В публикацията Как да направим оптимален robots.txt файл за блога си? съм описал някои техники от кодекса на WordPress. [...]
ми..
Disallow: /wp-content/ не можеш да забраниш в повечето случаи..
и си не си прав и за повечето от нещата, но robots.txt ‘Управлява’
Стига дя знаеш за какво го ползваш и да не си ти, които ще го пише..