Моят блог

Файлът robots.txt е обикновен текстов файл, който указва на ботовете на търсачките кои страници могат да обхождат и да индексират. Ето някои препоръки за създаване на този файл:

• забраняване на индексирането на RSS фийдовете от коментарите, тъй като търсачките могат да сметнат това за дублирано съдържание
• забраняване за индексиране на trackback адресите тъй като те се индексират като празна страница
• забраняване индексирането на файловете на WordPress

Примерен файл robots.txt за WordPress

User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin/

В този пример Disallow: /wp- забранява индексирането на всички файлове на WordPress.

В кодекса на WordPress има и други примери за файлове robots.txt.

User-agent: *
# disallow files in /cgi-bin
Disallow: /cgi-bin/
Disallow: /comments/
Disallow: /z/j/
Disallow: /z/c/
# disallow all files ending in .php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$
#disallow all files in /wp- directorys
Disallow: /wp-*/
# disallow all files with ? in url
Disallow: /*?
# disallow any files that are stats related
Disallow: /stats*
Disallow: /about/legal-notice/
Disallow: /about/copyright-policy/
Disallow: /about/terms-and-conditions/
Disallow: /about/feed/
Disallow: /about/trackback/
Disallow: /contact/
Disallow: /tag
Disallow: /docs*
Disallow: /manual*
Disallow: /category/uncategorized*

Тези примери са за WordPress, но те лесно биха могли да се преобразуват за всякакви други сайтове.

Сподели с всички:

Подобни публикации

• WordPress оптимизация за търсачки – част 6 (0)
• Публикации през месец юни (1)
• Излезе WordPress 2.9 (1)
• WordPress оптимизация за търсачки – част 9 (1)
• WordPress оптимизация за търсачки – част 8 (2)