Wiki BeSite Studio: Как создать файл robots.txt?

Эти справочные материалы могут быть вам полезны для управления вашим сайтом, его самостоятельной поддержки и развития после завершения проекта разработки.

Как создать файл robots.txt?

Общие рекомендации для Joomla и не только изложены здесь: https://joomla3-x.ru/optimizatsiya-joomla-3-x/kak-ispolzovat-fajl-robots-txt-na-joomla-3

Онлайн генератор файла: https://pr-cy.ru/robots/

Что нужно?

Нужна ката сайта Sitemap

Где расположить

В корне сайта. Если он не ищется, значит, он не в корне. Или проверить файл .htacess, лежащий в корне.

Пример файла для Joomla:

Простейший пример, взят со страницы https://joomlatown.net/blog/seo-i-marketing/nastroyka-robots-txt-dlya-joomla-3:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Взят со страницы http://cmsheaven.org/blogi/131-pravilniie-robots-txt-dlya-joomla-2-5-3-x/

User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /layouts/

Disallow: /cli/

Disallow: /bin/

Disallow: /logs/

Disallow: /components/

Disallow: /component/

Disallow: /component/tags*

Disallow: /*mailto/

Disallow: /*.pdf

Disallow: /*%

Disallow: /index.php

Host: vash_sait.ru (или www.vash_sait.ru)

Sitemap: http://путь к вашей карте XML формата

User-agent: *

Allow: /*.css?*$

Allow: /*.js?*$

Allow: /*.jpg?*$

Allow: /*.png?*$