erjemin
0b3eb517fe
Добавлены три важных файла в папку public: - robots.txt: инструкции для поисковых ботов - sitemap.xml: карта сайта с оптимизированной частотой обновления - llms.md: информация для LLM систем
16 lines
430 B
Plaintext
16 lines
430 B
Plaintext
# robots.txt для pet-clones.cube2.ru
|
|
# https://www.robotstxt.org/
|
|
|
|
# Разрешаем доступ всем ботам к основному контенту
|
|
User-agent: *
|
|
Allow: /
|
|
Allow: /static/
|
|
|
|
# Скорость сканирования (необязательно, но рекомендуется)
|
|
Crawl-delay: 1
|
|
Request-rate: 30/1m
|
|
|
|
# Ссылка на карту сайта
|
|
Sitemap: https://git.cube2.ru/sitemap.xml
|
|
|