docs: добавлены SEO и LLM файлы для сайта (robots.txt, sitemap.xml, llms.md)
Добавлены три важных файла в папку public: - robots.txt: инструкции для поисковых ботов - sitemap.xml: карта сайта с оптимизированной частотой обновления - llms.md: информация для LLM систем
This commit is contained in:
15
public/robots.txt
Normal file
15
public/robots.txt
Normal file
@@ -0,0 +1,15 @@
|
||||
# robots.txt для pet-clones.cube2.ru
|
||||
# https://www.robotstxt.org/
|
||||
|
||||
# Разрешаем доступ всем ботам к основному контенту
|
||||
User-agent: *
|
||||
Allow: /
|
||||
Allow: /static/
|
||||
|
||||
# Скорость сканирования (необязательно, но рекомендуется)
|
||||
Crawl-delay: 1
|
||||
Request-rate: 30/1m
|
||||
|
||||
# Ссылка на карту сайта
|
||||
Sitemap: https://git.cube2.ru/sitemap.xml
|
||||
|
||||
Reference in New Issue
Block a user