# robots.txt для pet-clones.cube2.ru
# https://www.robotstxt.org/

# Разрешаем доступ всем ботам к основному контенту
User-agent: *
Allow: /
Allow: /static/

# Скорость сканирования (необязательно, но рекомендуется)
Crawl-delay: 1
Request-rate: 30/1m

# Ссылка на карту сайта
Sitemap: https://git.cube2.ru/sitemap.xml