Eric / documentation

# robots.txt — Documentation gitrust
# https://demo.gitrust.eu/docs/

User-agent: *
Allow: /

# Pas de répertoires privés à exclure (tout est public).
# Pas de rate-limit agressif : la doc est statique et peu volumineuse.

# Sitemaps (un par langue + index)
Sitemap: https://demo.gitrust.eu/docs/sitemap.xml
Sitemap: https://demo.gitrust.eu/docs/fr/sitemap.xml
Sitemap: https://demo.gitrust.eu/docs/en/sitemap.xml
Sitemap: https://demo.gitrust.eu/docs/de/sitemap.xml
Sitemap: https://demo.gitrust.eu/docs/es/sitemap.xml
Sitemap: https://demo.gitrust.eu/docs/pt/sitemap.xml
Sitemap: https://demo.gitrust.eu/docs/it/sitemap.xml

# LLM-specific manifest (proposition llms.txt)
# https://llmstxt.org/
# Les crawlers IA conformes liront llms.txt pour une vue structurée.

# Crawlers IA autorisés explicitement (pour clarifier l'intention)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /