# KamaWeb - robots.txt # https://www.kamaweb.ma # Toutes les règles dans un seul groupe : un robot qui a son propre # groupe ignore celui de « * », donc pas de groupes séparés. User-agent: * # --- AI / LLM Crawlers (explicitement autorisés) --- User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-Web User-agent: PerplexityBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Bytespider User-agent: Meta-ExternalAgent Disallow: /api/ Disallow: /*?s= Disallow: /*?PageSpeed= Disallow: /*?avia-element-paging= Allow: / # Sitemap Sitemap: https://www.kamaweb.ma/sitemap-index.xml Sitemap: https://www.kamaweb.ma/sitemap-blog.xml Sitemap: https://www.kamaweb.ma/sitemap-pages.xml # AI/LLM Context Files — https://llmstxt.org/ # llms.txt: https://www.kamaweb.ma/llms.txt # llms-full.txt: https://www.kamaweb.ma/llms-full.txt