# www.robotstxt.org/ # Allow crawling of all content User-agent: * Disallow: /xadmin Disallow: /static/ Disallow: /chat-signup/ Disallow: /en/* Allow: /en/$ Allow: /en/contact/ Allow: /en/login/ Allow: /en/signup/ Disallow: /fr/* Allow: /fr/$ Allow: /fr/contact/ Allow: /fr/login/ Allow: /fr/signup/ #Crawl-delay: 10 # Disallow Ahref #User-agent: AhrefsBot #Disallow: / #User-agent: SiteCheckerBot #Disallow: / Sitemap: https://xspartner.com/en/sitemap.xml Sitemap: https://xspartner.com/fr/sitemap.xml