> ## Documentation Index > Fetch the complete documentation index at: https://docs.qwairy.co/llms.txt > Use this file to discover all available pages before exploring further. # Ma configuration robots.txt et llms.txt est-elle la bonne ? > Auditez vos directives aux crawlers au regard de votre politique d’accès, de la Préparation du site et des synthèses de crawlers, sans supposer une prise en charge universelle. ## Réponse directe Utilisez **Optimize > Préparation du site** pour examiner les fichiers que Qwairy peut observer, puis comparez le résultat à votre politique d’accès prévue et aux synthèses conservées d’Analytics des crawlers. Validez la syntaxe de robots.txt et la portée des chemins. Considérez llms.txt comme un fichier publié facultatif, dont l’interprétation peut varier selon qui le lit. ## Données nécessaires Utilisez les URL publiques exactes de robots.txt et llms.txt, la politique d’autorisation ou d’interdiction prévue par chemin et par identité, l’emplacement des sitemaps, le nom d’hôte de production, les constats de Préparation du site et les agrégats d’occurrences, de groupes de statuts et de couverture d’Analytics des crawlers. ## Méthode Décidez quels chemins publics doivent être accessibles à chaque catégorie de crawlers concernée. Protégez les contenus privés ou sensibles par une authentification, pas par les seules directives aux crawlers. Examinez robots.txt et llms.txt sur le nom d’hôte de production. Vérifiez la syntaxe, la correspondance des chemins, les variantes d’hôte et les URL référencées. Examinez les problèmes de configuration signalés et vérifiez chacun sur les fichiers réels avant de modifier le comportement en production. Utilisez Analytics des crawlers pour voir si des identités User-Agent observables et prises en charge ont des occurrences sur les chemins autorisés, et si des occurrences en erreur se répètent. ## Interprétation Une directive syntaxiquement valide exprime votre politique mais ne garantit pas que chaque crawler visitera, indexera, utilisera ou citera une page. La prise en charge et le traitement de llms.txt peuvent varier selon qui le lit. Les synthèses de crawlers fournissent des observations, pas la preuve d’une ingestion ou d’un entraînement de modèle. ## Actions possibles * Si un chemin public prévu est bloqué, testez la plus petite correction de politique après revue par la sécurité et le responsable du contenu. * Si des variantes d’hôte ou de chemin se contredisent, testez une configuration normalisée et vérifiez la réponse publiée. * Si la configuration est valide mais qu’aucune occurrence n’apparaît, étudiez la découvrabilité et la couverture de livraison avant de conclure à un rejet par les crawlers. ## Limites Les politiques et implémentations des crawlers peuvent changer hors de Qwairy. robots.txt n’est pas un système de contrôle d’accès, et llms.txt n’est pas une garantie d’utilisation. Une modification de configuration peut exposer des chemins par inadvertance : vérifiez le périmètre de production avant de publier. ## Pages associées Lisez des conseils de configuration complémentaires. Consultez l’audit du produit. Parcourez les vidéos de formation au produit. Consultez la méthode technique plus large. Examinez les User-Agents et URL observés. Comparez les jeux de données de crawlers et de citations. This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.