Réponse directe
Utilisez Optimize > Préparation du site pour examiner les fichiers que Qwairy peut observer, puis comparez le résultat à votre politique d’accès prévue et aux synthèses conservées d’Analytics des crawlers. Validez la syntaxe de robots.txt et la portée des chemins. Considérez llms.txt comme un fichier publié facultatif, dont l’interprétation peut varier selon qui le lit.Données nécessaires
Utilisez les URL publiques exactes de robots.txt et llms.txt, la politique d’autorisation ou d’interdiction prévue par chemin et par identité, l’emplacement des sitemaps, le nom d’hôte de production, les constats de Préparation du site et les agrégats d’occurrences, de groupes de statuts et de couverture d’Analytics des crawlers.Méthode
1
Définissez la politique
Décidez quels chemins publics doivent être accessibles à chaque catégorie de crawlers concernée. Protégez les contenus privés ou sensibles par une authentification, pas par les seules directives aux crawlers.
2
Examinez les fichiers publiés
Examinez robots.txt et llms.txt sur le nom d’hôte de production. Vérifiez la syntaxe, la correspondance des chemins, les variantes d’hôte et les URL référencées.
3
Lancez Préparation du site
Examinez les problèmes de configuration signalés et vérifiez chacun sur les fichiers réels avant de modifier le comportement en production.
4
Comparez l’activité observée
Utilisez Analytics des crawlers pour voir si des identités User-Agent observables et prises en charge ont des occurrences sur les chemins autorisés, et si des occurrences en erreur se répètent.
Interprétation
Une directive syntaxiquement valide exprime votre politique mais ne garantit pas que chaque crawler visitera, indexera, utilisera ou citera une page. La prise en charge et le traitement de llms.txt peuvent varier selon qui le lit. Les synthèses de crawlers fournissent des observations, pas la preuve d’une ingestion ou d’un entraînement de modèle.Actions possibles
- Si un chemin public prévu est bloqué, testez la plus petite correction de politique après revue par la sécurité et le responsable du contenu.
- Si des variantes d’hôte ou de chemin se contredisent, testez une configuration normalisée et vérifiez la réponse publiée.
- Si la configuration est valide mais qu’aucune occurrence n’apparaît, étudiez la découvrabilité et la couverture de livraison avant de conclure à un rejet par les crawlers.
Limites
Les politiques et implémentations des crawlers peuvent changer hors de Qwairy. robots.txt n’est pas un système de contrôle d’accès, et llms.txt n’est pas une garantie d’utilisation. Une modification de configuration peut exposer des chemins par inadvertance : vérifiez le périmètre de production avant de publier.Pages associées
Guide de configuration des crawlers
Lisez des conseils de configuration complémentaires.
Préparation du site
Consultez l’audit du produit.
Vidéos Qwairy
Parcourez les vidéos de formation au produit.
Optimisation du site
Consultez la méthode technique plus large.
Occurrences de crawlers
Examinez les User-Agents et URL observés.
Explorées mais non citées
Comparez les jeux de données de crawlers et de citations.