Réponse directe
Utilisez Optimize > Préparation du site pour examiner les signaux techniques publics, puis vérifiez les constats sur votre site de production et dans Measure > Analytics des crawlers. Corrigez les problèmes contraires à votre politique d’accès. Réussir un audit ne garantit ni exploration, ni indexation, ni utilisation, ni citation.Données nécessaires
Utilisez le nom d’hôte de production, des URL publiques représentatives, robots.txt et éventuellement llms.txt, les informations de sitemap et de canonicalisation, le comportement des réponses, les constats de Préparation du site et les synthèses conservées d’Analytics des crawlers avec leur état de couverture.Méthode
1
Fixez le périmètre visé
Listez les sections publiques accessibles aux crawlers concernés et celles qui doivent rester protégées.
2
Examinez Préparation du site
Examinez les constats de configuration, d’accessibilité, de découvrabilité et de diagnostic par page. Vérifiez chaque résultat sur l’URL de production actuelle.
3
Vérifiez l’activité observée des crawlers
Dans Analytics des crawlers, examinez les identités prises en charge, les chemins normalisés ou pseudonymisés, les dates de première et dernière observation, le nombre d’occurrences, les groupes de codes de statut et les avertissements de couverture.
4
Priorisez les problèmes vérifiés
Traitez les erreurs d’accès, directives contradictoires, chemins de découverte cassés ou doublons d’URL selon leur impact et le risque de la modification.
Interprétation
La préparation technique signifie que les pages publiques sélectionnées semblent accessibles et découvrables selon les contrôles effectués. Elle ne montre pas qu’un fournisseur a indexé ou utilisé le contenu. Les synthèses d’occurrences de crawlers et les citations enregistrées sont des observations indépendantes.Actions possibles
- Si des pages importantes renvoient des erreurs aux crawlers observés, testez la plus petite correction d’infrastructure ou de politique.
- Si l’exploration se concentre sur des URL en double, testez la normalisation des canoniques et du maillage interne.
- Si l’accès technique est sain mais que les citations manquent, étudiez séparément la pertinence des prompts et les preuves du contenu.
Limites
Les audits sont des contrôles à un instant donné et ne peuvent pas représenter toutes les implémentations de crawlers. L’exécution de JavaScript, l’infrastructure régionale, l’authentification, les limites de débit et le comportement de tiers peuvent affecter l’accès. Aucune configuration technique ne garantit une mention ou une citation.Pages associées
Préparation du site
Consultez l’audit du produit et ses constats.
Guide de configuration des crawlers
Lisez des conseils de configuration complémentaires.
Vidéos Qwairy
Parcourez les vidéos de formation au produit.
Occurrences de crawlers
Examinez l’activité observée des crawlers.
robots.txt et llms.txt
Auditez les directives publiées pour les crawlers.
Explorées mais non citées
Comparez les observations techniques et de citations.