Réponse directe
Ouvrez Measure > Analytics des crawlers et filtrez les synthèses d’occurrences conservées par identité User-Agent prise en charge, page, état et période. Présentez séparément le nombre d’occurrences et les identités de pages conservées. Ces agrégats montrent l’activité reçue de la source de données connectée, pas les produits d’IA qui ont ingéré ou utilisé le contenu.Données nécessaires
Utilisez l’identité User-Agent classée, le chemin de page normalisé ou pseudonymisé, les tranches quotidiennes,firstSeenAt, lastSeenAt, le total sur toute la durée, les occurrences de la période, les groupes de codes de statut, le nom d’hôte de production et l’état de couverture. Gardez les noms de fournisseurs et de modèles distincts du classement des crawlers.
Méthode
1
Validez la collecte
Vérifiez le nom d’hôte suivi, la couverture de livraison, le fuseau horaire d’analyse, la précision des volumes et les règles de classement avant de comparer les crawlers.
2
Examinez les User-Agents
Repérez les identités User-Agent observables et prises en charge, et leur nombre d’occurrences sur la période.
3
Examinez la répartition des URL
Comparez les identités de pages conservées, le nombre d’occurrences, les groupes de codes de statut et les sections du site. Ne reconstituez pas les chemins pseudonymisés.
4
Comparez les périodes
Utilisez des fenêtres équivalentes et notez les changements de site, de journalisation ou de classement qui pourraient affecter les totaux.
Interprétation
Le nombre d’occurrences mesure les requêtes classées conservées ; les identités de pages mesurent la couverture observée des chemins en 2xx. Aucun des deux n’indique indexation, entraînement, récupération, citation ni trafic d’utilisateurs. Qwairy rapproche les jetons User-Agent mais ne vérifie ni l’IP source ni le DNS inverse.Actions possibles
- Si un crawler a des occurrences en erreur répétées, testez une correction d’accès ou d’infrastructure et comparez une synthèse quotidienne ultérieure.
- Si seule une petite section du site est visitée, testez la découvrabilité via des sitemaps valides et le maillage interne.
- Si l’activité change brusquement, étudiez les changements de journalisation, de classement, de déploiement et de politique avant d’en chercher la cause à l’extérieur.
Limites
Les identités User-Agent peuvent manquer, être usurpées, renommées ou non prises en charge. Les synthèses quotidiennes par page conservent 30 jours d’analyse ; les compteurs durables de première et dernière observation et le total sur toute la durée ne sont pas un historique de requêtes brutes. La livraison connectée peut être partielle : aucun rythme d’occurrences universel ne définit une performance saine.Pages associées
URL sources dans Looker Studio
Rapportez les observations au niveau des URL.
Analytics des crawlers
Examinez les données de crawlers dans le produit.
Guide de configuration des crawlers
Lisez des conseils de configuration complémentaires.
Optimisation du site
Auditez l’accessibilité technique.
robots.txt et llms.txt
Examinez les directives aux crawlers.
Explorées mais non citées
Comparez les observations de crawlers et de citations.
Visibilité de la marque
Analysez séparément la visibilité dans les réponses.