Réponse directe
Exécutez les mêmes prompts configurés chez les fournisseurs et modèles à comparer, puis examinez les réponses enregistrées côte à côte. Classez les affirmations récurrentes, le sentiment et les omissions. La cohérence désigne la similarité au sein de ce jeu de données, pas un accord entre toutes les réponses possibles.Données nécessaires
Utilisez des prompts configurés identiques, des périodes d’exécution alignées, les identifiants de fournisseurs et de modèles, les réponses enregistrées, les Topics ou Tags, les étiquettes de sentiment ou de perception et les URL citées. Distinguez la famille de fournisseurs du modèle sélectionné.Méthode
1
Constituez la cohorte de comparaison
Choisissez des prompts qui ont du sens chez tous les fournisseurs sélectionnés. Utilisez les mêmes filtres de marque, Topic, zone géographique et période.
2
Lisez les réponses côte à côte
Comparez les affirmations factuelles, les thèmes de positionnement, le sentiment, les mentions SELF et DIRECT et les citations enregistrées.
3
Distinguez schémas stables et cas isolés
Séparez les thèmes répétés dans plusieurs réponses des formulations ponctuelles ou des omissions propres à un fournisseur.
4
Revérifiez les écarts importants
Refaites les comparaisons importantes sur des exécutions ultérieures et vérifiez les affirmations factuelles auprès de sources validées avant de les faire remonter.
Interprétation
Les écarts sont des observations, pas la preuve qu’un fournisseur a raison ou qu’il est biaisé. Un fournisseur est une famille de services ; un modèle est un modèle sélectionnable au sein de cette famille. Les changements de modèle, d’accès au web, d’exécution des prompts ou de disponibilité des sources peuvent affecter la comparaison.Actions possibles
- Si une divergence factuelle se répète, testez une correction via des sources publiques exactes.
- Si un modèle omet un attribut de positionnement, étudiez les réponses et les citations avant de conclure à un problème de diffusion.
- Si les discours sont globalement cohérents mais obsolètes, priorisez la mise à jour de la source de référence de l’affirmation périmée.
Limites
Les réponses enregistrées sont des échantillons issus des exécutions configurées. Elles ne représentent pas toutes les réponses des fournisseurs, tous les contextes d’utilisateurs, toutes les langues ni les versions futures des modèles. L’endpoint REST des réponses est un contrat de données distinct : vérifiez ses champs et sa pagination avant de comparer des exports.Pages associées
Exports
Exportez la cohorte de comparaison sélectionnée.
Answer Details
Construisez des comparaisons par fournisseur et par modèle dans Looker Studio.
API des réponses
Lisez le contrat distinct des réponses de l’API REST.
Prioriser les fournisseurs
Choisissez les fournisseurs pertinents pour votre public.
Ce que dit l’IA
Examinez directement le discours des réponses.
Pourquoi un concurrent est recommandé
Étudiez une comparaison propre à un fournisseur.
Perception et positionnement
Comparez les thèmes observés au positionnement validé.