Fastly HTTPS Logging

​

Avant de commencer

• l’autorisation de modifier et d’activer le service Fastly cible ;
• un service qui sert le nom d’hôte configuré pour la marque Qwairy ;
• un accès à Measure > Analytics des crawlers > Paramètres ;
• un endroit sûr pour conserver le secret du connecteur, affiché une seule fois.

​

Créer et protéger la clé

1. Dans les paramètres d’Analytics des crawlers, sélectionnez Fastly.
2. Sélectionnez Créer une clé.
3. Saisissez un nom et le fuseau horaire IANA utilisé pour les instantanés quotidiens.
4. Copiez le secret lorsqu’il apparaît. Il ne pourra plus être affiché.
5. Conservez-le uniquement dans la valeur d’en-tête personnalisé de Fastly ou dans un autre coffre de secrets restreint.

​

Configurer le point de terminaison HTTPS

1. Dans le service Fastly cible, ajoutez un point de terminaison de logging HTTPS.
2. Définissez l’URL de livraison sur :
   https://www.qwairy.co/api/v1/logs/fastly
   
3. Fastly valide la propriété du domaine via ce point de terminaison public de challenge :
   https://www.qwairy.co/.well-known/fastly/logging/challenge
   
   Le challenge n’autorise que la validation du domaine. La livraison des logs exige toujours la clé du connecteur.
4. Utilisez POST, définissez le type de contenu sur application/json et ajoutez cet en-tête personnalisé :
   X-API-Key: YOUR_CRAWLER_KEY
   
5. Laissez Message type vide.
6. Définissez Request max entries sur 10000 et Request max bytes sur 2000000.
7. Choisissez un tableau JSON ou du JSON délimité par des retours à la ligne. La compression gzip est prise en charge.

​

Utiliser le format de log minimal

{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S.000Z"\}, time.start)}V",
  "host": "%{json.escape(req.http.Host)}V",
  "request_path": "%{json.escape(req.url.path)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_status": %{resp.status}V
}

​

Tester la livraison

curl --head --user-agent "GPTBot/1.0" "https://www.example.com/docs/crawler-check"

​

Limites, filtrage et coût

• Gardez les limites de requête configurées à 10 000 entrées et 2 000 000 octets.
• Qwairy accepte les tableaux JSON, le NDJSON et gzip pour cette route, et découpe les livraisons valides en lots internes bornés.
• Un filtrage en amont réduit le volume livré. Un échantillonnage ou une condition qui omet des requêtes de crawlers rend les comptes partiels pour le périmètre exclu.
• Sans condition en amont, Fastly transmet les autres requêtes et Qwairy les écarte à la réception. Ces lignes peuvent tout de même peser sur le volume de livraison et le coût du fournisseur.
• Les plafonds d’ingestion quotidienne partagés s’appliquent aussi.

​

Dépannage

• La validation du point de terminaison échoue : vérifiez que l’URL utilise www.qwairy.co et que Fastly peut joindre le chemin de challenge well-known affiché.
• 401 : vérifiez le nom exact de l’en-tête X-API-Key et le secret actuel du connecteur Fastly.
• 413 : rétablissez le maximum de 2 000 000 octets par requête ou réduisez la taille des livraisons.
• Les logs sont rejetés ou ignorés : laissez Message type vide, utilisez du JSON ou du NDJSON valide, et conservez les champs d’horodatage, d’hôte, de chemin, de méthode, de User-Agent et de statut du format minimal.
• Qwairy reste en attente : activez la version du service et générez une requête GET ou HEAD récente avec un User-Agent de crawler reconnu sur le nom d’hôte configuré.

​

Page associée

• Analytics des crawlers