Cloudflare Worker

​

Avant de commencer

• un accès à Measure > Analytics des crawlers > Paramètres pour la marque ;
• un Cloudflare Worker rattaché au nom d’hôte configuré pour cette marque ;
• l’autorisation de créer un secret Worker chiffré et de rattacher une route de production ;
• une page de test qui renvoie text/html ou text/plain.

​

Créer et protéger la clé

1. Dans les paramètres d’Analytics des crawlers, sélectionnez Cloudflare Worker.
2. Sélectionnez Créer une clé.
3. Saisissez un nom descriptif et le fuseau horaire IANA utilisé pour les analytics quotidiennes.
4. Copiez le secret en clair lorsqu’il apparaît. Qwairy n’en affiche ensuite que le préfixe.
5. Enregistrez-le comme secret Worker chiffré QWAIRY_API_KEY.

​

Déployer le Worker généré

/**
 * Qwairy Crawler Analytics - Cloudflare Worker
 *
 * Setup:
 * 1. Create a new Worker in Cloudflare dashboard
 * 2. Set environment variables: QWAIRY_API_KEY, QWAIRY_ENDPOINT (optional)
 * 3. Deploy to a route (e.g., yourdomain.com/*)
 */

const IGNORE_EXTENSIONS = /\.(?:png|jpe?g|gif|svg|webp|ico|mp4|webm|css|js|json|xml|woff2?|ttf|eot|map)$/i;
const IGNORE_PATHS = [/^\/api\//i, /^\/dashboard\//i, /^\/_next\//i, /^\/favicon/i];
const AI_CRAWLER_UA = /(?:^|[^a-z0-9_-])(?:Claude-SearchBot|MistralAI-Index|OAI-SearchBot|PerplexityBot|ChatGPT-User|Google-GeminiNotebook|Google-NotebookLM|Google-Agent|MistralAI-User|Perplexity-User|Claude-User|Google-CloudVertexBot|ClaudeBot|GPTBot|GrokBot|meta-webindexer|Amzn-User|Meta-ExternalFetcher|AI2Bot|Ai2Bot-Dolma|Amazonbot|Bytespider|CCBot|Meta-ExternalAgent|DuckAssistBot|KimiBot|Kimi-SearchBot|YouBot|Kimi-User|Diffbot|Kangaroo Bot|omgili|omgilibot|PanguBot|Timpibot|Webzio-Extended)(?=$|[^a-z0-9_-])/i;

export default {
  async fetch(request, env, ctx) {
    const url = new URL(request.url);
    const pathname = url.pathname;
    const userAgent = request.headers.get('User-Agent') || '';

    if (!AI_CRAWLER_UA.test(userAgent) || IGNORE_EXTENSIONS.test(pathname) || IGNORE_PATHS.some(r => r.test(pathname))) {
      return fetch(request);
    }

    const response = await fetch(request);
    const contentType = response.headers.get('content-type')?.split(';')[0];
    if (!contentType || !['text/html', 'text/plain'].includes(contentType)) {
      return response;
    }

    const apiKey = env.QWAIRY_API_KEY;
    const endpoint = env.QWAIRY_ENDPOINT || 'https://www.qwairy.co/api/v1/logs/cloudflare';
    if (!apiKey) return response;

    ctx.waitUntil(
      fetch(endpoint, {
        method: 'POST',
        headers: { 'Content-Type': 'application/json', 'X-API-Key': apiKey },
        body: JSON.stringify({
          status_code: response.status,
          request_method: request.method,
          request_path: pathname,
          hostname: request.headers.get('Host') || url.hostname,
          user_agent: userAgent,
          timestamp: new Date().toISOString(),
        }),
      }).catch(err => console.error('Qwairy: Failed to send log', err))
    );

    return response;
  },
};

1. Collez la recette dans le Worker.
2. Ajoutez QWAIRY_API_KEY comme secret chiffré avec la valeur Qwairy affichée une seule fois.
3. Rattachez le Worker à la route de production exacte à suivre, par exemple www.example.com/*.
4. Déployez le Worker et vérifiez que les requêtes normales reçoivent toujours la réponse de l’origine.

​

Vérifier la livraison

curl --user-agent "Mozilla/5.0 (compatible; GPTBot/1.1)" \
  --output /dev/null \
  --write-out "%{http_code}\n" \
  "https://www.example.com/docs/qwairy-collector-check"

1. Vérifiez que la commande renvoie le statut attendu de l’origine.
2. Dans Qwairy, attendez que le connecteur passe de l’état en attente à connecté une fois l’événement accepté intégré à un agrégat quotidien.
3. Ouvrez le jour analytique en cours et cherchez /docs/qwairy-collector-check.
4. Si le connecteur reste en attente, cherchez Qwairy: Failed to send log dans les logs du Worker, puis vérifiez la route, le secret, le nom d’hôte, le User-Agent et le type de contenu de la réponse.

​

Limites et comportement

• La recette ne signale que les User-Agents correspondants, sur des chemins non ignorés, dont la réponse d’origine est text/html ou text/plain.
• La recette peut tenter une livraison pour d’autres méthodes HTTP, mais Qwairy n’accepte que les enregistrements GET et HEAD pour l’agrégation.
• Les extensions de fichiers statiques et les chemins /api/, /dashboard/, /_next/ et /favicon sont ignorés par le code généré.
• Le Worker envoie une requête à Qwairy par réponse d’origine correspondante. Il n’a ni file d’attente de livraison ni boucle de renvoi : des pannes réseau peuvent créer des trous.
• La route d’intégration accepte une rafale de 120 requêtes d’ingestion par minute. Elle peut accuser réception de livraisons du Worker au-delà de cette limite sans les agréger : vérifiez les alertes de couverture après des pics de trafic.
• Qwairy applique après réception son registre de crawlers, les vérifications de nom d’hôte, les exclusions, la fenêtre d’arrivée tardive et les plafonds d’ingestion.
• Les plafonds techniques partagés sont de 10 000 000 événements par intégration et par jour, et de 200 000 000 événements par équipe facturée et par jour.
• Le collecteur observe des requêtes. Il ne prouve ni l’indexation, ni l’entraînement d’un modèle, ni l’utilisation en citation.

​

Renouveler ou revenir en arrière

1. Détachez la route du Worker ou désactivez son déploiement.
2. Vérifiez que l’origine sert toujours le trafic normal et qu’aucune nouvelle observation du Worker n’arrive.
3. Supprimez le secret du Worker.
4. Révoquez la clé Qwairy correspondante.

​

Pages associées

• Analytics des crawlers
• Cloudflare Logpush