Un test unique ne dit rien de fiable ; la solution, elle, tient en une phrase. Poser chaque question plusieurs fois, compter combien de fois votre marque apparaît, et transformer ce comptage en un taux avec sa marge d’erreur. C’est le paradigme N-runs, celui que la recherche résume d’une formule : ne mesurez pas une seule fois.
Compter sur une distribution, pas sur un tirage
Au lieu d’une réponse, on en collecte N par question et par modèle, puis on mesure la fréquence à laquelle votre marque est citée. Chaque réponse est un tirage dans la distribution des réponses possibles du modèle : c’est un échantillonnage, et la fréquence observée est votre taux de citation.
Reprenons Dormalis, la marque fictive de matelas. « Quel matelas pour un mal de dos ? », posée dix fois à la même IA, la fait apparaître trois fois : 30 % de taux de citation. Un test unique aurait conclu présent ou absent, selon le tirage du jour.
| Un test unique | Une mesure N-runs |
|---|---|
| Une réponse, prise pour la vérité | N réponses, lues comme un échantillon |
| Cité ou pas cité, au hasard du tirage | Un taux de citation : 3 sur 10 = 30 % |
| Fiabilité inconnue | Marge d’erreur affichée à côté du taux |
Un taux stable sur dix tirages est un signal solide. Un taux qui saute de 10 % à 50 % selon le tirage est un signal fragile, et il faut le savoir avant d’en tirer des conclusions.
Le comptage agrégé sur l’ensemble des réponses d’un run, et non sur une réponse isolée.
La marge d’erreur, pour distinguer le réel du bruit
Chaque taux est publié avec un intervalle de confiance à 95 %, la mesure statistique standard de l’incertitude d’une proportion estimée sur un échantillon. Plus le nombre de répétitions est grand, plus cet intervalle se resserre : la précision progresse à mesure qu’on accumule les réponses, d’abord vite, puis de plus en plus lentement.
C’est ce qui permet d’afficher un taux de 22 % comme « solide à plus ou moins 3 points » ou « bruité à plus ou moins 18 points ». Sans cette marge, deux scans qui passent de 20 % à 24 % semblent montrer une progression ; avec elle, on voit souvent qu’ils sont indiscernables.
À reprendre telle quelle en réunion :
« Sur cette IA, notre taux de citation est de 22 %, à plus ou moins 3 points : la réalité se situe très probablement entre 19 % et 25 %. »
Pourquoi dix par défaut
Sur les offres payantes, sen-ai répète dix fois chaque question sur chaque IA suivie pour le marché français, parce que c’est le point où la fourchette devient assez étroite pour décider sans faire exploser le coût. Chaque répétition supplémentaire resserre l’intervalle un peu moins que la précédente, alors que le coût d’appel aux modèles, lui, reste constant à chaque ajout.
Avant de lancer un scan, vous voyez le nombre de questions multiplié par le nombre de répétitions, et le coût en crédits qui en découle. La mesure n’est jamais une boîte noire : vous savez ce que vous achetez, et pourquoi une mesure fiable coûte plus qu’un coup de sonde. Et pour ne pas mesurer un biais, chaque question posée ne mentionne jamais votre marque.
Ce que le N-runs débloque ensuite
Une fois la mesure stable, tout le reste devient possible : suivre une tendance dans le temps, comparer deux IA, et mesurer l’effet réel d’une action après publication. Sans marge d’erreur, on ne peut pas dire si un contenu publié a changé quoi que ce soit. Avec elle, on compare la fourchette avant et la fourchette après, et on conclut honnêtement.
C’est pour cette raison que la répétition n’est pas un détail technique, mais le socle de la méthode de mesure. Mesurer une fois, c’est deviner. Mesurer N fois, c’est savoir avec quelle confiance.