Et si on parlait… Mesures et Relativité

Mesures et biais coexistent souvent. Les ignorer ou les nier serait risqué. L’analyste saura toujours en tirer des enseignements utiles. L’analyste, quel que soit son champ d’intervention, doit avoir l’humilité d’admettre qu’un certain nombre de ses mesures sont biaisées.

Dans le Digital Analytics, cela peut provenir du marquage, de la technique de collecte, de la consolidation des données, ou de tas d’autres bonnes raisons. Des biais de mesure existent aussi dans de nombreux autres domaines d’activité. Prenons l’exemple de Paco, William et Günther qui partent en vacances au Gran Bahia Principe Akumal (Península de Yucatán, México).

Aller, Madrid (MAD) :

• Pesée des bagages avec leur balance de voyage (#1)
• Une deuxième pesée sur balance fixe de l’aéroport donne (#2)

Retour, à Cancún (CUN)   :

• Avec leur balance de voyage, voici les poids relevés (#3)
• Nouvelle pesée sur une balance fixe ils constatent respectivement (#4)

Données :

Nous constatons un écart de 0.8kg entre les deux pesées Aller, et un écart de 0,5kg entre les deux pesées retour. Nous ne pouvons pas savoir si le biais porte sur une ou plusieurs des balances utilisées (la balance manuelle, la balance fixe de Madrid ou la balance fixe de Cancún).

 Pouvons-nous obtenir des informations pertinentes malgré ce biais connu mais non quantifié ?

Oui, des informations de qualité sont exploitables.

Considérons les écarts de poids d’une valise à l’autre, à l’aller (Günther a 4,7kg de plus que Paco) comme au retour (Gunther a 1kg de plus que Paco), et le poids additionnel pour chacune d’entre elles entre aller et retour

• avec le premier mode de mesure (pesées #1 et #3 étalonnées, balance manuelle) : Paco a ajouté 5,2kg, William 8,3kg et Günther 1,5kg
• avec le second mode (pesées #2 et #4 non étalonnées, deux balances différentes) : Paco a ajouté 4,9kg, William 8kg et Günther 1,2kg
• Les 0.3kg d’écart correspondent à la différence du biais entre les mesures (écart entre balances fixes et balance mobile) aller (0,8) et retour (0,5). Ces valeurs absolues sont donc erronées.

Nous pouvons aussi analyser les instruments de mesure :

• Factuel : Ecart de 0,8 kg entre balance manuelle et balance fixe au départ
• Factuel: Ecart de 0,5 kg entre balance manuelle et balance fixe au retour
• On peut en déduire un écart de 0,3 kg entre les balances fixes départ et arrivée… A condition toutefois d’avoir la certitude que la balance manuelle (qui permet l’étalonnage) ne s’est pas déréglée entre les deux !!

On peut supposer que la balance manuelle sous-estime le poids, mais il est impossible de savoir dans quelle mesure. Cela permettra cependant de pondérer les pesées à l’avenir…

 Mais pour d’autres analyses, le biais peut-il entraîner des erreurs ?

Oui, principalement sur les raisonnements en valeurs absolues.

Exemple : pour le retour, il faut organiser les valises pour rester dans la limite autorisée de 23kg par bagage.

• D’après la première pesée, William devra enlever 1 kg et le mettre dans la valise de Paco, ou répartir entre Paco et Günther.

D’après la deuxième pesée, William doit enlever 1,5kg, mais il ne peut rien mettre dans la valise de Günther et seulement 1kg dans celle de Paco. Les 0.5kg restants seront facturés en supplément.

 Comment savoir si un biais de mesure est acceptable ou pas ?

La plupart du temps, un biais constant dans le temps et dans l’espace permettra une analyse pertinente de valeurs comparatives ou relatives (écarts, proportions, etc.).
Une fois encore, le contexte est capital pour l’analyste : C’est toujours en fonction du contexte qu’il devra choisir le fond et la forme des analyses qu’il effectuera. Chacun l’aura compris, cela s’applique tout particulièrement au Digital Analytics, la collecte de données étant très dépendante de facteurs externes mais aussi de choix de méthodes et techniques (en premier lieu la qualité du marquage).

et Si Vous Parliez ?

Vos commentaires nous intéressent, votre expérience aussi !