Peut-on établir statistiquement une dépendance « faible » entre deux variables ?

Par Géraldine Bois

Lors de ma soutenance de thèse1[1], Jean-Claude Passeron a discuté un aspect du traitement de mes données statistiques. Ses remarques m’ont amenée à demander conseil à deux membres de mon laboratoire[2], Julien Barnier et Pierre Mercklé. Ce dernier a ensuite sollicité l’avis de Philippe Cibois et d’Olivier Godechot. Ce billet rend compte de nos échanges.

Ma thèse porte sur des écrivains très faiblement reconnus (nommés dans la suite du développement « écrivains dominés »). Elle est basée en partie sur une enquête par questionnaires auprès de 503 auteurs de littérature, des plus reconnus aux moins reconnus. Les données quantitatives ainsi recueillies m’ont permis notamment de définir les lieux de l’activité littéraire « accessibles » aux écrivains dominés. J’ai considéré comme « accessibles » les lieux dans lesquels ils étaient surreprésentés et les lieux dans lesquels ils n’étaient pas sous-représentés. C’est sur ce second cas de figure que porte la discussion.

Voici un exemple de tableau que l’on trouve dans ma thèse :

Présence en tant qu’auteur à des salons du livre de Rhône-Alpes (% Lignes)

  Plusieurs fois Une fois Jamais Total
Auteurs dominés 60,1 14,7 25,2 100 (163)
Autres auteurs 57,6 12,6 29,7 100 (340)
Ensemble des enquêtés 58,4 13,3 28,2 100 (503)

Khi2=1,28 ddl=2 p=0,532

À la lumière de mes observations qualitatives, j’ai interprété ce tableau comme suit : « Les auteurs dominés sont loin d’être exclus des salons du livre de la région Rhône-Alpes : on n’observe pas d’inégalité dans l’accès à ces salons en fonction du degré de reconnaissance des enquêtés (au contraire, on remarque même que le taux d’accès est légèrement supérieur pour ces auteurs) ».

Voici à présent l’objection de Jean-Claude Passeron, exprimée dans son rapport de soutenance : « Il faut toujours se souvenir que le constat d’une corrélation entre une variable et une autre établit en probabilité, lorsqu’elle est statistiquement significative, l’existence d’une « interaction entre les deux » ; mais que, dans le cas contraire, elle affaiblit progressivement la probabilité de quelque affirmation que ce soit, à mesure que cette probabilité se rapproche de « l’hypothèse nulle » — c’est-à-dire de l’hypothèse d’une distribution aléatoire des valeurs dans les cases d’un tableau de contingence : on ne peut plus rien affirmer alors (de certain ou de probable) sur l’existence de la corrélation testée ».

En d’autres termes, c’est la capacité du test du Khi2 à mesurer la probabilité de l’existence d’une indépendance entre deux variables qui est ici en cause, comme le fait remarquer Pierre Mercklé[3] : « La probabilité associée à la valeur du khi2 et au nombre de degrés de liberté dans une table de contingence mesure le risque qu’il y a à commettre une erreur en rejetant l’hypothèse d’indépendance. À la lecture de ce tableau, on peut dire qu’il n’est pas possible de rejeter l’hypothèse d’une indépendance entre les deux variables sans prendre un risque inacceptablement élevé. Peut-on dire autre chose ? On ne peut pas affirmer qu’il y a une liaison entre les deux variables, mais peut-on affirmer qu’il n’y en a pas ? ».

Le test du Khi2 permet seulement de tester le rejet de l’hypothèse d’indépendance ; il ne permet pas de tester son acceptation. Comme l’explique Julien Barnier, « dans la statistique classique, on s’appuie dans quasiment tous les tests sur le risque de première espèce, c’est ce que représente le « p ». p = 0.05 signifie que j’ai 5% de chance de me tromper en rejetant l’hypothèse d’indépendance. Mais attention, ça ne veut pas dire que j’ai 95% de chances d’avoir raison si j’accepte l’hypothèse d’indépendance ! Le risque de deuxième espèce – c’est-à-dire la probabilité d’accepter l’hypothèse d’indépendance alors qu’elle est fausse – se calcule d’une autre manière, beaucoup plus compliquée ». Olivier Godechot précise quant lui que « la discussion rejoint le débat classique en statistiques entre Fisher d’un côté Neyman et Pearson de l’autre sur les tests d’hypothèse. Dans l’optique de Fisher, soit on rejette H0 (i.e. l’hypothèse d’indépendance), soit on ne peut pas rejeter H0. Mais en aucun cas on n’accepte H0. C’est plus ou moins le raisonnement de Passeron. Dans l’optique de Neyman et Pearson, on peut accepter H0 et mesurer le risque que l’on prend en acceptant H0. Ils développent pour ça les idées de risque de première et de deuxième espèce et la notion de puissance. Toutefois dans la pratique, ces notions de puissance et de risque de deuxième espèce sont très difficiles à manipuler. Et les gens font une sorte de panachage pratique des deux approches. La question est donc difficile et classique »[4].

Malgré ces difficultés, il apparaît très problématique de s’interdire de commenter un tableau dès lors que le test du Khi2 n’est pas concluant. En effet, si l’on s’attache aux pourcentages d’accès aux salons du livre de Rhône-Alpes, on ne peut pas ignorer que les écarts entre les « auteurs dominés » et les autres sont très faibles, d’autant qu’il s’agit d’une information significative au regard des données qualitatives recueillies par ailleurs. Ce retour aux pourcentages est utile car il permet de reformuler le problème. En réalité, ce n’est pas l’indépendance entre reconnaissance littéraire et présence sur les salons du livre régionaux que l’on souhaite établir ici, mais la faible dépendance entre ces deux variables, c’est-à-dire les faibles écarts de pourcentages.

À cette étape, il faut rappeler que le résultat d’un test du Khi2 dépend des effectifs : « le p dépend des différences entre les pourcentages, mais aussi de l’effectif
global du tableau » (Julien Barnier). On peut ainsi faire l’hypothèse qu’avec des effectifs plus importants, le « p » serait inférieur ou égal à 0.05 avec des écarts de pourcentages similaires. Comme l’explique Olivier Godechot, « la différence de 2,5 points n’est pas significative quand on a 503 individus, mais elle le devient quand on en a 4 fois plus, sous réserve que la distribution de proportions soit la même si on faisait le même tableau sur une population des 2000 auteurs (potentiels) de (toutes les régions) Rhône-Alpes (de l’univers), ce qui n’a rien de certain ».

Mais en l’absence d’effectifs plus importants, comment faire ? Comment parvenir à dire, malgré tout, quelque chose de ce tableau ? Sont exposées ci-dessous deux propositions émises par les participants à la discussion, la première de Julien Barnier, et la seconde de Philippe Cibois.

Première proposition : S’en tenir dans un tel cas à la lecture des pourcentages (Julien Barnier)

« Dans l’interprétation faite du tableau, on se moque de la valeur du test. On ne cherche pas à voir si des différences notables observées dans le tableau sont significatives statistiquement ; on cherche à montrer que les écarts sont faibles, et les pourcentages suffisent pour cela à mon avis. Pour analyser le tableau, on pourrait donc simplement supprimer le test du Khi2 et remplacer « On n’observe pas d’inégalité dans l’accès à ces salons » par : « On n’observe pas d’inégalité notable dans l’accès à ces salons ».

Deuxième proposition : La perspective bayésienne (Philippe Cibois)

« Je traite le problème non de l’absence de liens, mais de la présence de liens. Avec les méthodes que j’ai employées (les techniques bayésiennes développées par l’équipe de H.Rouanet), on pourrait tester aussi le cas d’indépendance et répondre à la question posée par Passeron).

Soit le tableau d’origine avec les effectifs reconstitués à partir des pourcentages donnés :

  Plusieurs fois Une fois Jamais Total
Auteurs dominés 60,1 (98) 14,7 (24) 25,2 (41) 100 (163)
Autres auteurs 57,6 (196) 12,6 (43) 29,7 (101) 100 (340)
Ensemble des enquêtés 58,4 (294) 13,3 (67) 28,2 (142) 100 (503)

Refaisons une analyse plus précise des cases avec les PEM locaux:

Croisement de la question Auteurs

         avec la question Salons

Le Khi-deux du tableau est de    1.3

Degré liberté =   2 Prob.= 0.532 ns

+------------+------------+------------+------------+------------+

|N=    %Ligne|Plusieurs   |Une fois    |Jamais      |   Total    |

|Khi2 %Attrac|fois        |            |            |  en ligne  |

+------------+------------+------------+------------+------------+

|Dominés     |   98   60.1|   24   14.7|   41   25.2|  163    100|

|            |  0.1    4.0|  0.2    5.1|  0.5  -10.9|  0.9   32.4|

+------------+------------+------------+------------+------------+

|Autres      |  196   57.6|   43   12.6|  101   29.7|  340    100|

|            |  0.0   -4.0|  0.1   -5.1|  0.3   10.9|  0.4   67.6|

+------------+------------+------------+------------+------------+

|   Total    |  294   58.4|   67   13.3|  142   28.2|  503    100|

| en colonne |  0.1       |  0.4       |  0.8       |  1.3    100|

+------------+------------+------------+------------+------------+

Les attractions sont repérées par les PEM qui sont égaux à 4 ou 5% pour les dominés présents plusieurs fois ou une fois à des salons. Ces PEM ne sont pas significatifs.

Comme il y a ressemblance entre la première et la deuxième colonne, on peut les regrouper dans un tableau à 4 cases :

Le Khi-deux du tableau est de    1.1

Degré liberté =   1 Prob.= 0.289 ns

Le PEM du tableau est de    10.9%

+------------+------------+------------+------------+

|N=    %Ligne|Une fois ou |Jamais      |   Total    |

|Khi2 %Attrac|plus        |            |  en ligne  |

+------------+------------+------------+------------+

|Dominés     |  122   74.8|   41   25.2|  163    100|

|            |  0.2   10.9|  0.5  -10.9|  0.8   32.4|

+------------+------------+------------+------------+

| Autres     |  239   70.3|  101   29.7|  340    100|

|            |  0.1  -10.9|  0.3   10.9|  0.4   67.6|

+------------+------------+------------+------------+

|   Total    |  361   71.8|  142   28.2|  503    100|

| en colonne |  0.3       |  0.8       |  1.1    100|

+------------+------------+------------+------------+

Tous les PEM sont maintenant égaux à 11% en valeur absolue (et c’est la valeur du PEM global). La probabilité du tableau est de 0,3 ce qui est en dehors des seuils standards mais qui a un autre sens que le seuil du premier tableau qui était voisin de 0,5. Dans le premier cas on avait une chance sur deux que le tableau s’écarte de l’indépendance d’une manière aléatoire, maintenant ce n’est plus que pour une chance sur trois.

Ce seuil d’une chance sur trois peut servir dans la vie courante si on l’interprète à l’envers dans une perspective bayésienne : quand on a deux chances sur trois de gagner, on peut envisager raisonnablement d’agir. C’est d’ailleurs les chances que Napoléon exigeait pour engager une bataille d’après les Mémoires de Joseph Caillaux. On comprend que si on était plus exigeant pour engager une bataille, on ne livrerait que des combats gagnés d’avance (des embuscades où l’on a 99 chances sur 100 de gagner). Pour que les généraux d’ancien régime acceptent de s’affronter en bataille dite « rangée », il faut qu’ils estiment d’avoir des chances raisonnables de gagner et ce ne peuvent être des probabilités trop fortes.

Je pratique le seuil de .33 pour mon compte personnel comme indice intéressant, suffisant pour aller plus loin pour aboutir à une publication à des seuils standards. Par ailleurs avec l’expérience qu’un PEM de 10% et plus est souvent digne d’intérêt, nous sommes motivés à poursuivre, non pour prouver l’indépendance, mais pour prouver qu’on s’en écarte significativement.

Perspective bayésienne

Je renvoie ici à l’article que j’ai fait avec Jean-Marc Bernard dans le BMS, n°20, octobre 1988 « introduction à l’utilisation du logiciel d’inférence bayésienne sur les fréquences (IBF2XK) », et qui est maintenant en ligne à l’adresse http://pagesperso-orange.fr/cibois/BMS1988.pdf grâce aux bons soins de Sage qui a repris toute la collection du BMS.

Ce programme, qui ne fonctionne qu’en DOS, donne le degré de confiance d’une généralisation faite sur les fréquences. Dans le cas présent, dans les résultats ci-dessous, les deux lignes du tableau sont appelés « groupes » et la différence observée est bien la différence des proportions en ligne du tableau.

Le programme nous donne la distribution de probabilité de la différence : la probabilité que la différence soit positive nous est donnée par l’aire située à droite de l’abscisse zéro (mise en valeur en modifiant les résultats du graphique). Le programme nous indique à la fin que la probabilité que cette différence soit plus forte que zéro est :

PROB (DELTA >0)= .85848

On a donc 85 chances sur 100 pour que la différence soit positive et donc que l’indépendance soit rejetée. On peut estimer que c’est raisonnable, c’est en tout cas plus présentable que le seuil de Napoléon à 66 chances sur 100 que nous donne le test du Khi-deux ».

bois_01

bois_02

bois_03

Conclusion et appel à la poursuite de la discussion

Les deux propositions ci-dessous confirment l’interprétation initiale du tableau, la première en la faisant reposer uniquement sur le constat de faibles écarts de pourcentages, la seconde en mobilisant un autre test que celui du Khi2 permettant de valider statistiquement ces faibles écarts.

D’autres solutions sont certainement envisageables. Nous attendons donc vos réactions et avis afin de poursuivre cette discussion !

Géraldine Bois,

Avec Julien Barnier, Philippe Cibois, Olivier Godechot, Pierre Mercklé, et Jean-Claude Passeron en guest star

 


[1] G. BOIS, Les écrivains dominés du jeu littéraire. Définition de l’espace d’investissement et rapports aux enjeux littéraires, Thèse de doctorat de sociologie sous la direction de Bernard Lahire, 27 novembre 2009.

 

[2] Le Groupe de Recherche sur la Socialisation.

[3] Pierre Mercklé rappelle ici que la remarque de Jean-Claude Passeron doit se comprendre au regard de l’épistémologie qu’il défend et qui considère, avec Weber, « qu’il n’y a de sociologie que de la différence ». Dans cette perspective, l’absence de liaison n’importe pas car elle est une absence d’information sociologiquement pertinente.

[4] Sur ces questions, Olivier Godechot conseille plusieurs lectures : celle du manuel de David C. Howell (Méthodes statistiques en sciences humaines, Paris, De Boeck, 2008) ; celle d’un article de Jacques Poitevineau (http://www.ehess.fr/revue-msh/pdf/N167R900.pdf) ; celle enfin d’un document établi par des physiciens qui s’intéressent également au débat Fisher / Neyman-Pearson (http://www.roma1.infn.it/people/palma/dag.pdf).


2 réflexions au sujet de « Peut-on établir statistiquement une dépendance « faible » entre deux variables ? »

  1. Bonjour et bravo pour cet article tout à fait stimulant.

    J’ai deux remarques à faire :

    1) Imaginons un tableau pour lequel j’ai plus de 95 % de chances de me tromper en rejetant l’hypothèse d’indépendance, ne peut-on rien en conclure ? Ne peut pas dire \il n’y a pas de liens entre…\ ?

    2) Dans le LEBART MORINEAU et PIRON (Statistique exploratoire multidimensionnelle) on peut lire page 365 et 366 que si le test de khi deux ne permet pas de rejeter l’hypothèse nulle, l’AFC pourra tout de même être utile pour décrire un nuage de points peu dilatés (qui ne permet pas de rejeter l’hypothèse nulle) mais dont la forme n’est pas sphérique (la répartition des points profils n’est pas due au hasard). Inversement, dans le cas d’un nuage de points très dilatés (on peut rejeter l’hypothèse nulle) mais avec une forme sphérique (la dispersion est uniforme), un test de khi deux permettra de rejeter l’hypothèse d’indépendance sans pour autant que l’AFC soit la meilleure méthode pour décrire la dépendance entre les lignes et les colonnes du tableau.

    N’y a t-il pas des éléments permettant de décrire une faible liaison ?

  2. Je voulais bien sur finir mon commentaire par la question : N’y a t-il pas LÀ des éléments permettant de décrire une faible liaison ?

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *