Visualisation interactive de résultats d’ACP et d’ACM avec R et explor

explor est un package récent pour R dont l’objectif est de faciliter la visualisation et l’exploration de résultats d’analyses en composantes principales (ACP) ou d’analyses des correspondances (ACM).

Son utilisation est très simple : vous effectuez votre analyse à l’aide des fonctions dont vous avez l’habitude (actuellement sont supportées les fonctions des packages ade4 et FactoMineR) et vous appliquez simplement la fonction explor() à l’objet résultat.

Voici un exemple très simple reprenant un jeu de données de FactoMineR :

library(FactoMineR)
library(explor)

data(hobbies)
res.mca <- MCA(hobbies,quali.sup=19:22,quanti.sup=23)
explor(res.mca)

Une interface devrait alors se lancer (dans RStudio si vous utilisez cet environnement, sinon dans votre navigateur Web) et qui devrait ressembler vaguement à ceci :

 

 

L’interface change selon le type d’analyse, mais l’organisation globale reste la même : un barre d’onglets en haut de page vous permet de naviguer entre l’histogramme des valeurs propres, les tableaux de résultats et les graphiques représentant variables ou individus.

L’interface présente plusieurs fonctionnalités « interactives » :

  • Vous pouvez à tout moment modifier le ou les axes représentés
  • Les tableaux de résultats sont triables et filtrables dynamiquement
  • Vous pouvez sélectionner les points à afficher selon différents critères, leur opacité, leur taille
  • Vous pouvez associer couleur, symbole ou taille des points à différentes caractéristiques

Les graphiques eux-mêmes sont interactifs :

  • Vous pouvez zoomer avec la molette de la souris et vous déplacer dans le graphique en cliquant-déplaçant
  • Des tooltips apparaissent au survol des points avec les données correspondantes
  • Vous pouvez déplacer les étiquettes avec la souris pour les repositionner
  • Le survol des éléments de légende met en valeur les éléments correspondants

Les graphiques sont « dynamiques », c’est-à-dire que les changements d’axes, de taille, de couleur ou de points affichés s’effectuent sous forme d’animations qui peuvent faciliter la visualisation.

Enfin, vous pouvez à tout moment exporter le graphique actuellement affiché au format SVG.

explor supporte pour le moment les fonctions CA, MCA et PCA du package FactoMineR, et les fonctions dudi.coa, dudi.acm et dudi.pca du package ade4. Si vous souhaitez l’essayer c’est très simple, il vous suffit de l’installer avec :

install.packages("explor")

Pour plus d’informations vous pouvez consulter :

Le projet est assez jeune, donc n’hésitez pas à faire remonter bugs ou suggestions dans les commentaires, sur GitHub ou sur la liste r-soc.

Séminaire Quantitativisme Réflexif 2015-2016

Illustr_SQR

L’objectif du Séminaire Quantitativisme Réflexif (SQR) est d’ouvrir une réflexion sur les pratiques de quantification mises en œuvre par les sciences sociales, en particulier sur les opérations de qualification, les différentes méthodes de traitement, et l’interprétation des résultats.

Quelles sont les limites de validité des énoncés adossés à des données quantitatives ? Comment et pourquoi articuler données « qualitatives » et « quantitatives » ? Comment passer de sources « qualitatives » à des données quantifiables ? Telles sont les questions qui guideront les activités du séminaire cette année, à partir de présentations de recherches abouties ou en cours.

SQR s’inscrit dans un contexte de regain d’intérêt, dans diverses disciplines des sciences sociales, pour la quantification, d’importance croissante de la preuve statistique comme outil de gouvernement, et de l’émergence de grandes bases de données, posant des problèmes spécifiques de traitement et d’analyse. Il y a donc nécessité à développer une réflexion et une pratique collectives sur la quantification en sciences sociales.

Programme

13 novembre 2015Comptages, modélisations, généralisations : éléments sur l’usage ethnographique des méthodes quantitatives, Julien Gros (CMH, EHESS, Université Paris Dauphine)

11 décembre 2015Analyse longitudinale et ethnographie au présent : le cas des durées d’hospitalisation en psychiatrie, Julien Bourdais (Cermes, Université Paris Descartes)

15 janvier 2016 – When « Facts » Matter : New Keynesian Models and the « Real World », Francesco Sergi (CES, Université Paris Panthéon-Sorbonne)

12 février 2016Faire preuve avec le chiffre : le cas des expérimentations aléatoires en économie, Arthur Jatteau (Printemps, UVSQ, Université Panthéon-Sorbonne)

18 mars 2016Network Analysis of a Complex Reginal Cluster: Measurement, Visualization and Triangulation from Organization Theories, Tsutomu Nakano (Ayoama Gakuin University, Tokyo)

8 avril 2016 Présentation de l’Enquête nationale sur les Ressources des Jeunes, Laura Castell (Insee), Mickaël Portella (Drees), Raphaëlle Rivalin (Drees)

13 mai 2016 – Situer les titulaires d’un diplôme étranger dans l’espace socioprofessionnel français. Exemple d’utilisation de la nomenclature des PCS à son niveau le plus détaillé, Pauline Vallot (CSE, EHESS, CREST)

10 juin 2016Construire et interpréter des statistiques sur l’espace social soviétique : propriété et transmission familiale dans la banlieue moscovite (1945-1985), Jacques Petitier (IDHES, ENS Cachan)

Informations pratiques

Les séances ont lieu le vendredi, de 14h30 à 16h30, ENS Cachan, Bâtiment Laplace, salle Pollack (2e étage) – Plan d’accès

Contacts : Christian Bessy christian.bessy@ens‐cachan.fr/ Anton Perdoncin aperdonc@ens-cachan.fr / Thibaut de Saint Pol thibaut.desaintpol@ensae.fr

Crédit Image : XKCD, http://xkcd.com/759/

Vers une « data-sociologie » ? Tour d’horizon des techniques de collecte automatisée de données sur le web

Ces vingt dernières années ont vu le développement de techniques et d’outils informatiques qui permettent d’automatiser la collecte et la mise en forme de données, en particulier celles provenant d’internet[1]. Plus puissantes et plus faciles d’accès, ils sont aussi de plus en plus utilisés dans de nombreuses professions. Leur diffusion intéresse donc les chercheurs en sciences sociales, à la fois parce qu’elles permettent de collecter rapidement des informations sur divers aspects du monde social, mais aussi parce qu’elle conteste un peu plus leur monopole dans la production de données quantitatives. On se propose ici de réaliser un rapide tour d’horizon sur cette question qui souligne le potentiel, et évoque certains enjeux, du recours croissant à ces méthodes pour nos disciplines1.

Lire la suite

  1. Le billet suivant présente un exemple simple de collecte automatisée de données dans des annonces sur un site de rencontres : http://quanti.hypotheses.org/724/. []

La nature fractale de la sélection dans le secondaire

Andrew Abbott, dans son ouvrage Chaos of disciplines1, montre que des oppositions à l’intérieur de la sociologie, par exemple quantitatif opposé à qualitatif, ou conflit opposé à consensus, ne sont pas des oppositions fondamentales qui divisent le champ de la recherche en domaines bien séparés, mais se retrouvent actives à tous les niveaux. Par exemple, dans les méthodes quantitatives, il y en a qui sont à orientation qualitative comme la classification et, dans les analyses qui se centrent sur les conflits, la théorie du choix rationnel réintroduit par contre le consensus.

Ces répétitions par auto-reproduction sont dites fractales en ce sens que la structure des oppositions pertinentes se retrouve à divers niveaux d’observation : la sélection dans le système scolaire secondaire français peut également être vue de cette façon.

Pour nous en rendre compte, examinons les pourcentages des différentes séries du baccalauréat depuis la création des séries lors de la réforme de 19022

Faisons l’analyse des diverses périodes :

– en 1902, au moment de la création des séries A, B, C et D du bac, le bac “es lettres”, bien que très majoritaire est déjà en perte de vitesse devant le bac “es sciences” dont la progression s’appuie sur l’importance de l’enseignement des sciences que le 19e siècle veut mettre en valeur ;

– à partir de 1922 la tendance est inversée, c’est le moment où le “Bloc national” est au pouvoir, et où le ministre de l’Instruction publique du gouvernement de Raymond Poincaré, veut promouvoir une réforme pour rétablir l’obligation de l’enseignement des langues anciennes pour tout élève du secondaire3. Mais à un gouvernement de droite va succéder le Front Populaire qui veut à nouveau développer les sciences ;

– 1936 : la tendance donc s’inverse et va s’accélérer à la Libération. Les deux courbes se croisent en 1953 et on assiste à de curieuses oscillations qui vont durer de 1959 à 1968 ;

– 1968 : les événements de 1968 font réapparaitre le thème des diplômés chômeurs qui vise en priorité les études littéraires. C’est le moment de l’apparition de la filière économique et sociale (intitulée d’abord B “technique et économie”) ;

– 1987 : création du bac professionnel pour ouvrir la possibilité du baccalauréat aux élèves issus de l’enseignement technique qui poursuivent des études après le BEP.

Pour expliquer les oscillations des années 1960, il faut prendre en compte le fait de la massification de l’enseignement secondaire qui se traduit par l’élévation de l’âge de la scolarité obligatoire à 16 ans (Réforme Berthouin, 1959). En 10 ans, de 1958 à 1968 les effectifs des bacheliers passent de 47678 à 169422 soit une multiplication par 3,6. Le pourcentage des bacheliers dans la population passe de 10% à 20% ce qui fait que le système secondaire change de nature : d’un système destiné aux élites il se dispose maintenant à accueillir l’ensemble de la population, ce qui va entrainer la création de filières plus ou moins sélectives.

Jusqu’en 1959, l’opposition entre Lettres et Sciences était interne aux 10% du système de formation des élites, le passage des lettres aux sciences se faisant par le remplacement de la sélection par le latin par la sélection par les mathématiques. A partir du moment où le secondaire se massifie, c’est à l’intérieur des séries générales que va se faire la concurrence entre la section élitiste et les autres sections (car à la section A littéraire, va s’ajouter la section B devenue Économique et sociale). Les fluctuations entre sciences et lettres des années 60 traduisent le fait que la population du secondaire est maintenant répartie (60% pour les sciences et 40% pour les lettres) en deux séries différenciées quant à leur prestige.

Une évolution dans ce sens va se poursuivre sur le demi-siècle suivant : pour la voir, examinons les pourcentages de la série scientifique d’une part (C + D + E puis S), série la plus sélective, et des autres séries générales (A puis L, B puis ES). On a les résultats suivants :

Pour la période de 1902 à 1968, il s’agit du même graphique que précédemment mais on constate que les oscillations se prolongent en se resserrant progressivement autour de la valeur de 50%. Cette dichotomie stricte signifie que dans les lycées pris dans leur ensemble, on tend à avoir à peu près le même nombre de classes dans la série la plus sélective que dans les autres séries générales.

En seconde, on accueille une population hétérogène quant aux mathématiques. Si la moitié de la population considérée est jugée “apte aux maths”, c’est à dire à un niveau supérieur à la moyenne, celle-ci accédera à la moitié des classes destinées aux séries générales du bac. L’autre moitié, de niveau inférieur à la moyenne, se répartira dans l’autre moitié des classes destinées aux L ou aux ES.

Ce phénomène a déjà un demi-siècle, mais il est en train de se reproduire avec les nouvelles séries du bac : les séries technologiques du bac, lancées en 1969 et le bac professionnel, dit “bac pro”, initié en 1987 avaient pour objectif d’ouvrir le diplôme du bac à de nouvelles couches sociales. C’est l’appoint de ces séries qui fait que la proportion des bacheliers représente en 2011 72% d’une génération. Si on ne prend en compte que les séries générales (L, S et ES), cette proportion n’est plus que de 36%, c’est à dire exactement la moitié.

Examinons l’évolution des séries mais cette fois-ci entre les séries générales et les autres séries : on voit qu’une courbe de concentration sur 50% se dessine de manière analogue, mais la convergence est récente :

Ceci manifeste que c’est depuis le début du 21e siècle que l’ensemble de la population scolarisée en second cycle des lycées est répartie par dichotomies successives entre des filières hiérarchisées : séries générales contre séries technologiques et bac pro d’une part, puis à l’intérieur de la série générale entre série scientifique contre autres séries (L et ES).

Le même phénomène se poursuit à l’intérieur de l’ensemble des séries technologiques et bac professionnel (dont le dépassement récent des 50% est estimé lié à une conjoncture particulière due à l’arrivée des préparations au bac pro en trois ans)4.

Enfin le même phénomène se reproduit à l’intérieur des séries technologiques :

La série STT/STG (STT jusqu’en 2004, STG depuis 2005) semble bien être devenue la filière noble des séries technologiques : centrée sur les techniques de gestion elle a des points communs avec la filière Économique et Sociale des séries générales.

Récapitulons la première et la deuxième dichotomie : on voit dans le tableau ci-dessous que les filières tendent vers la moitié de la population et le quart pour la deuxième : ceci est visualisé dans le premier graphique ou S, Techno et Pro convergent.

Première dichotomie

Deuxième dichotomie

Troisième dichotomie

% de mentions

Séries générales 49,9 S 25,6 Math 5,3 74,3
Autres 20,3 52,9
L+ES 24,3 ES 16,3 44,7
L 8,0 41,1

% moyen mentions séries générales

50,6
Séries techno-pro 50,1 Techno 22,7 STG 11,4 30,4
Autres 11,3 37,4

% moyen mentions séries techno

33,9
Pro 27,4 Service 16,0 45,4
Production 11,4 42,7

% moyen mentions bac pro

44,2
Total 100

Total

100

Total 100

Examinons la troisième dichotomie déjà évoquée pour les séries technologiques.(on a mis en gras les pourcentages de mentions supérieurs à la moyenne de la série) :

– à l’intérieur de la série S, la sous-filière S-SVT-Mathématiques se distingue à la fois par son pourcentage élevé de mentions et par son faible effectif : ici on retrouve le système de la filière la plus sélective à effectif restreint (comme le secondaire dans la deuxième moitié du 19e siècle qui regroupait d’ailleurs un pourcentage de scolarisation voisin de celui de cette option, de l’ordre de 5%) ;

– pour l’ensemble L + ES, la répartition entre ES et L est en cours de modification, la série L étant en diminution depuis 1968.

– pour l’ensemble techno-pro, on peut faire l’hypothèse que les mentions jouent plus un rôle de « lot de consolation » que de « récompense ». Il semble en effet que la série STG soit considérée comme la meilleure série technologique et que, pour le bac pro, la production aie meilleure réputation que les services.

L’origine de ces dichotomies

La croissance massive du secondaire dans les années 60 (triplement des effectifs des bacheliers) a confronté le système du secondaire a des problèmes de choix de type d’enseignement et donc de présence ou non d’une sélection. On aurait pu faire le choix d’une école moyenne, intermédiaire entre les cours complémentaires et les lycées, mais le choix politique de la 5e République s’est fait en proposant progressivement à tous un enseignement de type lycée. Il a fallu alors se donner les moyens de trier cette masse de nouveaux entrants et la présence d’une répartition dichotomique entre une série noble sélective et les autres permet d’évoquer une répartition symétrique comme celle de la loi normale.

En effet ce modèle gaussien a été évoqué en particulier par André Antibi qui a montré qu’il s’agissait là d’une croyance intériorisée par les enseignants et à laquelle il donne le nom de “constance macabre”5. Beaucoup d’enseignants croient en effet que la distribution gaussienne doit s’appliquer aux notes et que le correcteur à bien fait son travail si la moyenne de ses notes est centrée sur 10, qu’un tiers des notes doivent être de mauvaises notes et qu’un tiers des notes doivent être de bonnes.

Au niveau collectif, cette croyance de la symétrie autour de la moyenne est devenue une méthode de répartition qui semble équitable et politiquement neutre puisque basée sur une loi mathématique de hasard. On sélectionne par ce biais la moitié d’un groupe dans la filière sélective. Ce choix n’est pas un choix conscient mais l’agrégation de choix individuels d’établissements : ayant à gérer une zone géographique donnée, l’ensemble des établissements de cette zone met à disposition autant de classes en filière sélective qu’en filière non sélective, ce qui permet d’évoquer l’égalité des chances puisque chacun a en principe une chance sur deux d’accéder à la filière noble.

Dans les années 60 la dichotomie s’est produite dans les filières générales puis, dans les années 70 -80 entre les filières générales et les nouvelles filières technologiques, puis dans les années 90 à aujourd’hui avec le bac professionnel qui devient la filière inférieure du secteur « techno-pro ».

Si ce modèle de loi normale basée sur une symétrie de la distribution autour de la moyenne est cohérent avec les données, on s’explique la nature fractale, auto-reproductive du phénomène que nous avons constaté. En effet la loi normale est, comme l’ensemble des lois de hasard, de nature fractale : par exemple si nous répartissons égalitairement les valeurs d’un ensemble suffisant de notes entre zéro et vingt, nous aurons une distribution de moyenne 10 et d’écart type de 6 environ. Si nous prenons ensuite la population précisément supérieure à la moyenne, cette population est également distribuée normalement avec évidemment une moyenne de 15 mais un écart-type plus faible de 3 : c’est ce qui a été visualisé dans la représentation des deux distributions ci-dessous :

L’aspect fractal du phénomène vient du fait de la croyance en une répartition gaussienne des capacités des élèves et fait de la moyenne la clé pour le passage dans une option sélective.

  1. Andrew Abbott, Chaos of disciplines, The University of Chicago Press, 2001 []
  2. Sources : jusqu’en 1979 : Études et documents 1981 (2) ; 1980 et années suivantes, Note d’information annuelle des services statistiques du Ministère de l’éducation nationale. Pour la réforme de 1902, cf. http://enseignement-latin.hypotheses.org/379 []
  3. cf. le détail de cette période : http://enseignement-latin.hypotheses.org/1027#1923 []
  4. Note d’information 12.03 du ministère de l’éducation nationale []
  5. André Antibi, La constante macabre ou Comment a-t-on découragé des générations d’élèves ?, La Barthe-sur-Leze : A. A., 2005 []

Philippe Cibois

Philippe Cibois, né en 1941, est professeur émérite de sociologie de l'université de Versailles - St-Quentin en Yvelines. Il est président du conseil d'administration de l’École nouvelle la Source.

More Posts - Website

Peut-on établir statistiquement une dépendance « faible » entre deux variables ?

Par Géraldine Bois

Lors de ma soutenance de thèse1[1], Jean-Claude Passeron a discuté un aspect du traitement de mes données statistiques. Ses remarques m’ont amenée à demander conseil à deux membres de mon laboratoire[2], Julien Barnier et Pierre Mercklé. Ce dernier a ensuite sollicité l’avis de Philippe Cibois et d’Olivier Godechot. Ce billet rend compte de nos échanges.

Lire la suite

R pour les sociologues : une introduction au fameux logiciel libre d’analyse des données

Pendant longtemps, les sociologues désireux de mettre en oeuvre des outils quantitatifs d’analyse des données avaient le choix entre des outils simples et conviviaux (comme Sphinx ou Modalisa), mais peu puissants, et des outils puissants (comme SAS, SPSS, etc.), mais complexes à mettre en oeuvre, et… payants. Et puis est arrivé… R ! Son nom est bizarre, il appartient plutôt à la seconde catégorie, mais… il est gratuit ! R est en effet issu du monde des logiciels libres, et c’est une très bonne raison de l’adopter. L’autre très bonne raison, c’est sa puissance impressionnante, et son évolutivité : vous verrez, à l’usage, que R n’a rien à envier à SAS ou SPSS. QUANTI a donc choisi d’en faciliter l’accès à toutes celles et tous ceux qui veulent utiliser des méthodes quantitatives en sciences sociales, en publiant ici le « mode d’emploi » de R écrit par Julien Barnier à destination des sociologues.

Lire la suite

Trideux(2) : Réaliser une analyse factorielle

Dans cet article, et celui qui le précède, avec Philippe Cibois, nous entreprenons de démontrer qu’il n’est pas très compliqué de réaliser des analyses factorielles des correspondances avec le logiciel gratuit Trideux dont il est l’auteur. Dans ce second article, nous expliquons comment élaborer et commencer à interpréter une analyse factorielle des correspondances avec Trideux, toujours à partir des données de l’enquête « Histoire de vie 2003 » de l’INSEE.

Lire la suite

Philippe Cibois

Philippe Cibois, né en 1941, est professeur émérite de sociologie de l'université de Versailles - St-Quentin en Yvelines. Il est président du conseil d'administration de l’École nouvelle la Source.

More Posts - Website

Trideux (1) : un outil simple et gratuit d’analyse des données

Dans cet article, et celui qui suivra dans quelques jours, avec Philippe Cibois, nous entreprenons de démontrer qu’il n’est pas très compliqué de réaliser des analyses factorielles des correspondances avec le logiciel gratuit Trideux dont il est l’auteur. Dans ce premier article, nous expliquons comment télécharger et installer Trideux sur votre ordinateur, puis comment y importer le fichier des données tirées de l’enquête « Histoire de vie », et enfin comment réaliser des tableaux croisés avec ce logiciel. Dans la seconde partie, qui sera disponible en ligne dans quelques jours, nous expliquons comment élaborer une analyse factorielle des correspondances avec Trideux, toujours à partir des mêmes données.

Lire la suite

Philippe Cibois

Philippe Cibois, né en 1941, est professeur émérite de sociologie de l'université de Versailles - St-Quentin en Yvelines. Il est président du conseil d'administration de l’École nouvelle la Source.

More Posts - Website

On peut faire des tableaux croisés avec Excel !

Qui a dit que l’analyse des données quantitatives, c’était compliqué, que les données étaient difficiles à obtenir, que les logiciels étaient trop complexes ? C’est, dans un certain nombre de cas au moins, tout le contraire… D’une part, il est très simple de récupérer des données d’enquête pour faire de « l’analyse secondaire », mais c’est une autre question sur laquelle nous reviendrons plus tard. Et d’autre part, surtout, au moins pour les traitements simples, il n’y a pas besoin de logiciel compliqué pour analyser ces données, qu’elles proviennent d’enquêtes réalisées par d’autres ou de vos propres enquêtes. Dans ce qui suit, je vais essayer de vous convaincre qu’on peut en moins d’une demie heure télécharger les données d’une enquête et en explorer les résultats en construisant très facilement des tableaux croisées avec la seule aide… d’Excel ! Alors, si vous n’ignorez rien des possibilités de la fonction « Tableau croisé dynamique » d’Excel, passez votre chemin… Sinon, la suite de cet article devrait vous intéresser !

Lire la suite