Google Ngram viewer

Google a entrepris depuis plusieurs années une vaste entreprise de numérisation d’ouvrages pour son portail Google Books. Cette numérisation a donné lieu à la création d’un gigantesque corpus de mots dans différentes langues, et à la possibilité notamment de quantifier les fréquences d’apparition des ces mots et de ces expressions au fil du temps.

D’après Jean Veronis, ces données représentent le plus gros corpus linguistique de tous les temps, 500 milliards de mots, 5 millions d’ouvrages, soit environ 4% des livres jamais publiés.

Google a récemment mis à disposition une partie de ce corpus sous la forme d’un outil, nommé Books Ngram Viewer, qui permet de représenter graphiquement les fréquences d’un mot ou d’une expression au cours du temps dans différentes langues, avec la possibilité de comparer plusieurs mots ou expressions, ce qui laisse la place à toutes sortes d’expérimentations. On peut par exemple comparer l’évolution des fréquences d’apparition de certaines disciplines en sciences humaines et sociales :

D’autres exemples, à titre purement illustratif :

Les possibilités sont multiples, d’autant que Google met également à disposition une partie des données brutes, exploitables directement avec les outils adéquats :

http://ngrams.googlelabs.com/datasets

Ces fichiers (très volumineux !) permettent d’accéder aux nombres d’occurrence par année et par langue des différents n-grams (groupes de n mots). Ceci permet par exemple de représenter graphiquement les différentes associations de mots :

On peut donc imaginer de très nombreuses exploitations possibles de cette masse gigantesque de données, ce qui ne va pas sans poser non plus de questions sur une démarche ou les données peuvent parfois précéder les interrogations scientifiques, sans parler des limites inhérentes aux données elles-mêmes et leur acquisition. Pour une lecture critique on pourra notamment se référer à l’article de Patrick Peccatte :

Gridworks, un outil libre d’exploration et de nettoyage de données

Gridworks est un outil libre permettant l’exploration et le nettoyage de bases de données. L’objectif n’est pas d’effectuer des analyses ou des statistiques, mais de fournir des outils permettant de vérifier la qualité des données et de les « nettoyer » si nécessaire avant importation dans un logiciel dédié à l’analyse.

Gridworks est libre, multiplateforme (Windows, Mac, Linux) et gratuit, il peut être téléchargé sur la page du projet. Il s’agit par contre d’un logiciel anglophone, dont l’interface et la documentation sont uniquement disponibles en anglais.

L’installation est très simple, une simple archive à décompresser sur votre disque et vous n’avez plus qu’à exécuter le programme qui s’y trouve. Vous devez ensuite lancer votre navigateur Web favori et ouvrir l’adresse http://127.0.0.1:3333. La particularité de Gridworks est en effet d’être une application Web qui tourne dans votre navigateur. Cette application fonctionne en local, sur votre ordinateur, rien n’est transmis sur le Web et la confidentialité et la sécurité de vos données sont préservées.

L’écran d’accueil vous propose de créer un nouveau projet, c’est-à-dire d’importer un jeu de données. Celles-ci peuvent être en différents formats textes (tabulé, CSV, etc.) ainsi qu’au format Excel.

Écran d'accueil de Gridworks

Une fois les données importées, on a accès à une vue tout à fait classique de données sous la forme d’un tableau.

Vue des données dans Gridworks

On peut alors commencer à utiliser les outils fournis. À noter que Gridworks utilise un système d’historique permettant de toujours annuler des actions déjà effectuées, et de revenir en arrière jusqu’à n’importe quel point du traitement. Cet historique est enregistré au sein du projet, il est donc conservé si vous quittez et relancez l’application.

Parmi les outils proposés, on notera notamment de nombreuses possibilités de faceting (extraction d’une partie des données) permettant de cibler de manière dynamique un sous-ensemble des lignes ou des colonnes et de leur appliquer des transformations ou des recodages. De même, un outil de clustering permet de détecter de manière automatisée les éléments se ressemblant fortement, par exemple pour éliminer des erreurs de saisie. Enfin, les outils de recodage sont également très pratiques, avec des possibilités d’édition ou de fusion rapides de modalités, ou des manipulations plus complexes des données à l’aide d’un langage dédié nommé GEL (Gridworks Expression Language).

Pour avoir un aperçu plus détaillé des possibilités, on pourra se reporter aux vidéos en ligne et au wiki sur le site du projet.

Le Réseau Quételet fait peau neuve

reseauqueteletLe Réseau Quételet a la charge en France de l’archivage et de la diffusion des données pour les sciences humaines et sociales. Il vient de se doter d’un nouveau site Internet, qui a pour vocation de faciliter les recherches de données en sciences sociales. Ce portail centralise les données disponibles par l’intermédiaire de ses partenaires, et il vous simplifie la procédure de commande de fichiers.

Les partenaires du Réseau Quetelet sont le CMH-ADISP, Archives de données issues de la statistique publique du Centre Maurice Halbwachs, le CDSP, Centre de données socio-politiques, et le Service des Enquêtes de l’INED, Institut national d’études démographiques.

Le nouveau site vous permet d’accéder au catalogue des enquêtes et des corpus de données disponibles, d’y effectuer des recherches selon de nombreux critères, puis de commander et d’obtenir les données.

L’adresse du site :

http://www.reseau-quetelet.cnrs.fr

Comment faire des tests sous R ?

Les articles de sciences sociales utilisent les tests de manière routinisée à travers notamment l’examen des paramètres d’une régression. Il n’est pas inutile de revenir aux bases pour comprendre le test dans sa généralité avant de l’embrigader dans la lourde mathématique de l’analyse toutes choses égales par ailleurs. Au commencement le test sert à répondre à des questions simples. Est-ce que je peux affirmer sans me tromper ou plus exactement sans avoir trop de chances de me tromper que deux moyennes sont différentes ou que deux variables ne sont pas indépendantes ? Plutôt qu’un long discours sur la théorie des tests, les différentes espèces de risque, la notion de puissance et autre, l’idée de ce tutoriel est de proposer un apprentissage par la pratique.

Lire la suite

Enquête d’appartenances : un livre-DVD consacré à l’enquête « Histoire de vie » de l’Ined

guerin-pace_2009L’ouvrage que publient aujourd’hui les éditions de l’Ined, sous la direction de France Guérin-Pace, Olivia Samuel et Isabelle Ville, est inaugural à plus d’un titre. Tout d’abord il inaugure une nouvelle collection du grand institut français de recherches démographiques, intitulée « Grandes enquêtes », dont on ne peut qu’espérer la réussite et le succès : cette collection se donne comme mission de présenter les orientations méthodologiques et les résultats des enquêtes menées par l’Ined, soit seul, soit en partenariat avec d’autres institutions. Inaugural, ensuite, parce qu’avec l’ouvrage est livré un DVD sur lequel sont reproduits le fac-similé du questionnaire de l’enquête[1], sa documentation complète, et surtout l’intégralité des réponses des 10.000 personnes interrogées, sous la forme de fichiers de données explorables à l’aide d’outils d’analyse des données[2] : c’est, à notre connaissance, une première en France, qui mérite d’être saluée et, évidemment, encouragée.

Lire la suite

Déchiffrer la société

maurin_2009Bonjour à toutes et à tous ! C’est la rentrée pour Quanti aussi… Alors pour commencer, nous avons une bonne lecture à vous recommander : Louis Maurin est journaliste à Alternatives économiques. Il est aussi le fondateur de l’Observatoire des inégalités, dont le site internet et la lettre électronique s’efforcent depuis plusieurs années de faire un travail précieux d’information et d’analyse des inégalités économiques, sociales, culturelles et politiques qui traversent la société française. Son nouveau projet s’intitule « Déchiffrer la société« , et c’est à la fois un livre et un site internet…

Lire la suite

LimeSurvey (3) : Transférer votre enquête dans SAS, R, SPSS ou votre logiciel de statistique préféré

Pour qui veut aujourd’hui réaliser une enquête par questionnaires « en ligne », il existe un outil extrêmement pratique et facile à mettre en œuvre : il s’agit de LimeSurvey, une application gratuite à laquelle nous avons déjà consacré un article (voir « LimeSurvey (1) : Construire des questionnaires en ligne, c’est facile ! »).

Vous avez suivi aveuglément nos conseils, vous avez réalisé une magnifique enquête en ligne par questionnaires sans attendre l’article que nous vous avions promis pour vous guider ? Vous avez bien fait, parce que « LimeSurvey (2) : Le mode d’emploi » n’est toujours pas prêt… Alors on passer directement à l’étape suivante : vous avez fait votre enquête, vous voulez en analyser les résultats ? Cet article va vous aider à transférer les données de LimeSurvey vers votre logiciel de statistique préféré.

Lire la suite

modalisa2sas : une macro Word pour transférer les données et la structure d’une enquête de MODALISA vers SAS

Les logiciels intégrés de traitement d’enquêtes par questionnaires, comme MODALISA ou SPHINX pour ne citer que les plus connus, sont en général très faciles d’utilisation, en particulier grâce à leurs menus de commande conviviaux qui permettent sans apprentissage particulier de construire des questionnaires, saisir les réponses, les recoder et en réaliser des analyses simples. C’est la raison pour laquelle ils ont de nombreux adeptes, en particulier parmi les enseignants et les étudiants, même s’ils sont payants. Mais à l’usage, ils se révèlent souvent limités, et il apparaît au bout d’un moment que les procédures de recodage et d’analyse, qu’on appréciait au début pour leur facilité d’utilisation, sont en réalité très fastidieuses, en tout cas dès qu’on veut réaliser des traitements et des analyses plus complexes. C’est à ce « moment » en général qu’on se décide à investir dans l’apprentissage d’outils d’analyse des données comme SAS, SPSS, STATA ou encore R, certes moins « conviviaux », mais en revanche beaucoup plus puissants…

Ca y est, vous en êtes à ce « moment » ? C’est fort possible, si vous avez trouvé cet article et que vous êtes en train de le lire… Oui mais voilà, en général, ça vous prend non pas au début d’une nouvelle enquête ou d’une nouvelle recherche, mais en cours de route, quand vous vous rendez compte que vous n’y arrivez plus avec votre logiciel sympathique de traitement d’enquêtes. Ou bien vous avez passé ce « moment », mais vous voulez récupérer une de vos anciennes enquêtes pour travailler à nouveau dessus dans le logiciel complexe d’analyse des données dont vous êtes devenu-e fan… Mais comment faire ? Voici une bonne solution, facile à mettre en œuvre, pour transférer vos données, et surtout vos structures d’enquêtes (libellés des questions, noms des modalités…) de MODALISA vers SAS.

Lire la suite

Une fonction bien pratique pour fusionner des fichiers de données avec Excel

Dans un article précédent, nous avons vu qu’il n’était pas très compliqué, voire même plutôt agréable, de réaliser des tableaux croisés avec Excel, qui est présent sur la plupart des ordinateurs, et qu’on pouvait donc se passer dans de nombreux cas d’un logiciel d’analyse des données plus puissant, plus compliqué, et aussi… plus cher ! Mais une des limites de l’utilisation d’Excel pour l’analyse des données, c’est que les données doivent être rassemblées dans une seule et même feuille de calcul. Or, notamment quand on souhaite faire de l’analyse secondaire des résultats d’une grande enquête statistique comme celles que l’INSEE et le Centre Quételet par exemple mettent à notre disposition, il arrive très fréquemment que les données soient dispersées dans plusieurs fichiers, reliés entre eux par un identifiant individuel unique pour chaque individu interrogé. Nous allons voir qu’il existe dans Excel une fonction qui s’appelle RECHERCHEV(), et qui permet de fusionner des données provenant de plusieurs fichiers Excel différents.

Lire la suite