Google Ngram viewer

Google a entrepris depuis plusieurs années une vaste entreprise de numérisation d’ouvrages pour son portail Google Books. Cette numérisation a donné lieu à la création d’un gigantesque corpus de mots dans différentes langues, et à la possibilité notamment de quantifier les fréquences d’apparition des ces mots et de ces expressions au fil du temps.

D’après Jean Veronis, ces données représentent le plus gros corpus linguistique de tous les temps, 500 milliards de mots, 5 millions d’ouvrages, soit environ 4% des livres jamais publiés.

Google a récemment mis à disposition une partie de ce corpus sous la forme d’un outil, nommé Books Ngram Viewer, qui permet de représenter graphiquement les fréquences d’un mot ou d’une expression au cours du temps dans différentes langues, avec la possibilité de comparer plusieurs mots ou expressions, ce qui laisse la place à toutes sortes d’expérimentations. On peut par exemple comparer l’évolution des fréquences d’apparition de certaines disciplines en sciences humaines et sociales :

D’autres exemples, à titre purement illustratif :

Les possibilités sont multiples, d’autant que Google met également à disposition une partie des données brutes, exploitables directement avec les outils adéquats :

http://ngrams.googlelabs.com/datasets

Ces fichiers (très volumineux !) permettent d’accéder aux nombres d’occurrence par année et par langue des différents n-grams (groupes de n mots). Ceci permet par exemple de représenter graphiquement les différentes associations de mots :

On peut donc imaginer de très nombreuses exploitations possibles de cette masse gigantesque de données, ce qui ne va pas sans poser non plus de questions sur une démarche ou les données peuvent parfois précéder les interrogations scientifiques, sans parler des limites inhérentes aux données elles-mêmes et leur acquisition. Pour une lecture critique on pourra notamment se référer à l’article de Patrick Peccatte :


3 réflexions au sujet de « Google Ngram viewer »

  1. Peut-être ce billet est-il l’occasion de rappeler qu’il existe pour la langue française un très gros corpus permettant depuis des lustres la fabrication de choses de ce genre… avec un inconvénient : un accès restreint (quoiqu’il soit à la BNF, dans bien trop peu d’institutions françaises, par méconnaissance sans doute, et pas trop cher à acheter individuellement).
    Et un inconvénient qui est aussi un avantage énorme par rapport à GoogleBooks (ou à l’extrait utilisé ici) : un corpus fermé mais clairement défini. On sait donc dans quoi on cherche. Car de ce point de vue, entre la construction serendipitique et le renseignement très inégal des métadonnées, en particulier la date de publication, je m’interroge vraiment sur ce qu’on pourrait faire dire à GoogleBooks…
    Au contraire, Frantext, puisque c’est de lui qu’il s’agit, a résolument choisi le « canon » : des textes principalement littéraires et quelques excursions dans les essais politiques, philosophiques, et autres. Mais des milliers de textes, proprement indexés, OCRisés, sans doublons, permettant de rechercher dans un sous-corpus, etc.
    Pour en savoir plus, voir http://www.frantext.fr/
    et deux articles d’histoire en libre accès l’ayant utilisé : http://www.persee.fr/web/revues/home/prescript/article/genes_1155-3219_1995_num_20_1_1305 et http://www.persee.fr/showPage.do?urn=hism_0982-1783_1991_num_6_3_1401

  2. Ping : Réseaux sociaux contre classes sociales : faut-il former les professeurs de SES au nouveau programme de Première ? — pierremerckle.fr

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *