Analyse de la multitude

Élargir les horizons grâce aux humanités numériques

Le Musée d’art et d’histoire et l’Université de Genève ont récemment conclu un partenariat de recherche innovant autour des humanités numériques. Cette collaboration enthousiasmante permet au Centre de documentation et de recherche (CDR) du MAH d’explorer de nouvelles facettes numériques, à la pointe de la recherche scientifique. Mais de quoi s’agit-il au juste ?

Pour éclairer les lectrices et les lecteurs de MAGMAH, Gabriella Lini, responsable du CDR, et Marie Barras, gestionnaire de projets et de données numériques, ont mené cet entretien avec la Prof. Béatrice Joyeux-Prunel, le Dr Simon Gabay et le Dr Nicola Carboni, œuvrant tous les trois à la chaire des humanités numériques de l’UNIGE.

#4, juillet 2023

Imprimer la page

Le numérique appliqué aux sciences historiques (histoire, histoire de l’art, littérature, archéologie, musicologie...) occupe toujours plus le devant de la scène. Mais en quoi les humanités numériques consistent-elles ?

Béatrice Joyeux-Prunel Les humanités numériques permettent de transformer des objets physiques et concrets en objets numériques – en recopiant des textes manuscrits ou dactylographiés, en numérisant des images... Les chercheurs et les chercheuses manipulent ces objets avec des techniques informatiques avancées ; le plus souvent, ils les traitent en quantité, afin de comprendre d’un point de vue statistique les logiques historiques, spatiales ou encore sociales qui guident ces objets. Ces compétences nous permettent de mieux comprendre le passé et la culture ; mais elles nous donnent aussi une perspective exceptionnelle sur la révolution numérique actuelle. Nous pouvons par exemple étudier la nouvelle culture des réseaux sociaux, l’art contemporain numérique, les NFTs, etc. Nous sommes en mesure de poser un discours sur le numérique comme sujet à part entière et non plus comme simple méthode. Aujourd’hui, ce discours semble confisqué par la sociologie, l’économie, l’informatique. Nous savons aussi utiliser l’intelligence artificielle dans nos projets de recherche, tels les projets FoNDUE ou Visual Contagions à l’UNIGE. Notre regard sur la révolution numérique est d’autant plus pertinent que nous sommes formés à l’interprétation des textes et des idées.

Simon Gabay Les humanités numériques sont construites sur un double mouvement. Le premier est technique : il faut transformer les objets du réel en objets machine actionable, c’est-à-dire en données numériques exploitables par un ordinateur. Rendre machine actionable un manuscrit ancien nécessite d’en récupérer les reproductions photographiques, d’analyser leur structure, de transcrire le texte ou de classer les images. Une donnée peut être une lettre, une phrase, un pixel, une image ou une collection d’images. Elle se retrouve stockée sous un format numérique dont la nature dépend de son usage final. Dans un second temps, et grâce à la machine qui les manipule directement, je peux en analyser de très grandes quantités. Observer, comparer et compter les données permet ainsi de poser de nouvelles questions, dont l’une des premières est : que se passe-t-il hors du canon ? Jusqu’à présent, en études littéraires, l’intérêt s’est beaucoup porté sur les mêmes livres, les mêmes poèmes, les mêmes auteurs – Madame de La Fayette, Victor Hugo ou Marcel Proust. Mais qui s’intéresse à des écrivains de Limoges ou des autrices de Neuchâtel ? Pourtant, eux et elles aussi ont fait la littérature !

Nicola Carboni Rendre un objet machine actionable n’est pas une simple transformation. Nous devons contraindre le réel pour remplir des unités matérielles computationnelles. Il s’agit d’un processus de réduction d’un sujet ou d’un document en unités sémantiques analysables qui doivent pouvoir s’intégrer dans une structure matérielle numérique – soit des cellules dans un tableur informatique, soit la structure d’une base de données. Et pourquoi fait-on cela ? Pour étudier la multitude ! Souvent, nous employons le numérique pour examiner un seul objet, mais le numérique est surtout utile pour comprendre la multitude de dimensions qui composent un objet unique ainsi que la multitude d’une collection d’objets, par exemple leurs interconnexions, leurs similitudes et leurs différences. L’étude de la multitude peut nous aider à élargir l’horizon de la discipline, en apportant une perspective différente sur notre histoire et notre culture.

La puissance de calcul de la machine permet donc de remplir des tâches qui ne seraient pas possibles humainement… Mais quel est le quotidien d’un chercheur ou d’une chercheuse ?

BJP En fait, 80% de notre travail consiste à nettoyer des données, avant d’en faire l’analyse : préparer, nettoyer, encoder, compléter, enrichir, reformater… Il faut aussi adapter les données à la question de recherche, tout en faisant en sorte de ne pas trop déformer nos sources. Vient ensuite l’observation des données sur un écran : par exemple sur une liste d’œuvres d’art, on compte celles réalisées par des femmes, le nombre d’artistes originaires d’Allemagne, etc. Ces simples actions permettent d’ouvrir de premières perspectives, que l’on croise avec d’autres sources prises à d’autres échelles, avant de revenir aux analyses computationnelles. Ultimement, l’interprétation se fait sans se contenter des approches informatiques. Nous sommes des spécialistes des sciences humaines, un domaine dans lequel la réflexion et l’interprétation sont essentielles. Il faut préciser que nous partageons nos lignes de code et nos données avec la communauté scientifique. C’est l’appel de la science ouverte, l’open access.

NC Nous réfléchissons aussi à la nature de nos outils. Par exemple, certains codes et logiciels ont été conçus pour l’économie, mais nous les appliquons à nos données historiques car ils ont la puissance nécessaire pour manipuler de grandes masses de données. Ils fonctionnent, mais il faut en connaître les limites : il peut arriver qu’ils ne comprennent pas les dates avant 1680, car les économistes n’ont pas souvent besoin d’analyser ces périodes !

SG Ce problème n’en sera sans doute bientôt plus un, car l’informatique évolue très vite. La magie de notre discipline est qu’avec le temps, certains problèmes se résolvent tout seuls ! Concrètement, la recherche consiste également à un important travail de veille. Il faut pouvoir s’adapter rapidement à la nouveauté. L’informatique implique aussi un changement de psychologie : je dois accepter de voir subsister des imperfections et de ne jamais être capable de voir toutes ces données, car elles sont impossibles à vérifier humainement tant elles sont nombreuses. Cependant, je ne suis pas aveugle ; je teste constamment ce que je fais au moyen de métriques statistiques, la seule façon qu’il me reste de garder un peu de contrôle. Cela nécessite un certain lâcher-prise.

Y a-t-il des résistances face à l’utilisation du numérique ?

BJP Oui, depuis longtemps… Cela fait partie du mythe qui oppose la culture scientifique à la culture littéraire. Je peux parler de l’histoire de l’art : au début des années 2000, j’ai vécu une double levée de boucliers contre cette manière de parler des trajectoires des artistes et des œuvres. Il s’agissait d’une saine résistance à la violence symbolique du chiffre – ce n’est pas parce qu’on nous assène un chiffre qu’il faut le croire –, mais aussi d’une peur de voir le mythe de l’art s’effondrer. En effet, la volonté d’ordonner la multitude, et avec elle l’approche quantitativiste, pousse à un prisme interprétatif socio-économique qui dérange l’histoire de l’art. La discipline s’est construite sur une idée de l’autonomie de l’art par rapport au politique, au religieux, à l’économie… Ainsi, une exposition monographique ne souligne pas qu’un artiste est vénal ou qu’il doit sa réussite à ses relations. Mais, dès lors que l’on introduit du quantitatif, de la multitude, on se rend compte de la similitude dans les trajectoires de ceux qui ont réussi – en passant par le bon atelier ou la bonne galerie, l’artiste finit le plus souvent dans un grand musée. Le champ de l’art n’est aucunement autonome de logiques commerciales ou de réseaux d’amitiés. Et montrer cela peut heurter les valeurs de l’histoire de l’art traditionnelle.

Gabriella Lini Une approche computationnelle en histoire de l’art pose un défi de taille. On consacre plus de temps à rendre compte de ses données et de son corpus et à expliquer sa méthode pour justifier de la pertinence de ses résultats. Cette problématique est moins présente dans les approches traditionnelles.

SG En études littéraires, le rapport au numérique est différent ; manipuler des données textuelles est désormais assez courant. On le voit tous les jours avec des outils comme Word ou Google. Les linguistes ont été des pionniers : ils ont très rapidement su tirer parti de la démocratisation de l’informatique, bien avant l’arrivée d’Internet. Ils travaillent avec des données informatisées et des corpus depuis des décennies. Nous avons plus de quarante ans de pratique et les standards ou les méthodes ont, dans l’ensemble, peu changé. C’est grâce à cette longue histoire que des outils comme Deepl ou ChatGPT existent.

BJP En étudiant de grandes masses de données, nous portons atteinte à un canon, à un système de valeurs qui est fondé sur un culte de la Littérature ou de l’Art. On a tendance à oublier que ce système repose sur une structure grammaticale, sociale, économique, anthropologique… et pas uniquement sur des grandes œuvres. Nous sommes parfois pris pour des déboulonneurs de statues… mais nous contribuons aussi à les mettre en lumière d’une autre manière en ouvrant le canon et en faisant de nouvelles découvertes.

Graphe indiquant les revues parisiennes ayant reproduit des images similaires (Projet FNS Visual Contagions)

Graphe indiquant les revues parisiennes ayant reproduit des images similaires (Nicola Carboni pour le projet FNS Visual Contagions)

Quelles relations entretenez-vous avec les institutions patrimoniales ?

NC Grâce aux synergies entre universités et institutions culturelles, les musées ne se contentent pas de fournir des données. Ils deviennent des objets de recherche. Nous avons déjà analysé des données transmises par la Tate, le Museum of Modern Art (MoMA) ou le J. Paul Getty Museum pour observer leur politique et l’évolution de leurs collections. Nous pouvons ainsi nous poser des questions inédites : sur le pays d’origine des artistes, les époques ou les styles qui sont favorisés par une politique d’acquisition. Il est possible de réaliser une étude comparable avec des bibliothèques et des archives.

SG Il est aussi central que les institutions patrimoniales ne prennent pas le prétexte de la numérisation pour ne plus montrer les œuvres. Nous faisons face à des difficultés d’accès pour certains documents parce que des fac-similés sont accessibles en ligne… Mais un objet numérique se contente d’avoir la taille et l’aspect de mon écran ! Pour un manuscrit, par exemple, j’ai besoin de savoir si les poils du vélin sont au recto ou au verso, car j’en apprendrai ainsi plus sur sa fabrication et son histoire. Nous faisons des sciences humaines pour avoir un rapport humain aux objets, même s’ils sont inertes.

NC Un document est un objet sensible, un objet digital n’est pas sensible.

Pourquoi avoir engagé ce partenariat entre MAH et l’UNIGE ?

GL Les musées ont besoin de nouveaux métiers et de nouvelles compétences liées à la gestion numérique de leurs collections. Et l’université a un rôle à jouer dans l’enseignement de ces nouveaux savoirs.

Marie Barras Les échanges entre universités et institutions culturelles permettent la mise à disposition des données de manière plus ouverte et directe, tandis que les collections du musée bénéficient d’un accroissement des connaissances. Ce cercle vertueux est au cœur de la synergie entre l’UNIGE et le MAH.

BJP En effet, le MAH nous apporte des données concrètes sur l’histoire culturelle genevoise. Nous allons les formater, les enrichir et les analyser pour que nos étudiants et étudiantes puissent produire un discours sur un passé qui intéressera les citoyens et les citoyennes de Genève. Le MAH fournit aussi des données intéressantes en faveur d’une histoire mondiale des images, où l’approche computationnelle est indispensable. Je travaille moi-même sur les véhicules des images – les Bilderfahrzeuge, comme disait l’historien de l’art Aby Warburg. Cela m’intéresse d’étudier les différentes étapes d’une image : la création d’une œuvre, ses reproductions, sa place dans une collection.

GL Le musée apporte aussi un accès à une documentation et à une mémoire. Une correspondance, un registre d’inventaire, un carnet de notes, un cahier d’études permettent d’éclairer l’histoire d’un objet et de nourrir des études de cas.

NC Des œuvres fabriquées avec des nouvelles technologies arrivent actuellement dans les collections muséales – des NFTs viennent d’ailleurs d’entrer dans la collection du MAH – et cela pose plusieurs défis : comment les conserver, les classer, les mettre à disposition du public ? Ces questions ne sont pas seulement muséales mais concernent aussi la recherche. Je trouve intéressant de pouvoir dialoguer autour de ces enjeux comme c’est déjà le cas dans les musées consacrés aux sciences.

BJP Nous travaillons déjà sur les arts numériques et nous espérons que la normalisation des formats d’archivage de ces objets nouveaux se fera de pair avec les musées. Nous devons développer ensemble les meilleures solutions techniques pour gérer ce patrimoine.

Quelle pourrait être, selon vous, la place du numérique dans le musée du futur ?

SG Sans provocation aucune, en tant que visiteur, je rêve d’un musée sans numérique. On imagine le futur avec de la blockchain, du métavers, encore plus de réseaux sociaux… Il y a l’avenir qui s’annonce et celui que l’on souhaite. Je vois le musée comme un lieu protégé du numérique, où je peux avoir un contact privilégié avec les objets. Cet enjeu a un nom : la sobriété numérique.

BJP J’ai un souvenir émerveillé des period rooms du Metropolitan Museum of Art. J’adorerais enfiler un casque qui me permettrait de voir les objets disposés dans leur décor d’époque, une sorte de period room numérique et immersive. Même si c’est artificiel, je trouve que cela a beaucoup de charme ; le passé paraît plus concret. Le numérique sera également de plus en plus utile aux équipes des musées, dans leur travail en amont d’une exposition, pour trouver des connexions, de nouveaux objets, des idées. Cela va aider à enrichir les données, constituant le point de départ des récits qui seront racontés dans le futur.

NC Pour moi, le numérique sera une porte vers la compréhension des musées et de ce qu’ils contiennent réellement. À l’heure actuelle, on a une vision souvent passive de ce grand contenant. Le numérique sera un outil exploratoire qui nous aidera à reprendre l’œuvre en main et à la regarder au plus près de nous, à jouer avec. Nous pourrons aussi créer notre propre collection, matérialiser nos idées, afin de transformer le musée en un jeu actif pour connaître le passé. Le numérique permettra aussi de comprendre la collection dans sa dimension éparpillée : par exemple, en reliant les œuvres d’un même artiste qui sont conservées dans des pays différents. On pourra explorer autrement un artiste, une œuvre, un objet et leurs trajectoires – je pense surtout à l’archéologie ou à l’ethnographie. Le musée fait partie d’un réseau, il n’existe pas comme une île isolée mais il vit au sein d'un archipel.

FONDUE : UN OUTIL POUR CONSTRUIRE LES GRANDS CORPUS DE DEMAIN

Les chercheurs et les chercheuses en sciences humaines sont depuis quelques années confrontés à un problème important : alors que toujours plus de solutions informatiques sont à leur disposition pour analyser leurs sources, l’écrasante majorité des artefacts du passé, les plus anciens comme les plus récents, existent principalement sous une forme analogique. Il est en effet impossible d’avoir recours aux outils de comparaison d’images à grande échelle avec des peintures accrochées sur les murs des salles d’exposition, ni aux logiciels d’analyse de corpus avec des textes conservés dans les réserves des bibliothèques. Les manuscrits, les tableaux, les livres rares... que nous protégeons précieusement ne sont pas, en l’état, exploitables par la machine.

Pour les spécialistes du passé, le développement des approches informatiques implique donc, avant toute chose, d’être capables de transformer des données analogiques en données numériques. Cette transformation implique non seulement la conversion de l’objet au format image (on parle plutôt de fac-similé numérique), mais aussi l’extraction de l’information contenue dans cette image numérique. Où se trouvent les décorations sur une page ? Et où se trouve le texte ? Et ce texte, que dit-il d’ailleurs ?

Le projet FoNDUE (Formes numérisées et détection unifiée des écritures) de l’Université de Genève répond à ce problème fondamental de l’informatisation des sciences : il permet aux chercheurs et aux chercheuses de concevoir les corpus graphiques et textuels qui constituent le socle de toutes les recherches d’aujourd’hui, et encore plus de demain. Sans compétence informatique particulière, il est possible à chacun et à chacune de traiter simplement des grandes masses de documents pour en reconnaître la mise en page, comme le texte.

FoNDUE est un outil originellement conçu pour la reconnaissance optique de caractères (mieux connue sous son nom anglais d’OCR, pour Optical Character Recognition). Mais comme le couteau suisse qui n’est pas uniquement un couteau, l’OCR fait désormais bien plus que reconnaître le texte. Il permet, par exemple, d’identifier les différentes zones de la page : le titre courant, les notes marginales ou de bas de page, les schémas, les enluminures, les gravures... La reconnaissance de caractères, dans son sens le plus élargi, concerne presque toutes les disciplines des sciences humaines. Les philologues qui se passionnent pour la littérature, bien sûr, mais aussi les linguistes qui étudient la langue, les historiens de l’art qui s’intéressent aux illustrations, ou encore les historiens qui travaillent sur les archives, imprimées comme manuscrites.

Ces dernières années, l’OCR a non seulement élargi son champ d’action, mais la technique s’est perfectionnée grâce aux avancées de la vision par ordinateur – la discipline informatique qui s’intéresse à l’analyse des images. Si l’efficacité de l’OCR sur le texte imprimé ne fait désormais aucun doute, les dernières évolutions permettent de lire de plus en plus efficacement des documents manuscrits dont la compréhension est autrement plus ardue, même pour les spécialistes les plus chevronnés. En particulier les manuscrits, dont les écritures sont parfois difficiles à déchiffrer.

Ce sont donc les vestiges de toutes les époques du passé, de l’Antiquité à la période contemporaine, qui sont concernés par cette évolution technologique destinée, selon nous, à faciliter la révolution scientifique qu’entraîne l’apparition de l’informatique dans les sciences humaines. La création de grands corpus d’images ou de textes va permettre des analyses d’une ampleur inédite, mobilisant des œuvres oubliées ou identifiant des tendances insoupçonnables sans assistance informatique. Les ingénieurs ayant fait leur travail, il reste désormais aux chercheurs à faire le leur !

SG

Détection de zones sur un pliego de cordel et une page d'archives

Détection des zones et des lignes depuis l'Instance Genevoise d’E-Scriptorium (Projet FoNDUE)

Fig. 1 : P. Jacsont /Projet de recherche Desenrollando el Cordel (2020-2024), UNIGE, financé par la Fondation philanthropique Famille Sandoz-Monique de Meuron, dirigé par Constance Carta

Fig. 2 : P. Jacsont / FoNDUE for the Heinrich Wölfflin Fotosammlung of the Kunsthistorisches Institut UZH, UZH et UNIGE

VISUAL CONTAGIONS : UN PROJET D’AMPLEUR POUR COMPRENDRE LA MONDIALISATION PAR L’IMAGE

Depuis la fin du XIXe siècle, la presse illustrée a été une force motrice déterminante pour la circulation des images. Cette culture visuelle a diffusé dans son sillage des représentations anciennes comme nouvelles, touchant des publics élargis et inspirant les artistes. Que peut-on dire de la mondialisation par l’image au XXe siècle ? S’il semble aisé d’étudier la rencontre et le métissage de quelques images, comprendre les circulations visuelles à grande échelle est bien plus complexe. C’est le défi du projet Visual Contagions, mené par la chaire des humanités numériques de l’UNIGE.1

Visual Contagions tire parti de la disponibilité numérique sans précédent de revues illustrées, numérisées par des archives, des bibliothèques et des musées du monde entier. L’équipe a déployé un corpus de plus de 4000 périodiques publiés de 1890 à 1990 dans plus de 120 pays, plus de 1200 villes, disponibles numériquement sous des formats ouverts et interopérables (IIIF). Le corpus demeure essentiellement nord-atlantique car il dépend de la géopolitique mondiale de numérisation des sources imprimées. Le projet travaille donc à étendre ses sources à des régions moins représentées (Amérique latine, Afrique, Asie). Pourtant, il demeure à ce jour plus large et représentatif que ce qu’a étudié la bibliographie disponible sur la circulation mondiale des images, où domine le cas par cas.

Des algorithmes, qu’on appelle couramment la « vision artificielle », permettent d’extraire les illustrations de chaque page de revue – presque 7 millions d’images ont déjà été analysées à ce jour. Les illustrations sont regroupées en lots d’images, rassemblées par proximité visuelle. Chaque image est accompagnée par ses métadonnées : le titre de la revue, une date et un lieu de publication. Aussi est-il possible de suivre les lots d’images similaires dans l’espace et le temps.

Faisant l’hypothèse que la reproduction successive d’une même image (ou d’images similaires) donne des indices sur la diffusion de l’image, de motifs, de sujets figuratifs et parfois de styles, l’étude statistique permet de mettre en route une analyse à plusieurs échelles de la circulation mondiale des images imprimées. Nos premiers résultats ont été présentés dans une exposition virtuelle pour la plateforme Europeana, intitulée Les images qui ont fait l’Europe2 . Par ailleurs, le musée du Jeu de Paume à Paris nous a sollicités en 2022 pour concevoir une exposition en ligne sur son Espace de Création numérique3 .

Le projet Visual Contagions met en lumière des logiques sociales, économiques, marchandes, techniques et politiques dans les circulations visuelles. Ces travaux invitent à une histoire riche et complexe de la géopolitique mondiale des images, où les périphéries ont leur place, tout en montrant que la mondialisation reste une histoire d’élites.

Le projet est aussi l’occasion d’une réflexion sur la circulation contemporaine des images, et sur les orientations vers lesquelles nous poussent nos méthodes, notamment l’utilisation d’algorithmes d’intelligence artificielle. L’équipe y travaille depuis 2021 avec des artistes contemporains (Marie-José Burki, Benoît Chattaway, Grégory Chatonsky), des critiques d’art (David Zerbib, Anne-Laure Oberson), et de jeunes artistes des Beaux-Arts et des Arts décoratifs (Paris), de la HEAD (Genève), de l’ECAL (Lausanne) et la ZHDK (Zurich). Plusieurs créations numériques et analogiques ont été et vont être réalisées, mises en valeur lors d’expositions numériques et concrètes.

BJP

Plusieurs images de papillons imprimés dans des périodiques illustrés montrant la circulation de "Deux mites et six insectes" de Wenzel Hollar sur Explore

Circulation de "Deux mites et six insectes" de Wenzel Hollar sur la plateforme Explore développée par le projet FNS Visual Contagions (Université de Genève). Pour découvrir Explore : visualcontagions.unige.ch/explore/

Notes

  • 1.
    Avec le soutien du Fonds national suisse pour la recherche scientifique (2021-2024). Le projet fut mis en route à l’École normale supérieure de Paris, avec un premier soutien de l’Europe en 2019-2022, dans le cadre du centre Imago dirigé par B. Joyeux-Prunel depuis l’UNIGE. visualcontagions.unige.ch.
  • 2.
    https://www.europeana.eu/en/exhibitions/the-images-
    that-shaped-europe
  • 3.
    https://jeudepaume.org/evenement/contagions-visuelles/

Nous serions ravis de vous entendre

N'hésitez pas à nous contacter si vous avez des idées sur cet article.