Une image vaut mille mots / A picture is worth a thousand words
Machines reveal our biased worldviews.
Machines reveal our biased worldviews. This series highlights the existence of reductive representations of women and the lack of representation of art in a famous dataset designed to train artificial intelligences.
I asked an artificial intelligence model to caption old photographs from the collections of the Carnavalet Museum (the Museum of the History of Paris, probably my favorite museum) and put online in Open Content by Paris Musées.
What is fascinating about archives is that they offer different levels of reading depending on our level of knowledge and our reference frames. Almost any Parisian is able to recognize the Vendôme Column or know that no train is passing on the Pont Neuf. As for the other characters in this series, we can describe them all physically without being wrong and the most expert among us may even be able to name them.
Faced with these images, the legends proposed by this artificial intelligence model implicitly reveal to us the narrowness of its reference frames.
Perhaps the most striking constant is the biased reading of the human gender offered by this artificial intelligence. All the female characters are identified as men carrying out activities ... Except that of a man wearing a traditional costume that could be taken for a dress and who is identified as a woman holding a teddy bear.
Sports activities thus seem to be assimilated to masculine activities and the act of posing in dress to feminine activity. This type of bias is notorious in this kind of machine learning model (see 'Woman also Snowboard: Overcoming Bias in Captioning Models'.).
We then see the universe in which this artificial intelligence model was trained: a universe without musical instruments, without sculptures and where sport seems omnipresent. And the consultation of this dataset confirms this impression: art in all its forms is literally absent from the 'labels' that were used to describe images. It is therefore through the glasses of a world in which art would be absent that this artificial intelligence identified these images, seeking to replace artistic elements like the violin with what it knew as here a baseball bat.
The perception of artificial intelligence is ultimately, like human perception, influenced by its knowledge, its experiences and the readings which it allows it to make of the reality with which it is confronted. Neither human nor machine can identify a violin without having seen it before. In both cases, perhaps the key is to be open-minded or rather the data set regarding the machine.
Les machines sont le révélateur de nos visions biaisées du monde.
Cette série met à jour l’existence de représentations réductrices des femmes et l’absence de représentation de l’art dans un célèbre jeu de données conçu pour entraîner des intelligences artificielles.
J’ai demandé à une intelligence artificielle de légender des photographies anciennes issues des collections du Musée Carnavalet (le musée de l’Histoire de Paris, probablement mon musée préféré) et mises en ligne en Open Content par Paris Musées.
Les archives ont cela de fascinant qu’elles proposent différents niveaux de lecture en fonction de notre niveau de connaissance et de nos cadres de référence. N’importe quel parisien est à peu près en mesure de reconnaître la Colonne Vendôme ou de savoir qu’aucun train ne passe sur le Pont Neuf. En ce qui concerne les autres personnages de cette série, nous pouvons tous les décrire physiquement sans nous tromper et les plus experts d’entre nous pourront peut-être même les nommer.
Face à ces images, les légendes proposées par l’intelligence artificielle nous révèlent implicitement l’étroitesse de ses cadres de référence.
Le constant le plus frappant est peut-être la lecture biaisée du genre humain que propose cette intelligence artificielle. Tous les personnages féminins sont identifiés comme des hommes réalisant des activités… Hormis celui d’un homme portant un costume que l’on pourrait prendre pour une robe et qui est identifié comme une femme tenant un ours en peluche.
Les activités sportives semblent ainsi assimilées à des activités masculines et le fait de poser en robe à une activité féminine. Ce type de biais est tristement célèbre chez ce type de modèle d’intelligence artificielle (voir à ce propos « Woman also Snowboard : Overcoming Bias in Captioning Models ».).
On s’aperçoit ensuite de l’univers dans le cadre cette intelligence a été entraîné : un univers sans instruments de musique, sans sculptures et où le sport semble omniprésent. Et la consultation de ce jeu de données confirme cette impression : l’art dans toutes ses formes est littéralement absent des « étiquettes » qui ont servies à labelliser ce jeu de données. C’est donc à travers les lunettes d’un monde dans lequel l’art serait absent que cette intelligence artificielle a identifié ces images, en cherchant à remplacer des éléments artistiques comme le violon par ce qu’elle connaissait comme ici une batte de baseball.
La perception de l’intelligence artificielle est finalement, comme la perception humaine, influencée par ses connaissances, ses expériences et les lectures qu’elles lui permettent de faire de la réalité à laquelle elle est confrontée. Ni humain ni machine ne peuvent identifier un violon sans en avoir vu auparavant. Dans les deux cas, peut-être que la clé
réside alors dans l’ouverture d’esprit ou plutôt du jeu de données en ce qui concerne la machine.
