Le mot d'introduction
J’ai eu une discussion récente à propos de la dataviz mais sans la partie viz !! Comment créer des “visualisations” pour mal/non-voyants. Sans parler de l’ouïe qui pourrait être un support, comment découvrir avec ses doigts des données. Il y a bien sûr le Braille qui peut révéler une légende ou des nombres, mais pourquoi ne pas imaginer des diagrammes en barres en relief permettant de rendre compte des proportions entre variables ? La règle de commencer à zéro les barres s’applique toujours. Pas de couleurs bien sûr, mais pourquoi ne pas imaginer des cartes en 3D encodant pour chaque position X et Y, une donnée Z en “relief” ? En y réfléchissant davantage je me demande si chaque dataviz ne devrait être préalablement critiquée en fonction de cette question : “Et si l’auditoire était aveugle ?”
Ce mois-ci un meetup très Python/dataviz animé par un membre actif de TDV. Venez, vous allez découvrir les librairies qui rendent paresseux et puissant le datavizer python.
Visualisations génériques avec Python
Meetup Jeudi 23 Novembre 2023 à l'étincelle Alsace Lorraine - 19h
Plongez avec Vincent dans l’univers des visualisations de données avec Python ! Découvrez les secrets pour créer des graphiques époustouflants et interactifs. Cette présentation vous révélera des librairies essentielles pour réaliser des graphiques de qualité en peu de temps. Rejoignez-nous pour une immersion visuelle captivante ! 📊🚀
Vincent Roger a un doctorat en informatique (apprentissage automatique et technologies de réseaux neuronaux). Il travaille sur les signaux audio (parole, bruit, environnementaux et musique) et programme en Python. Il est passionné de logiciels libres et fait partie des équipes d’animation des associations Toulouse DataViz et Toulouse DataScience. Vincent réalise des visualisations de données dans le cadre de ses activités professionnelles mais aussi pour son plaisir.
Les rugbymen sont devenus des géants ?
La taille et l’envergure impressionnante des rugbymen ne vous ont sans doute pas échappé lors des premiers matchs de la Coupe du monde qui se joue actuellement en France. En 1995, le poids moyen des joueurs du XV de France pendant la Coupe du monde était de 96 kilos, aujourd'hui, il est de 104 kg.
L’INA a réalisé à partir de ses archives, une rétrospective de l’évolution du gabarit des joueurs depuis la professionnalisation du rugby en 1995.
Sur le même sujet, Libération proposait en 2015 une dataviz dynamique où est comparée l'évolution du poids des joueurs de rugby entre 1995 et 2015 selon les différents postes de jeu.
L'histoire de l’IA en un seul graphique ?
La sortie de ChatGPT en novembre dernier a fait exploser le débat autour du dépassement de l’intelligence artificielle des capacités humaines. Pour éclairer ce débat, il est important de distinguer les différents domaines de compétence qui peuvent caractériser l’intelligence humaine, par exemple : la reconnaissance d’image , la compréhension de texte ou la compréhension du langage naturel. Sur certains de ces domaines de compétence, l’IA a largement dépassé les performances humaines, plusieurs années avant la sortie de ChatGPT.
Voici deux data visualisations instructives et simples qui permettent de raconter cette impressionnante histoire de l’IA. On y voit par exemple l'ascension quasi-exponentielle de la capacité de l’IA entre 2020 et 2023 dans le domaine de “Common sense completion“ grâce entre autre aux développement des LLM, la technologie derrière ChatGPT.
.png?table=block&id=0d068086-4da1-486c-b3cd-624c0c24b964&cache=v2)
Barbie vs Oppenheimer ?
L’été dernier, la compétition entre les deux films américains Barbie et Oppenheimer était à son maximum. Des gens se sont amusés à comparer la carte électorale de 2020 avec la carte affichant les films les plus populaires dans chaque état américain. Le résultat est curieux et incite à la réflexion. Causalité ou corrélation ?
Carte de points et esclaves
Graphique extrait du livre “Graphic Presentation” de William Cope Brinton” de 1939.
La carte date probablement des années 1930.
Chaque petit point représente 200 esclaves !
“L'utilisation de ces deux cartes dans une leçon d'histoire clarifierait et simplifierait le problème des esclaves de 1860. Ce matériel sous forme de tableaux ou verbal serait formidable.”
Le recensement des États-Unis de 1790 a été le premier recensement de la population des États-Unis, lancé le 2 août 1790. Le pays comptait alors 3 929 214 habitants dont 697 681 esclaves.
Le recensement des États-Unis de 1860 a été le 8ᵉ recensement de la population américaine. Il a été lancé en 1860 le 1ᵉʳ juin et dura cinq mois. Il a dénombré la population des États-Unis à 31 443 321 habitants dont 3 953 761 esclaves dans 33 États et 10 territoires organisés. Cela a représenté une augmentation de 35,6 % de la population par rapport aux 23 191 876 habitants recensés en 1850.
Du Python dans Excel
Faire de la dataviz dans le cloud, une révolution ? Pas vraiment… depuis ObservableHQ pour les férus de JavaScript en passant par Tableau ou Power BI, tous ces outils permettent d’ouvrir la dataviz aux plus grands nombres en leur évitant une installation fastidieuse de logiciels… Cela au prix de concessions sur les performances (les allers-retours sur Internet) et sur la propriété du logiciel (dans le cloud, personne ne vous entendra crier… quand une fonctionnalité devient soudainement payante).
Python dans Excel est une fonctionnalité actuellement en préversion pour utiliser Python dans le tableur de Microsoft, pour le nettoyage, l’analyse et la visualisation de données. Ainsi, ces bibliothèques Open Source sont incluses : pandas, seaborn et statsmodels, matplotlib et numpy et il est possible d’importer des bibliothèques supplémentaires disponibles via Anaconda.
Python dans Excel n’est pas encore disponible pour tous les utilisateurs de Microsoft 365 (la suite bureautique de Microsoft sur le cloud) : c’est Microsoft qui valide l’exécution de Python dans des conteneurs cloud isolés.
Chez Toulouse DataViz, une des premières choses que l’on fait quand on découvre un jeu de données, c’est de l’ouvrir dans un tableur (Libre Office) et ensuite de le manipuler avec Pandas. Alors, mettre Pandas dans Excel, pourquoi pas ?
IA Observable
Il faut un compte Observable Pro pour profiter d’un quota gratuit pour essayer AI assist. Après il faut acheter à Open AI des recharges. 10$ suffisent à bien s’amuser.
On va commencer par importer un jeu de données. Mettons les balances des Régions : voir https://observablehq.com/@aotten/balances-des-regions
Appliquons lui une premiere demande en anglais
Convert each field name of D into small cap and each value in number whenever possible. Remove entries when EXER = “2019”
Réponse →
D = D.filter(d => d.EXER !== "2019")
.map(d => {
let obj = {};
for (let [key, value] of Object.entries(d)) {
obj[key.toLowerCase()] = isNaN(Number(value)) ? value : Number(value);
}
return obj;
});
Remarquez que contrairement à l’ordre des directives (convertir puis retirer 2019) l’assistant est assez subtil pour optimiser en inversant les traitements. Le = est aussi convenablement convertit en == syntaxe javascript.
Essayons en français
En utilisant Observable Plot trace une ligne montrant l'évolution de "obnetdeb_hab" pour chaque "exer" pour "région" === "Guyane”
Si je suis indulgent et corrige les petites erreurs j’obtiens ceci :
.svg?table=block&id=64b1b459-19ed-42a6-9ca1-68a9a9f5570d&cache=v2)
Bon il ne faut pas se mentir, ce n’est pas l’éblouissement où on se met à genoux et on pleure, mais c’est suffisamment troublant et encourageant pour accepter le terme AI assist. A suivre…
Hackaviz Grand Est
Le prochain Hackaviz de TDV aura lieu au printemps 2024. Pour les impatients en manque de concours, nous pouvons recommander le Concours Data Grand Est qui porte sur des données touristiques de la région Grand Est.
Data Grand Est est une organisation très active dans le domaine des données ouvertes et de leur exploitation notamment sous forme de dataviz. Un Hackaviz est organisé qui commence le 6/11/2023 avec une remise des prix le 13/12/2023 à Strasbourg. Tout le monde peut s’y inscrire :
━━━━━━━━━━━━━━━━━━
Cette newsletter de Toulouse-dataviz a été rédigée avec l'outil Notion que nous aimons bien. Si vous lisez cette newsletter et que vous n'êtes pas encore inscrit au club, il vous suffit de cliquer ici. Pour se désinscrire, demandez ici. Toutes les anciennes newsletters sont consultables ici. Vous pouvez aussi rejoindre nos communautés : Club ou Discord.
Merci à nos sponsors qui soutiennent nos activités.