Newsletter - Toulouse DataViz - Hackaviz #33

Le mot d'introduction

HACKAVIZ 2024

Racontez une histoire avec des graphiques, à partir d’un jeu de données inédit, seul ou en équipe. À partir du moment où les données sont mises à disposition, les candidats ont 10 jours pour rendre leur création.

• Date de mise à disposition des données : vendredi 8 mars 2024

• Date limite de remise des contributions : lundi 18 mars 2024

• Hackaviz Party - Présentation des réalisations et remise des prix : jeudi 4 avril 2024

Informations ici

Inscription ici

 

Guide de la dataviz

Après une première édition en juin 2023, notre guide interactif de la datavisualisation s’est enrichi de six nouvelles rubriques.

A la découverte de DuckDB

Lors de notre dernier meetup, nous avons eu le plaisir de plonger dans l'univers de DuckDB grâce à la présentation éclairante d'Eric Mauvière (le lien du replay). DuckDB permet d’exploiter facilement des données ouvertes de manière performante.

 

 

L'intervention d'Eric nous a poussé à expérimenter rapidement les capacités de DuckDB à partir de ses démonstrations. Je voulais identifier la liste des restaurants autour de chez moi. J’ai utilisé le fichier SIREN des entreprises avec leur géolocalisation. Ce fichier de 1 Go et 15 millions de lignes, disponible sur le site data.gouv.fr, peut être interrogé rapidement grâce à DuckDB : seules les données filtrées par ma requête ont été récupérées sur mon ordinateur. Ceci n’est toutefois possible qu’avec des données stockées au format “.parquet”, vous ne vous étonnerez donc pas de voir de plus en plus de fichiers open data proposés dans ce format.

• Flexibilité et performance : DuckDB est capable de traiter une requête sur un fichier distant de 1Go en quelques secondes seulement. De plus, il est possible d’explorer les données sans les télécharger intégralement, ce qui permet d’accélérer le processus d’analyse en limitant l’utilisation d’outils gourmands en espace et en ressources.

• Compatibilité étendue : Que ce soit en termes de format de données (JSON, Parquet, CSV, Polars, Arrow, etc.) ou de langage de programmation (Python, R, JavaScript…) ou d’outils (Quarto).

• Facilité d’utilisation : Facile à installer : à l’instar de SQLite, DuckDB est un simple exécutable, il n’est pas nécessaire d’installer un couple client/serveur. Facile à utiliser : les requêtes s'appuient sur le bon vieux langage SQL.

Observable 2.0

 

 

Cette annonce s’est accompagnée d’un changement dans la tarification. Pour faire court :

• ObservableHQ devient gratuit jusqu’à un maximum 5 utilisateurs qui collaborent et pour 1 projet hébergé (hébergement supplémentaire à faire soi même)

• 300 $ pour 10 utilisateurs, hébergement illimité

Cela est très éloigné du précédent modèle de prix, qui était beaucoup plus onéreux pour les petites équipes : bonne ou inquiétante nouvelle ?

 

Observable Framework ou Observable 2.0 vient de sortir sur GitHub. Gratuit et Open Source, c’est un environnement confortable pour créer des tableaux de bord ou des rapports en Markdown, SQL, Python, R ou JavaScript.

Pour rappel, les bloc-notes ObservableHQ permettent de concevoir rapidement, de manière collaborative, une visualisation directement sur le site web ObservableHQ. Observable Framework se place en aval, là où la visualisation sous forme de bloc-note laisserait sa place à une application plus complète utilisant cette visualisation.

Le développement ne se fait plus alors sur le cloud d’ObservableHQ, mais dans votre propre environnement de développement web local. Tout l’écosystème ObservableHQ est là (Plot) ainsi que des librairies tierces : DuckDB, Arrow, Arquero, Vega Lite, Graphviz, Leaflet et Mermaid. Cerise sur le gâteau, le site web généré est statique, ce qui permet de l’héberger simplement et à moindre coût, par exemple sur Github Pages.

Observable Framework s’adresse donc avant tout aux développeurs : il faut utiliser le terminal et la ligne de commandes, mais rien de vraiment compliqué. Le guide de démarrage explique pas à pas les étapes à suivre. À recommander pour ceux qui voudraient proposer une visualisation sur le web sans se tracasser avec des librairies comme Nextjs, Gatsby ou React.

 

Le billet du Japon: @Fukushima et ses données

Le nom de Fukushima restera, pour toujours, associé à cette terrible catastrophe survenue dans les jours qui ont suivi le terrible tremblement de terre de magnitude 9.0, le 11 mars 2011. La ville de Fukushima, qui donne le nom à la province environnante, est assez éloignée (80 km) de la centrale atomique de Daiichi, située, elle, au bord de la mer, à 200 km au nord de Tokyo.

Depuis, un incroyable travail de décontamination - les Japonais parlent de “reconstruction” - est en cours. J’ai pu participer à une visite et me suis rendu compte sur place de l’importance de la représentation physique de données (data physicalization).

 

En voici un exemple avec la représentation des niveaux de radioactivité avant, pendant et après l’accident nucléaire. Si l’unité de mesure de la radioactivité est le becquerel (Bq), le micro sievert par heure (µSv/h) mesure l’impact du rayonnement sur le vivant. Rien de plus abstrait à représenter. L’exercice de physicalisation sous forme de billes, que l’on assimile facilement à des atomes, est ici parfaitement réalisé. On visualise bien la différence entre 2.74 µSv/h (2011) et 0.12 µSv/h (2021).  

 

Moins précise, une carte tente de représenter le nombre de personnes évacuées (en vert) et leur destination (en bleu). Le nombre de personnes est représenté sous forme de figurine en trois dimensions. On se rend compte de l’exode massif qu’a connu Fukushima et de l’accueil assez bien réparti sur le territoire. Toutefois, la 3D ici ne permet pas de visualiser facilement la différence entre 102 827 évacués de Fukushima et 26 081 accueils dans la région de Tokyo.

 

 

Ce qui m’a le plus frappé, ce sont ces sacs de gravats. Ils sont remplis inlassablement d’un mètre cube de terre faiblement contaminée (0.04µSv/h) et sont entreposés provisoirement dans une zone immense - appelée pudiquement «difficult-to-return zone». Zone que plus personne ne peut habiter – et que nous avons visitée.  Si la question de l’élimination de cette terre par dilution dans tout le pays reste un sujet politique sensible au Japon (voir ici), la vision de ces champs recouverts de tous ces sacs m’a particulièrement frappée.

 

Twelve years after 3/11, dispute grows over Fukushima’s radioactive soil

The central government has pledged to — and is legally obliged to — move all of the soil out of Fukushima Prefecture by 2045.

https://www.japantimes.co.jp/news/2023/03/10/national/dispute-fukushima-radioactive-soil/

Moi qui ai manipulé des données toute ma vie, je venais de comprendre la signification de “millions de m³”. La représentation des grandeurs avec un nombre a ses limites : il faut parfois voir les objets, tels ces sacs déversés jour après jour, pour se rendre compte de la taille et de l’impact du fardeau laissé pour les générations à venir.