2016
Sport
NBA
Données et analyses NBA, dont un générateur de fiches PDF par joueur en R Markdown.
→ suite : Shiny Soccer (2016)
Voir le projet →
← Data Workers
Version sombre
Des bancs de l'université aux matchs de football en 3D : des années de curiosité transformée en projets, à côté d'un métier de statisticien, de data scientist puis d'analytics engineer. Voici comment tout se relie.
Des bancs de l'université aux grands instituts : apprendre à faire parler les chiffres avec rigueur, avant de leur donner une forme. Les outils sont déjà là : SAS, SQL, R.
Tout commence par une passion : le sport. Les premières applications Shiny classent les clubs de football, des fiches NBA s'écrivent toutes seules et Twitter devient le premier terrain d'analyse de texte.
Données et analyses NBA, dont un générateur de fiches PDF par joueur en R Markdown.
Application Shiny de statistiques de football (classements, joueurs, budgets) et scripts de récupération.
Analyse de tweets : débat présidentiel de 2017, tweets de Donald Trump, provenance des tweets du Super Bowl 50, et sentiment avec les lexiques NRC.
Les ambitions grandissent : D3.js s'invite dans Shiny, le chômage de chaque commune luxembourgeoise prend place sur une carte, les abonnés des chaînes YouTube du rap français sont relevés jour après jour et les cinq grands championnats sont collectés saison par saison.
Statistiques des joueurs et gardiens des cinq grands championnats, saison par saison (2012-2019), récupérées sur Squawka, avec les calendriers.
Le taux de chômage de chaque commune luxembourgeoise de 2001 à 2015 (STATEC), sur une carte.
Intégration de graphiques D3.js dans des applications Shiny : embauches de travailleurs étrangers, fret, production d'acier.
Relevés quotidiens des abonnés des chaînes YouTube du rap français en 2017.
Les données prennent vie : une course de barres anime les ventes de voitures neuves au Luxembourg, et une carte interactive suit les captures de pêche européennes, zone par zone.
Ventes de voitures neuves au Luxembourg par marque et par trimestre, et une course de barres D3 des marques.
Les captures de pêche des pays européens de 2010 à 2017 par zone de pêche FAO, par pays et par espèce.
Chaque projet part d'une question. Où sont les entreprises luxembourgeoises et que font-elles ? Comment circulent les vélos de Seattle ? Pourquoi une poignée de causes fait-elle l'essentiel des effets ?
Description d'un phénomène de Pareto sur un extrait de données européennes.
Les entreprises luxembourgeoises géolocalisées et classées par activité NACE, avec leur effectif.
Les trajets du vélo en libre-service Pronto à Seattle (2014-2016), avec les stations et la météo.
Voir le projet →Partager devient aussi important que construire : un cours de R complet, en diapositives, voit le jour. Côté projets, le marché immobilier luxembourgeois se cartographie et le réseau d'actionnariat du CAC 40 se dévoile.
Les liens d'actionnariat entre les entreprises du CAC 40, en réseau interactif.
Un cours de R complet en diapositives : bases, import, graphiques, storytelling, R Markdown, highcharter, leaflet, rvest, Shiny.
Collecte et nettoyage des annonces immobilières luxembourgeoises (atHome, immotop, wort) et application de recherche : carte des annonces par commune et tableau filtrable.
Des outils pensés pour servir : une course de barres sur n'importe quel jeu Eurostat, les services de proximité du Luxembourg sur une carte. Et des modèles : le prix des logements, le sentiment des tweets, l'e-commerce brésilien.
Modèle de classification du sentiment de tweets (positif / négatif), entraîné sur le jeu Sentiment140 (1,6 million de tweets).
Voir le projet →Application qui transforme n'importe quel jeu de données Eurostat en course de barres animée avec drapeaux (D3 dans Shiny), ici sur les nuitées touristiques.
Cartes Leaflet des écoles de musique, conservatoires, aires de jeux et points de service de POST Luxembourg.
Modèle des prix immobiliers luxembourgeois à partir des annonces atHome, et explication des variables qui font le prix.
Le jeu de données e-commerce brésilien Olist : commandes, paiements, livraisons.
La collecte s'accélère (restaurants TripAdvisor, produits Colruyt) et les histoires se multiplient : trente ans de commerce extérieur du Luxembourg, les accidents de la route en France, les paniers d'achat, l'enquête Kaggle, la portée des posts LinkedIn.
Les accidents corporels de la circulation en France (fichiers BAAC) : quand, où et dans quelles conditions ils ont lieu.
Analyse de panier d'achat (quels produits sont achetés ensemble) sur les données Olist, en Python.
Exportations et importations de marchandises du Luxembourg par pays partenaire depuis 1993 (Eurostat Comext) : carte de la balance commerciale, évolution par pays et produits échangés.
Petits exemples R et Python reproductibles : simulations, lecture de shapefiles, dates, fichiers Excel multi-onglets.
L'enquête annuelle de Kaggle sur les métiers de la data science et du machine learning.
Nettoyage et analyse de l'export des posts LinkedIn : impressions, interactions, type de contenu, hashtags.
Scraping du catalogue de produits Colruyt (catégories, marques, prix, Nutri-Score).
Scraping des restaurants luxembourgeois sur TripAdvisor : note, nombre d'avis, cuisine et gamme de prix.
Un radar pour mesurer ses compétences face aux métiers de la data, les annonces Airbnb de Paris quartier par quartier, et une question de sport qui fâche : l'argent fait-il le classement ?
Les annonces Airbnb parisiennes (Inside Airbnb, quatre relevés de 2023) : prix, quartiers, types de logement.
Une présentation de R en diapositives reveal.js : R Markdown, highcharter, leaflet, purrr, analyse de texte, rvest.
Chacun note ses compétences de 1 à 10 et se compare aux profils types des métiers de la data (Data Engineer, ML Engineer, Data Scientist, Data Analyst).
Budget, salaires et classement : la NBA (ligue fermée) comparée aux championnats européens de football, pour mesurer à quel point l'argent fait le classement.
Les métriques LinkedIn remontent seules dans Notion, les taux journaliers des freelances se cartographient, et le football revient au premier plan avec les xG et xA des meilleurs joueurs d'Europe.
Récupération des métriques de mes posts LinkedIn (vues, réactions, commentaires) et mise à jour d'un calendrier éditorial dans Notion, avec les outils naas.
Les taux journaliers des freelances IT en France par métier, expérience et région, avec un classeur Tableau et des cartes.
Voir le projet →Récupération des xG et xA des joueurs sur FBref (Ligue des champions et top 5) et graphiques en R : quadrants, sucettes, séries de tirs cadrés.
Une vraie collecte de données de football se construit : FotMob, WhoScored, la Ligue 1 consolidée, une application d'analyse de matchs et des dashboards Tableau sur le Real Madrid.
Données consolidées de Ligue 1 2024-2025 (matchs, joueurs, événements WhoScored) préparées pour une application.
Application Streamlit d'analyse des matchs de LaLiga 2024-2025 à partir de fichiers parquet (matchs, joueurs, événements, métriques), avec un dashboard post-match.
Dashboards Tableau (fichiers .twb) sur les matchs du Real Madrid 2024-2025 : événements, joueurs, valeurs marchandes, avec des fonds de terrain dessinés pour l'occasion.
Notebook qui récupère les données FotMob des matchs : métadonnées, statistiques et chaque tir avec son xG.
Notebooks qui retrouvent les URL des matchs WhoScored et en téléchargent les événements et les joueurs, avec quelques visualisations.
Tout s'assemble : un entrepôt de données (MotherDuck, dbt), des matchs en 3D, le parcours des tirs, Transfermarkt, le Ballon d'Or, Luxembourg en 3D et un podcast quotidien, publiés sur data-workers.com.
La fabrication automatique du podcast quotidien de Data Workers : chaque jour ouvré, l'actualité finance et tech reçue par e-mail est filtrée, résumée, mise en voix (ElevenLabs) et publiée dans un flux repris par Apple Podcasts et Spotify.
Une vidéo de data storytelling sur les championnats des joueurs classés au Ballon d'Or depuis 1976.
Cinquante saisons de championnat de France, d'Angleterre et d'Espagne, de Ligue des champions et de NBA sur une carte interactive.
Les 23 373 bâtiments de la ville de Luxembourg en 3D, extrudés à leur hauteur et colorés par année de construction, avec l'histoire de la ville et de ceux qui l'ont gouvernée.
Sankey « Shot Flow » des tirs d'un joueur : zone → situation → surface de frappe → résultat, puis passeur, façon de marquer et phase du but.
Chaque ligne suit un thème d'année en année : le football, de la première application Shiny à la plateforme de données ; le Luxembourg, des cartes du chômage à la ville en 3D. Un point est un projet : survolez-le ou touchez-le pour le retrouver dans l'histoire.