Bonjour et bienvenu à toi dans le premier cours francophone d’intro à Airflow sur Udemy. Ensemble, on découvrira l’API TaskFlow récemment introduit.

On verra aussi comment:

• Lancer et arrêter Airflow sur son propre ordinateur en utilisant Docker et Docker compose

• Créer des DAGs sous Airflow

• Utiliser l’opérateur EmptyOperator

• Utiliser le décorateur @task pour créer une opération Airflow

• Utiliser l’interface de Airflow pour exécuter un DAG et voir l’état d’avancement des task

• Ajouter des dépendances à notre environnement Airflow

Le programme du cours

Le DAG que l’on construira ensemble consistera en 5 opérations:

1. 2 opérations qui nous permettront de marquer le début et la fin du DAG

2. 1 opération pour télécharger les données de l’API publique de Opensky Network. Cette API nous donne des données sur les avions actuellement en vol autour du monde!

3. 1 opération pour stocker les données de l’API dans DuckDB, une base de données analytics que l’on peut installer sur son ordinateur

En chemin, on apprendra ce que sont les décorateurs dans Python et leur utilité, comment utiliser Docker, comment utiliser DuckDB et plein d’autres choses!

Les pré-requis:

Ce cours requiert que vous ayez une familiarité avec Python et SQL.  Il vous sera utile aussi d’être familiers avec l’invite de commande sur Windows ou le terminal sur Linux ou Mac OS, même si je pense que vous pourrez vous en sortir avec les explications que je donne dans ce cours.

Pour qui?

Ce cours s’adresse particulièrement à celles et ceux qui veulent se lancer dans une carrière de Data Engineer ou Analytics Engineer. Il vous donnera une première expérience (assez complète) de Airflow et comment l’utiliser.

Pourquoi est-ce une introduction à Airflow?

Ce cours est une simple introduction à Airflow et n’aborde pas plusieurs concepts importants tels que la planification des DAGs, les capteurs, les task_group, les connexions, XCOM, les best practices…etc

Et si je voulais aller plus loin?

Si vous voulez aller plus loin dans votre apprentissage de Airflow, je vous recommanderais la plateforme Ada-Study que j’ai créée avec Christophe Hoarau et Vincent Cornelius. Sur cette plateforme, on reprend ce cours de 0 et on va jusqu’au bout, de telle sorte à ce que vous puissiez demain écrire des DAGs Airflow efficaces, robustes sans consommer trop de ressources.

Sur cette plateforme nous avons aussi publié d’autres cours tel que DBT, Git, Tableau, SQL, Python, Snowflake, Big Query… bref tout l’arsenal dont vous pouvez avoir besoin pour devenir Analytics Engineer.

Comment nous contacter?

Sous la première vidéo du cours, nous vous laisserons un lien vers notre serveur Discord, totalement gratuit.

Who this course is for:

• Toute personne voulant avoir une première expérience avec Airflow
• Toute personne aspirant à devenir data ingénieur ou analytics engineer