Microsoft Azure Databricks

Lors de l'évènement Datavore 2018 à Montréal, j'ai participé à l'animation d'un atelier sur Azure Databricks. Cet article reprend les différentes étapes de l'atelier que j'ai délivré.

Présentation d'Azure Databricks

Azure Databricks est une plateforme collaborative de données massives et d'apprentissage automatique, qui s'adapte automatiquement à vos besoins. Ce nouveau service Azure consiste en une plateforme d'analyse basée sur Apache Spark et optimisée pour la plateforme de services infonuagiques Azure. Azure Databricks comprend l'ensemble des technologies et des fonctionnalités libres de mise en grappe d'Apache Spark. En outre, grâce à notre nouvelle solution, vous serez en mesure de gérer facilement et en toute sécurité des charges de travail telles que l'intelligence artificielle, l'analyse prédictive ou l'analyse en temps réel.

Atelier

Cet atelier est constitué de 2 grandes parties

Partie 1 : configuration de l'environnement Azure

Partie 2 : utilisation de Databricks

• Atelier : Data Engineering avec Databricks

Partie 1 : configuration de l'environnement Azure

Création d'un groupe de ressources

Un groupe de ressources est un groupement logique de vos ressources Azure afin d'en faciliter la gestion. Toutes les ressources Azure doivent appartenir à un groupe de ressources.

Portail Azure : https://portal.azure.com

Depuis le portail Azure, cliquez sur « Resource groups » puis sur le bouton « Add »

Renseignez les informations de votre groupe de ressources.

Pour ce laboratoire, choisissez la région « East US 2 ». Cliquez sur le bouton « Create »

Une fois le groupe de ressources créé, une notification apparait en haut à droite de l'écran. Cliquez sur « Go to resource group ».

Votre groupe de ressources est créé et prêt à être utilisé.

Création d'un compte de stockage

Un compte de stockage Azure est un service cloud qui fournit un stockage hautement disponible, sécurisé, durable, évolutif et redondant. Le stockage Azure se compose du stockage d'objets blob, du stockage de fichiers et du stockage de files d'attente. Pour notre laboratoire, nous allons utiliser le stockage d'objets blob. Pour plus d'informations sur le stockage Azure, vous pouvez consulter cet article : /fr-fr/azure/storage/

Pour comprendre un peu le concept, un compte de stockage peut contenir un ou plusieurs containeurs qui eux-mêmes vont contenir les blobs (dossiers et fichiers)

Le compte de stockage peut être crée de la même manière que le groupe de ressources, via le portail. Mais il est possible aussi d'utiliser le « Cloud shell » intégré au portail. C'est ce que nous allons faire ci-dessous.

En haut du portail Azure, cliquez sur l'icône « Cloud shell ».

Le « Cloud shell » va s'ouvrir en bas de l'écran. Cliquez sur « Bash (Linux) »

Si c'est la première fois que vous exécutez le « Cloud shell », la fenêtre suivante va apparaître. Choisissez votre abonnement Azure, puis cliquez sur « Create storage ».

Une fois paramétré, le « Cloud shell » est prêt à être utilisé.

La création d'un compte de stockage peut se faire avec la commande suivante :

az storage account create --name <yourStorageAccount> --resource-group <yourResourceGroup> --location eastus2 --sku Standard_LRS

Dans le cas de cet exemple, voici la ligne de commande correspondante :

az storage account create --name datavorestorage --resource-group datavore --location eastus2 --sku Standard_LRS

Au bout de quelques secondes le compte de stockage est créé. Cliquez sur le bouton « refresh »de votre groupe de ressources. Votre compte de stockage doit alors apparaître.

Si vous cliquez sur votre compte de stockage, vous accéderez alors aux différentes fonctions et propriétés du compte de stockage. Notamment pour retrouver les informations de connexions en cliquant sur « Access Key ».

Maintenant que le compte de stockage est disponible, nous allons créer les containeurs pour y stocker nos différents fichiers.

Avant de pouvoir créer les containeurs, il faut pouvoir accéder au compte de stockage. Pour cela, il faut récupérer les clefs d'accès au compte. Ci-dessous une commande permettant de récupérer les clefs.

az storage account keys list --account-name <yourStorageAccount > --resource-group <yourResourceGroup> --output table

Dans notre exemple, voici la commande utilisée

az storage account keys list --account-name datavorestorage --resource-group datavore --output table

Copiez une des 2 clefs puis exportez les informations de votre compte de stockage

export AZURE_STORAGE_ACCOUNT="<YourStorageAccount>"

export AZURE_STORAGE_ACCESS_KEY="<YourKey>"

Voici les lignes de commande concernant notre laboratoire

export AZURE_STORAGE_ACCOUNT="datavorestorage"

export AZURE_STORAGE_ACCESS_KEY=" yqwBdGRgCW0LWdEuRwGdnxKPit+zXNrrVOxXQy57wq6oHmCSy2NnoA3Pr9E4pMgJPwcVeg8uQt1Uzk5YAWntiw=="

Création des containeurs

az storage container create --name nyctaxi-consumption
az storage container create --name nyctaxi-curated
az storage container create --name nyctaxi-demo
az storage container create --name nyctaxi-raw
az storage container create --name nyctaxi-ref-data
az storage container create --name nyctaxi-staging
az storage container create --name nyctaxi-scratch

Pour vérifier la création de vos containers, depuis le portail Azure, cliquez sur votre stockage Azure

Dans la vue « Overview », cliquez sur « Blobs »

Vous devez retrouver les containeurs créés précédemment

Copie des fichiers pour le laboratoire

Données de références

Les fichiers sont stockés sur un de nos comptes de stockage. Ne modifiez surtout pas la clef ci-dessous.

Exécutez ce script dans le « Cloud Shell »

export SRC_STORAGE_ACCOUNT="franmerstore"

export SRC_STORAGE_ACCESS_KEY="eSSFOUVLg4gB3iSxuFVh/lDVoMeQHCqVj67xHdaYcPYoMSUqFuD+E2OeDhY4wRZCEF97nCRGOV0i7WJDyoOd7g=="

Puis la commande suivante :

azcopy --source https://franmerstore.blob.core.windows.net/nyctaxi-staging/reference-data/ --destination https:// <YourStorageAccount>.blob.core.windows.net/nyctaxi-staging/reference-data/ --source-key $SRC_STORAGE_ACCESS_KEY --dest-key $AZURE_STORAGE_ACCESS_KEY --sync-copy ––recursive

Dans notre exemple, voici la commande à exécuter avec le compte de stockage utilisé dans cet exemple :

azcopy --source https://franmerstore.blob.core.windows.net/nyctaxi-staging/reference-data/ --destination https://datavorestorage.blob.core.windows.net/nyctaxi-staging/reference-data/ --source-key $SRC_STORAGE_ACCESS_KEY --dest-key $AZURE_STORAGE_ACCESS_KEY --sync-copy --recursive

Copie des données transactionnelles

Pour ce laboratoire, nous allons prendre juste un sous-ensemble des données. Si vous souhaitez récupérer l'ensemble des données référez-vous à l'index en fin de document (cela prendra au moins 2h).

Pour ce laboratoire, nous allons travailler uniquement sur l'année 2017, mais rien ne vous empêchera par la suite de réexécuter les scripts en changeant simplement l'année

Voici les scripts pour copier les données transactionnelles :

azcopy
--source https://franmerstore.blob.core.windows.net/nyctaxi-staging/transactional-data/year=2017/ --destination https://<YourStorageAccount>.blob.core.windows.net/nyctaxi-staging/transactional-data/year=2017/ --source-key $SRC_STORAGE_ACCESS_KEY --dest-key $AZURE_STORAGE_ACCESS_KEY --sync-copy
--recursive

Dans notre exemple, nous aurons donc :

azcopy
--source https://franmerstore.blob.core.windows.net/nyctaxi-staging/transactional-data/year=2017/ --destination https://datavorestorage.blob.core.windows.net/nyctaxi-staging/transactional-data/year=2017/ --source-key $SRC_STORAGE_ACCESS_KEY --dest-key $AZURE_STORAGE_ACCESS_KEY --sync-copy
--recursive

Pour vérifier les données, vous pouvez exécuter la commande suivante :

az storage blob list
--container-name nyctaxi-staging --output table

Création d'une base Azure SQL Database

Depuis le portail Azure, cliquez sur «  + Create a resource », « Database » puis sur « SQL database »

Puis renseignez les valeurs pour votre base de données

Il se peut que vous soyez obligé de créer un serveur SQL.

Cliquez sur « Configure required settings », « Create a new server ».

Renseignez les informations du server SQL. Souvenez-vous bien du mot de passe !

Cliquez sur « Select ».

Continuez à renseigner les informations de votre de base de données puis cliquez sur « Create »

Création des tables SQL

Depuis le portail Azure, cliquez sur votre base de données fraichement créée.

Cliquez sur « Query editor », puis sur « Login »

Entrez vos informations de connexion, puis cliquez sur « Ok ».

Création des tables

Depuis le portail Azure, copier le script T-SQL ci-dessous dans l'éditeur, puis cliquez sur « Run »

DROP TABLE IF EXISTS TRIPS_BY_YEAR;

CREATE TABLE TRIPS_BY_YEAR (

TAXI_TYPE VARCHAR(10),

TRIP_YEAR INT,

TRIP_COUNT BIGINT

);

Répétez l'opération pour les 2 tables suivantes

DROP TABLE IF EXISTS TRIPS_BY_HOUR;

CREATE TABLE TRIPS_BY_HOUR (

TAXI_TYPE VARCHAR(10),

TRIP_YEAR INT,

TRIP_HOUR INT,

TRIP_COUNT BIGINT

);

 

DROP TABLE IF EXISTS BATCH_JOB_HISTORY;

CREATE TABLE BATCH_JOB_HISTORY

(

batch_id int,

batch_step_id int,

batch_step_description varchar(50),

batch_step_status varchar(10),

batch_step_time varchar(25)

);

ALTER TABLE BATCH_JOB_HISTORY

ADD CONSTRAINT batch_step_time_def

DEFAULT CURRENT_TIMESTAMP FOR batch_step_time;

Vous devez voir vos tables depuis le portail Azure

Création d'une ressource Azure Databricks

Depuis le portail Azure, cliquez sur «  + Create a resource », « Data + Analytics » puis « Azure Databricks ».

Renseignez les informations de votre « workspace » . Placez le bien dans votre ressource groupe. Sélectionnez la région « East US 2 ».

Cliquez sur « Create ».

Après la création de votre espace de travail Databricks, votre groupe de ressources doit contenir les ressources suivantes :

Provisionnez un cluster et commencez les analyses

Cliquez sur votre ressource Databricks

Puis sur le bouton « Launch Workspace ».

Votre infrastructure Azure est prête. Vous pouvez commencer l'analyse de vos données avec Databricks

Partie 2 : utilisation de Databricks

Atelier : Data Engineering avec Databricks

Création du cluster

Une fois dans l'espace de travail Databricks, sur la gauche, cliquez sur « Clusters », puis sur « Create Cluster »

Voici les paramètres du cluster à utiliser :

• Databricks Runtime Version : 4
• Python version : 3
• Worker Type : Standard_DS13_v2
• Spark Config : spark.hadoop.fs.azure.account.key.<yourStorageAccount>.blob.core.windows.net <yourKey>

Ci-dessous l'exemple de configuration pour l'atelier 2.

Cliquez sur « Create cluster »

Après quelques minutes, votre cluster est prêt

Notebooks

Sur la gauche de l'écran, cliquez sur « Workspace », puis « Users ».

A droite de votre alias, cliquez sur la flèche puis sur « Import »

Dans la fenêtre « Import Notebooks », cliquez sur « URL » puis copiez l'adresse ci-dessous

https://franmerstorage.blob.core.windows.net/databricks/Notebooks/nyc-taxi-workshop.dbc

Cliquez sur le bouton « Import »

Les notebooks doivent apparaître dans votre espace de travail.

Utiliser un notebook avec un cluster

Avant de pouvoir commencer à utiliser le notebook, il faut attacher ce dernier à un cluster.

Cliquez sur « Detached » puis sélectionnez un cluster.

Configuration des Notebooks

Pensez à renseigner votre compte de stockage

Dans le notebook « 2-CreateDatabaseObjects », renseignez les champs concernant votre base de données Azure.

Dans cet exemple nous aurons donc

Cliquez sur le notebook « 1-LoadReferenceData » pour continuer le laboratoire avec Databricks

Durant les ateliers, pour revenir sur votre espace de travail pour changer de notebooks, cliquez sur « Workspace » à gauche de l'écran.

A partir de maintenant, continuez le laboratoire à partir des notebooks. Ci-dessous des conseils pour les différents notebooks de l'atelier.

Certains travaux vont prendre plusieurs minutes. Vous pourrez vérifier l'avancement en cliquant sut les flèches à gauche des travaux.

Dans la partie « 05-GenerateReports », dans le notebook « Report-1 », vous y trouverez des exemples de rapports.

Au niveau d'un des rapports, cliquez sur l'icône graphique.

Dans le menu contextuel, cliquez sur « Show Code »

Le script retournant les résultats permettant la création des graphiques s'affichent

Sous le graphique, de nombreuses options sont disponibles pour changer la visualisation de vos données

Dans la partie « 06-BatchJob », dans le notebook « GlobalVarsMethods », n'oubliez pas de renseigner les valeurs de votre base Azure SQL

Commande 1

Commande 2

Rapport interactif avec Power BI Desktop

Après avoir fait le dernier notebook du laboratoire, il peut être intéressant de se connecter aux données avec Power BI Desktop.

Depuis Power BI Desktop, cliquez sur « Get Data », « More »

Sélectionnez le connecteur « Spark »

La fenêtre suivante apparaît. Il faut donc fournir les informations de connexions

Pour le moment, l'adresse du cluster Databricks n'est pas triviale à trouver. Mais voici comment faire.

Depuis votre espace de travail Databricks, cliquez sur « Clusters », puis sur le nom de votre cluster (« DatavoreCluster » dans notre exemple)

Une fois dans la page de votre cluster, cliquez sur « JDBC/ODBC ».

Dans le champ « JDBC URL », composez l'adresse du server avec les 2 éléments entourés en rouge, et en ajoutant https au début.

Pour notre exemple cela va donner :

https://eastus2.azuredatabricks.net:443/sql/protocolv1/o/1174394268694420/0317-035245-abed504

Donc, voici ce que ça donne dans Power BI Desktop. Cliquez sur « Ok »

Maintenant, il faut les autorisations .

Pour cela, il est nécessaire de générer un jeton d'accès du côté de Databricks.

Dans l'espace de travail de Databricks, cliquez en haut à droite sur l'icône utilisateur, puis sur « User Settings »

Cliquez sur le bouton « Generate New Token »

Donner un nom explicite à votre jeton et cliquez sur le bouton « Generate »

Depuis la fenêtre qui apparaît, copiez et conservez bien ce jeton, car il ne sera plus possible de le récupérer par la suite.

Cliquez sur le bouton « Done ».

Le jeton est généré !

Du côté de Power BI Desktop, copiez le jeton dans le champ « Password », puis utiliser token dans le champ « User Name » (Effectivement, ça ne s'invente pas ).

Cliquez sur le bouton « Connect ».

Vous voilà prêt pour explorer vos données. Sélectionnez les tables ci-dessous, puis cliquez sur le bouton « Load »

Une fois les données connectées au rapport, cliquez sur l'icône de liaison qui se trouve sur la gauche.

Par un simple glisser-déposer, réaliser les liaisons entre les tables

La fenêtre de liaison apparaît, cliquez sur le bouton « Ok »

Après avoir effectué toutes les liaisons, voici un exemple de ce que vous pouvez obtenir :

Voici un exemple de rapport

Index

Dans le cas où vous souhaitez charger toutes les données dans votre compte de stockage, il est possible de le faire avec la commande suivante

azcopy
--source https://franmerstore.blob.core.windows.net/nyctaxi-staging/ --destination https://<YourStorageAccount>.blob.core.windows.net/nyctaxi-staging/ --source-key $SRC_STORAGE_ACCESS_KEY --dest-key $AZURE_STORAGE_ACCESS_KEY --sync-copy --recursive

Dans notre exemple cette ligne de commande sera donc :

azcopy
--source https://franmerstore.blob.core.windows.net/nyctaxi-staging/ --destination https://datavorestorage.blob.core.windows.net/nyctaxi-staging/ --source-key $SRC_STORAGE_ACCESS_KEY --dest-key $AZURE_STORAGE_ACCESS_KEY --sync-copy –recursive