Le SQL dans Hadoop : HiveQL et Pig

Originalement développé par Facebook pour la gestion de son réseau social, Hive est une infrastructure informatique similaire au Data Warehouse qui fournit des services de requêtes et d'agrégation de très gros volumes de données stockées sur un système de fichier distribué de type HDFS. Il a été originalement conçu par Facebook qui cherchait à fournir à ses analystes de données (des non-développeurs) une infrastructure informatique et un langage proche du SQL pour l'exploitation de ses pétaoctets de données. Ainsi, Hive a été conçu pour un public qui possède de très bonnes compétences en SQL et des compétences relativement faibles en programmation Java.

II-A-1. Infrastructure technique de Hive▲

Hive fournit un langage de requête basé sur le SQL (norme ANSI-92) appelé HiveQL (Hive Query Language), qui est utilisé pour adresser des requêtes aux données stockées sur le HDFS. Le HiveQL permet également aux utilisateurs avancés/développeurs d'intégrer des fonctions Map et Reduce directement à leurs requêtes pour couvrir une plus large palette de problèmes de gestion de données. Cette capacité de plug-in du MapReduce sur le HiveQL s'appelle les UDF (User Defined Function). La figure suivante illustre l'architecture de Hive.

En fait, lorsque vous écrivez une requête en HiveQL, cette requête est transformée en job MapReduce et soumise au JobTracker pour exécution par Hive. Étant donné que les données de la requête ne sont pas stockées dans une table comme dans le cas d'une requête SQL classique, Hive s'appuie sur une couche de stockage de données installée sur Hadoop à l'exemple d'HCatalog, pas pour le stockage des données du HDFS, mais pour le stockage des métadonnées des requêtes des utilisateurs. Notez qu'une couche logicielle de stockage autre que HCatalog peut être utilisée. L'utilisateur commence sa requête en définissant la ou les tables HCatalog qu'il veut manipuler, si elle(s) n'existe(nt) pas, il l(es) crée(nt) dans HCatalog, ensuite définit leurs colonnes et les opérations à effectuer pour obtenir ces colonnes. Une fois qu'il soumet sa requête, cette dernière est transformée en jobs MapReduce. Il est important de comprendre que les tables HCatalog ne stockent pas les données, elles font juste référence de pointeurs aux données qui sont sur le HDFS. Étant donné que le HCatalog est indépendant du HDFS et du Hive, il peut être utilisé comme intermédiaire de connexion aux données contenues dans les systèmes de Business Intelligence de l'entreprise. C'est le but de la présence des connecteurs ODBC/JDBC dans l'infrastructure Hive. Pour l'intégration directe des fonctions Map et Reduce sous forme d'UDF (User Defined Functions) dans la requête HiveQL, HIVE s'appuie sur Apache Thrift qui lui permet entre autres d'écrire les UDF en plusieurs langages de programmation (Java, Python, Ruby…).

II-A-2. Écriture des requêtes HiveQL▲

CREATE TABLE IF NOT EXISTS Clients AS 
SELECT
   id_client   STRING,
   concat (Nom_client,' ', prenom_client) Noms_client
   datediff (date_naissance, CURRENT_DATE()) Age_client,
   Substr (genre, 1, 1)   genre,
   Qantité * Prix_unitaire  Vente
FROM  log_clients ;

SELECT sum (vente) FROM Clients WHERE cast (age_client as int) BETWEEN 25 AND 30 GROUP BY genre ;

USE default ;
CREATE TABLE IF NOT EXISTS log_clients(
   id_client       STRING,
   Nom_client      STRING,
   prenom_client   STRING,
   Noms_client     STRING,   
   date_naissance  DATE,
   genre           STRING,
   produit_achete  STRING,
   Qantité         TINYINT,
   Prix_unitaire   STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t',
STORED AS TEXTFILE;
LOAD DATA INPATH '/user/projetdemo/clients' OVERWRITE INTO TABLE log_clients ;
CREATE TABLE IF NOT EXISTS Clients AS 
SELECT
   id_client   STRING,
   concat(Nom_client,' ', prenom_client) Noms_client
   datediff(date_naissance, CURRENT_DATE()) Age_client,
   Substr(genre, 1, 1)   genre,
   Qantité * Prix_unitaire  Vente
FROM  log_clients ; 
SELECT sum(vente) FROM Clients WHERE cast(age_client as int) BETWEEN 25 AND 30 GROUP BY genre ;

Il a été réalisé que le potentiel d'Hadoop ne pouvait pas être déployé si les opérations courantes nécessitaient toujours les développeurs Java hautement qualifiés pour leur programmation. Comme nous l'avons vu précédemment, la réponse à cette solution chez Facebook a été le développement de Hive. Chez Yahoo !, l'équipe d'ingénieurs Hadoop a eu l'impression qu'une solution basée sur le SQL ne pouvait pas suffisamment couvrir la complexité de la programmation de certaines tâches MapReduce. Par voie de conséquence, Yahoo ! a créé un langage qui maximise la productivité des analystes de données (un public non-développeur), tout en offrant le support nécessaire pour l'expression des opérations MapReduce complexes. Cette solution c'est Pig.

Pig est un environnement d'exécution de flux interactifs de données sous Hadoop. Il est composé de deux éléments :

• un langage d'expression de flux de données appelé le Pig Latin ;
• et un environnement interactif d'exécution de ces flux de données.

Le langage offert par Pig, le Pig Latin, est à peu près similaire au langage de Scripting tels que Perl, Python, ou Ruby. Cependant, il est plus spécifique que ces derniers et se décrit mieux sur le terme « langage de flux de données » (data flow language). Il permet d'écrire des requêtes sous forme de flux séquentiels de données sous Hadoop à la façon d'un ETL (Extract, Transform and Load). Ces flux sont ensuite transformés en fonctions MapReduce qui sont enfin soumises au jobtracker pour exécution. Pour faire simple, Pig c'est l'ETL d'Hadoop. Programmer en Pig Latin revient à décrire sous forme de flux indépendants, mais imbriqués, la façon dont les données sont chargées, transformées, et agrégées à l'aide d'instructions Pig spécifiques appelées opérateurs. La maîtrise de ces opérateurs est la clé de la maîtrise de la programmation en Pig Latin, d'autant plus qu'ils ne sont pas nombreux relativement au Hive par exemple. Le tableau suivant récapitule les opérateurs usuels de Pig.

Tableau 1 : liste des opérateurs usuels de Pig Latin

Tout comme Hive, Pig offre la possibilité d'intégrer des UDF à ses scripts pour la résolution des problèmes plus complexes à exprimer sous forme de flux. De plus, la latence qui est occasionnée avec Hive est également présente avec l'utilisation de Pig. Revenons sur l'exemple que nous avons utilisé précédemment dans Hive. Le même problème écrit en Pig Latin donne ceci :

1. La première étape consiste à charger les données de la source (ici le HDFS) en utilisant l'opérateur de chargement de données LOAD. La fonction PigStorage() vous permet de préciser le format de fichier des données source. Si vos données sont structurées alors vous utiliserez l'instruction PigStorage() en précisant le séparateur de colonne, si vos données sont non structurées, vous utiliserez la fonction TextLoader(), si les données sont binaires ou compressées, alors vous utiliserez BinStorage() et si les données sont de type JSON vous utiliserez JSONStorage(). Les fonctions d'intégration de nouveaux formats de données sont constamment développées par la fondation Apache.

    

   Sélectionnez

   1.
   

   log_clients = LOAD '/user/projetdemo/clients/' USING PigStorage ('\t') AS (id_client: int, Nom_client : chararray, Prenom_client :chararray, date_naissance : datetime, Genre: chararray, Produit_achete : chararray, Qantite: int, Prix_unitaire: float);
   

2. À la deuxième étape, les colonnes sont calculées à l'aide de l'opérateur FOR EACH et calculées presque de la même façon qu'avec Hive.

    

   Sélectionnez

   1.
   

   Clients = FOR EACH log_clients GENERATE id_client, concat(Nom_client,' ', prenom_client) AS Noms_client, YearsBetween(date_naissance, CURRENT_TIME()) AS Age_client,   Substr(genre, 1, 1) AS  Sexe_client, Qantité * Prix_unitaire AS Vente;
   

3. La requête SELECT de Hive est décomposée ici en trois flux distincts : le filtre, le groupement et le calcul de la somme.

clients25_30 = FILTER Clients BY (Clients >= 25 AND Clients <= 30);
clients25_30_groupes = GROUP clients25_30 BY genre;
Ventes = FOR EACH clients25_30_groupes GENERATE genre, sum(vente) ;
DUMP Ventes;

La requête complète est la suivante :

log_clients = LOAD '/user/projetdemo/clients/' USING PigStorage ('\t') AS (id_client: int, Nom_client : chararray, Prenom_client :chararray, date_naissance : datetime, Genre: chararray, Produit_achete : chararray, Qantite: int, Prix_unitaire: float); 
Clients = FOR EACH log_clients GENERATE id_client, concat(Nom_client,' ', prenom_client) AS Noms_client, YearsBetween(date_naissance, CURRENT_TIME()) AS Age_client,   Substr(genre, 1, 1) AS  Sexe_client, Qantité * Prix_unitaire AS Vente;
clients25_30 = FILTER Clients BY (Clients >= 25 AND Clients <= 30);
clients25_30_groupes = GROUP clients25_30 BY genre;
Ventes = FOR EACH clients25_30_groupes GENERATE genre, sum(vente) ;
DUMP Ventes;

La figure suivante récapitule les changements qui se sont produits lors du passage de HiveQL à Pig Latin, les instructions Pig Latin et leurs équivalences en HiveQL. Cela vous permet de voir la différence entre les deux styles de programmation.

Nous allons conclure cette partie sur les langages d'abstractions disponibles sur Hadoop avec un petit mot sur la différence entre Hive et Pig. Tout d'abord, gardez à l'esprit que tous deux sont des langages d'abstraction, ils ont pour but d'éloigner le public non-développeur (les analystes métier) de la complexité de la programmation des tâches Map et Reduce dans un langage tel que Java. L'atteinte de ce but a pour inconvénient de prolonger le temps de latence de l'exécution des jobs MapReduce qui en résultent, que ça soit aussi bien pour Hive que pour Pig. C'est à cause de cela que la fondation Apache a développé un autre langage d'abstraction, mais cette fois-ci très proche du MapReduce appelé Cascading

Cascading offre un style de programmation très similaire à Pig Latin, mais en Java. Vous vous doutez bien que Cascading n'est presque pas utilisé par le public qu'il ciblait originellement (les analystes métier).  Malgré l'avantage et inconvénient commun à Hive et Pig, il existe tout de même une différence fondamentale qui peut faire pencher la balance envers l'un ou l'autre. Le Pig Latin est un langage dans lequel l'utilisateur décrit le COMMENT des opérations à réaliser, tandis que HiveQL décrit simplement le QUOI et laisse le soin au système de faire le reste. À cause de ce mode de fonctionnement, Pig est plus complexe à programmer que HiveQL, ce qui fait que sa courbe d'apprentissage est globalement plus élevée que celle de Hive. Par contre, Pig Latin permet de couvrir une plus large palette d'opérations que le Hive. Donc, lorsque la question du choix se posera entre les deux, tenez en compte le niveau technique des utilisateurs (surtout leur niveau de programmation en SQL) et du niveau de complexité des opérations à réaliser. À défaut d'utiliser un langage d'abstraction, il est possible d'utiliser le SQL directement sur Hadoop, ceci est une nouvelle qui devrait réjouir tout analyste métier et qui fera l'objet de notre prochain article.