Évaluation de deux ETL : Clover.ETL vs. Talend Open Studio

Suite à l’introduction de la notion d’ETL dans notre article précédent, voici la présentation et la comparaison de deux ETL Open Source et gratuits : Clover.ETL et TOS (Talend Open Studio).

Présentation

Clover a créé deux outils : Clover.ETL qui est un framework et Clover.GUI, interface graphique facilitant la création de flux de données. Tous deux sont basés sur la technologie Java. Ils sont donc indépendants de la plate-forme informatique utilisée et économes en ressources. Clover.GUI est disponible sous licence commerciale et fourni sous forme de Plugin Eclipse. En revanche, Clover.ETL est sous licence LGPL et peut donc cohabiter à n’importe quel autre outil même sous licence commerciale.

TOS est un générateur de code. Son interface permet de réaliser des graphiques représentant les flux de données, qui sont automatiquement traduits en langage Perl ou Java. Exportés, ces graphiques peuvent être exécutés séparément de TOS. Cet ETL est fourni packagé et prêt-à-installer. Cet outil est distribué sous licence GPL. Il ne peut donc pas être intégré à un autre logiciel sans que celui-ci n’hérite lui-même de la licence GPL.

Évaluation

Pour les besoins de ses clients, Axège a mené une étude comparative de Clover.ETL et TOS. Si le premier est couramment utilisé par les développeurs d’AxègeSanté, le second est très présent sur le marché.

La méthode
Le procédé d’évaluation retenu repose sur le Business Readiness Rating. Les quatre phases de la méthode BRR :

• Effectuer une évaluation rapide pour créer une liste courte de logiciels à évaluer ;
• Classer et pondérer les catégories et métriques d’évaluation ;
• Recueillir des données pertinentes ;
• Traduire ces données en points de 1(faible) à 5(fort).

L’étude
L’étude a été réalisée d’un point de vue technique. La notation d’un logiciel selon un axe d’analyse s’avère plus pertinente que l’attribution d’une note globale.

Elle a été réalisée avec la configuration suivante :

• AMD Athlon(tm) 64 x2 Dual Core Processor 4400+
• 2 Go de RAM
• Ubuntu version 8.04 (Hardy)
• TOS version 2.3.3
• Clover.GUI version 1.9.2 et Clover.ETL 2.4.3

Les catégories par ordre décroissant d’importance :

• Fonctionnalités : couverture fonctionnelle du logiciel (métadonnées, transformations...) ;
• Performance : consommation mémoire et du temps d’exécution des tâches ;
• Documentation : qualité de la documentation associée au logiciel ;
• Adoption : diffusion du logiciel sur le marché des ETL ;
• Professionnalisme : méthodes employées dans le processus de développement et de l’organisation du projet ;
• Convivialité : qualité de l’interface utilisateur et de l’accessibilité du logiciel ;
• Communauté : niveau de vivacité et d’activité de la communauté utilisateur / développeur ;
• Architecture : modularité, portabilité, flexibilité, extensibilité, ouverture et facilité d’intégration ;
• Packaging : diversité des systèmes d’exploitation supportant la solution ;
• Maturité : âge, stabilité, historique et fork ;
• Qualité : qualité de la conception, du code et des tests ;
• Services : support, conseil et services.

Résultats et comparaison

Etude catégorie par catégorie :

• Fonctionnalité : TOS a une plus grande gamme de composants (246 composants contre 57) et admet donc plus de fonctionnalités. Ceci n’empêche pas Clover.ETL de parfaitement remplir son rôle d’ETL et de possèder des composants absents de la palette de TOS. Par exemple, Clover.ETL dispose de l’élément « DataIntersection ». Il permet d’établir l’intersection de deux flux A et B basée sur une clé spécifique. Trois sorties sont présentes sur ce composant : les enregistrements uniquement dans A, les enregistrements dans A et B, et les enregistrements uniquement dans B.
• Performance : Clover.ETL prend une longueur d’avance, car TOS est un grand consommateur de mémoire, malgré la qualité de ses temps d’exécution sur un nombre de lignes manipulées modéré (jusqu’à 2 millions). Ce handicap lui vaut de ne pas pouvoir lire plus de 3 millions de lignes. Voici les résultats de plusieurs tests de lecture :

  

• Documentation : La documentation de TOS est incomplète. De nombreux composants ne sont pas décrits dans le guide utilisateur, et l’explication de certains manque de précision.
• Adoption : TOS a subi, depuis ses débuts, près de 250 000 téléchargements. Au vu du nombre de mises à jours, Talend estime le nombre d’utilisateurs actuel à 75 000. TOS admet une grande reconnaissance marketing et il est donc beaucoup mieux inséré que Clover.ETL dans le monde des ETL.
• Professionnalisme : TOS reste plus organisé que Clover.ETL dans la modification et extension de code. TOS utilise des feuilles de route par exemple, et gère donc mieux le développement de nouvelles fonctionnalités ou version.
• Convivialité : TOS a une interface très agréable et très maniable car beaucoup d’actions se font en glisser-deposer. Clover.ETL reste plus facile à prendre en main car son interface est moins chargée (moins de composants) et donc plus claire.
• Communauté : Au vu de l’activité des forums des deux ETL, TOS admet une communauté très réactive et participative.
• Architecture : Le code de Clover.ETL est beaucoup plus simple que celui de TOS. Il est donc plus facile à modifier.
• Packaging : Les deux ETL peuvent être utilisés sur plusieurs systèmes d’exploitation comme Windows, Linux Debian, Unix Solaris, Mac OS X,...
• Maturité : Clover.ETL est un peu plus vieux que TOS mais ni l’un ni l’autre ne proviennent de fork et ont une probabilité très faible d’être décliné (fork).
• Qualité : Les deux ETL possèdent des bugtrackers, des gestionnaires de tickets mais il n’y a que TOS qui les utilise !
• Services : Les deux organisations proposent des solutions de support, conseil et services. Leurs offres s’organisent par niveaux d’expertise et selon la taille des entreprises.

Conclusion

Il n’y a pas un ETL meilleur que l’autre : récapitulatif des avantages et inconvénients de TOS et Clover.ETL.

Comme aucun de ces ETL ne prend l’ascendant sur l’autre, on peut conclure que le choix entre les deux se fera selon les besoins du client.

Pour de plus amples informations, voici les sites des deux ETL :
Talend
Clover.ETL