Tag: kettle
ETL Kettle – Découverte de l’outil d’ETL de Pentaho Data Integration
by Rom's on 24 août 2010, under Architecture, Astuces, Développement Web
Kettle est un outil d’ETL (Extract, Transform, Load) de la suite BI de Pentaho Data Integration. Son principal intérêt est de récupérer diverses sources dans divers formats, de les traiter, de les transformer, et de former un résultat puis d’exporter dans le format souhaité vers une destination souhaitée.
Tout ceci se fait de façon visuelle en créant des étapes et en éditant le détail de chaque étape. (je sais, ça dépasse.. mais comme ça on peut tout voir 
)
Visuel de la préparation de scripts avec Kettle
Il est possible de faire des scripts personnalisés sous forme de script java (javascript)
Exemples de sources et exports possibles :
- Bases de données (37 bases de données disponibles dont MySQL, Oracle, SQLite, PostgreSQL, MS Access, MS SQL Server, Sybase, Firebird SQL, AS/400,…)
- Fichiers (XML, TXT, CSV, PSV, TSV ou autres séparateurs, instructions SQL dans fichier,
- Flux SOAP, REST
- Récupération ou envoi depuis ou vers des FTP/SFTP/FTPS/over SSH2
- Possibilité de dézipper ou zipper des fichiers en entrée ou en sortie
- Envoi / récupération depuis ou vers des e-mails / courriels (suivant sensibilité)
Comme les exemples sont souvent plus parlants, je vais vous donner quelques exemples bien pratiques de choses que l’on peut faire avec un ETL :
- récupérer un fichier XML à 10 niveaux de données depuis un FTP, l’aplatir sous forme de tableau, mettre à jour les données dans une table MySQL puis l’exporter sous forme de fichier CSV et l’envoyer par e-mail
- joindre trois fichiers excel (format XLS) et les entrées en base de données en comparant les sources, en dédoublonnant, et en faisant un fichier par type d’erreur possible
- prendre tout simplement un fichier, renommer des colonnes, en rajouter, normaliser la longueur des champs et le nombre de décimales, enlever les espaces vides et réexporter le tout dans un format souhaité
Les scripts réalisés visuellement sont exportables et installables comme tâches planifiées sur un serveur.
Bon, pour tout ça, je vous conseille de télécharger la version Pentaho Data Integration Spoon 4.0 (http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=spoon+4.0)
Je vous mets ici bientôt quelques exemples de scripts que vous puissiez jouer avec.
-
Bienvenue !
Merci de votre visite, n'hésitez pas à commenter les articles et à partager vous aussi ce que vous savez ;)
Mes flux partagés- Les coulisses de Vente-privée.com 25 août 2011Jacques-Antoine Granjon, fondateur de Vente-privée.com, nous dévoile les coulisses de sa société, de son organisation interne à ses perspectives de développement. […]
- Au secours, Facebook mange le web ! 1 juillet 2011On sait tous que Facebook est un « gros truc », que pas mal de monde y est, et y passe pas mal de temps… Mais, avant de lire cet article, je n’avais pas conscience, en fait, de l’ampleur du « machin ». L’article part de l’analyse suivante : Ce que dit ce diagramme, c’est que Le temps passé, sur l’ensemble du web, décline de 9% en 1 an Alors que ce temps expl […]
- Technologie : la Chute des ex Stars d'Hier...! 17 juin 2011RIM a présenté hier soir ses résultats du Q1 2011, et ils ne sont pas bons, très en dessous des attentes du marché au niveau du top line. Et pour noircir un peu plus le tableau, ils ont largement révisé à la baisse les perspectives 2012. Ils restent rentable (700M$ sur un CA de 5Mds$ environ), mais la croissance s'est très largement tassée. La Bourse n […]
- New HTC Sensation 4G Brings Dual-Core Goodness to T-Mobile 15 juin 2011The Gadget of the Day Series is supported by the Energizer® Inductive Charger, which brings you the next generation of charging with Qi technology. Qi is the new universal standard for wireless charging … now that’s positivenergy™.Product: HTC Sensation 4GPrice: $199 with qualifying T-Mobile contract after $50 mail-in-rebate.What It’s Good For: Taking HD vid […]
- Dark Vador au pays de Mickey ! 14 juin 2011Afin de faire la promotion de sa nouvelle attraction Star Tours, qui devrait voir le jour très bientôt, Disney Land a laissé traîner Dark Vador et son équipe dans le parc comme des visiteurs classiques. Sauf que, comme vous le verrez, ils ne sont pas vraiment des visiteurs comme les autres. Après la désormais très célèbre publicité pour Volkswagen que nous v […]
- Le grand classement mondial de tout 10 juin 2011C’est flippant de voir que quelque soit son domaine d’activité, on trouve toujours sur internet quelqu’un de réellement meilleur que soi. Une comparaison permanente, sorte de classement mondial de tout les savoirs-faire, qui devient un peu usant à la longue pour la motivation ! L’exemple le plus frappant que je connaisse c’est dribbble.com. Avant de cliquer […]
- Les langages de programmation : aujourd’hui et demain ? 2 juin 2011J’ai trouvé cette image sur un blog : Je ne sais pas comment est calculé le graphique ci dessus. Un autre copain m’a envoyé un lien vers un autre article, qui parle de l’avenir des langages de programmation. Mon point de vue est le suivant : Les langages de programmation n’évoluent pas beaucoup ces derniers temps. Il y a des framework qui sortent, mais pas g […]
- Expédié par Amazon 23 mai 2011Amazon est bien plus qu’un site e-commerce. Parmi tout ce que propose cette entreprise « polymorphe », il y a le service logistique « Expédié par amazon. Une petite vidéo vaut mieux qu’un long discours : […]
- e-Business > Meninvest rachète Autonews.fr à Newsweb (Lagardère) 17 mai 2011Le groupe média et e-commerce créé par Marc Menasé sur la cible masculine ajoute Autonews.fr à son pôle publishing. Actualité […]
- Le plus dur à gérer pour un PDG ? Sa propre psychologie 4 mai 2011Adaptation d’un article de Ben Horowitz, associé chez Andreessen Horowitz. Pour moi, la capacité la plus difficile à acquérir en tant que chef d’entreprise est de loin celle de pouvoir maîtriser sa propre psychologie. Organisation, process, métriques, embauches et licenciement sont tous des activités relativement simples à gérer comparé au fait de garder son […]
- Les coulisses de Vente-privée.com 25 août 2011
