Tesla ETL

ETL significa Extract/Transform/Load, ovvero estrazione/trasformazione/caricamento e l'obiettivo di questo software è di raccogliere i dati da un numero illimitato di sorgenti, elaborarli, trasformarli, organizzarli ed infine centralizzarli in un unico repository oppure in più "target".

Perché una ETL? Perché "trasformare" i dati?

Perché i software o i dispositivi che ne hanno bisogno per funzionare necessitano sempre di un "formato" e di una "quantità" di dati che non è quasi mai disponibile nella modalità richiesta. In quasi tutte le aziende i dati utili sono praticamente inaccessibili e secondo alcuni studi due terzi delle aziende non è in grado di trarre benefici dai propri dati perché questi sono sempre strutturati in modo da essere utilizzati dai software specifici che ne fanno uso. Le ETL rendono questi dati disponibili estraendoli dalle diverse sorgenti (dai diversi software/dispositivi), per poi essere ripuliti, trasformati ed elaborati per essere utilizzati nelle finalità richieste (alimentare sistemi di impaginazione automatica, siti Internet, analisi di business, ...).

Utilizzo delle ETL

Alcuni casi d'uso dei sistemi ETL:

• Estrazione ed organizzazione dei dati per l'utilizzo con sistemi di impaginazione automatica
• Integrazione dei sistemi informativi con le macchine di produzione
• Migrazione dei dati da diverse applicazioni
• Acquisizione dei dati per l'esecuzione di backup
• Estrazione da sistemi PDM/CRM per l'ottimizzazione e l'arricchimento e la successiva restituzione dei dati ai sistemi PDM/CRM
• Inserimento dei dati in un Data Warehouse per l'assimilazione, l'ordinamento e la trasformazione per le operazioni di business intelligence
• Migrazione delle applicazioni locali in infrastrutture Cloud, Cloud ibride o multi-Cloud
• Sincronizzazione continua dei diversi sistemi/software/dispositivi
• Acquisizione continua dei dati per statistiche
• ...

Funzionamento delle ETL

Le tre fasi del funzionamento delle ETL sono le seguenti:

Fase 1: estrazione

I dati "grezzi" vengono estratti da una vasta gamma di origini, quali:

• Database (Oracle, SQL Server, MySQL, ...)
• ERP (Navision, AX, SAP, AS/400, ...)
• File strutturati (Excel, CSV, “tab-delimited", XML, json, ...)
• CMS (Liferay, Drupal, Magento, Prestashop, Argo, ...)
• Registri di attività (traffico di rete, report di errori, ...)
• Eventi di sicurezza
• Attività transazionali
• ...

Fase 2: Trasformazione

La fase di trasformazione di una ETL è la più critica. In questa fase vengono applicate le procedure e regole necessarie ad ottenere il risultato richiesto. Prima di eseguire le regole le ETL normalmente "puliscono" i dati "normalizzandoli" perché se i dati non sono perfettamente puliti, applicare le regole diventa complicato. Durante la trasformazione, ai dati in ingresso vengono inoltre applicati i formati di uscita richiesti.

La trasformazione avviene tramite l'applicazione di una serie di regole definite in fase di progettazione della ETL.

Gli standard che assicurano l'accessibilità e la qualità dei dati durante questa fase dovrebbero includere:

• Normalizzazione: Definizione dei dati che saranno presi in considerazione, definizione della modalità con la quale verranno formattati e memorizzati, ...
• Unificazione: Eliminazione delle duplicazioni, esclusione e/o eliminazione dei dati ridondanti, aggregazione dei dati simili.
• Verifica: Esecuzione di verifiche automatiche per la bontà e la qualità dei dati acquisiti ed elaborati.
• Ordinamento: Creazione dei diversi ordinamenti dei dati finalizzati all'utilizzo con i sistemi/software/dispositivi target.
• Altre attività: Tutto quanto è necessario implementare per arrivare al risultato richiesto.

Fase 3: Caricamento

L'ultima fase prevede la restituzione (ed in genere il caricamento nei sistemi/software/dispositivi target) dei dati estratti e trasformati nella nuova destinazione.

Esecuzione operativa della ETL

Le ETL nella maggior parte dei casi vengono eseguite in modo automatico da uno schedulatore oppure richiamate da uno (o più) dei software che fanno parte del sistema informativo aziendale. In alcuni casi l’esecuzione può avvenire in modo “manuale”, richiamata da un operatore. L'ETL dovrà essere progettata per sopperire a tutte le anomalie e le eccezioni che spesso nelle estrazioni dei dati possono capitare (se uno o più sistemi sono inattivi, se arrivano dati di cattiva qualità, se i dati non sono presenti, se i dati sono errati, ...)

Per maggiori informazioni 039 27 82 931 o info@tesla.it