Articolo del Mese - Giugno 2019

Dal Data Warehouse al digital business. Un’architettura di trent’anni ancora valida

by Barry Devlin

Riconciliazione e coerenza dei dati, modellazione delle informazioni aziendali e metadati. Le imprese possono conservare l’architettura di data warehouse esistente per costruire un digital business?

Trasformazione digitale! Business digitali! Dagli analisti ai vendor, dai consulenti ai CEO, il grido è lo stesso: trasformati in digital business se vuoi avere successo nel tuo settore. E fallo in fretta, perché le aziende che sono avanti su questo percorso hanno già un’enorme varietà e volume di dati con cui potranno spiazzare voi e gli altri incumbent. Come spiegava un rapporto di McKinsey del dicembre 2016 (The Age of Analytics: Competing in a data-driven world) – “gli effetti di rete delle piattaforme digitali stanno creando una situazione in cui chi vince prende tutto. Le aziende leader sono attivamente alla ricerca di modi per entrare in altri settori (…) e possono trarre vantaggio dalla loro dimensione e dagli insight approfonditi per aggiungere nuove linee di business (…) in modo da confondere i tradizionali confini del settore”. Rimane da vedere fin dove andrà a finire questa previsione. Tuttavia, la ricerca di un vantaggio competitivo in ogni settore è ora in linea con la trasformazione digitale: la capacità delle aziende di sfruttare le informazioni già in loro possesso e tutti i dati aggiuntivi che possono accedere o acquisire. Per quelle aziende che hanno una profonda esperienza nel mondo digitale, in particolare le nuove imprese basate su Internet, essere guidati dai dati è quasi una seconda natura per loro. Eppure, la maggior parte delle aziende tradizionali ancora fatica a progredire sulla strada della trasformazione digitale. In effetti, alcuni si chiedono da dove iniziare. Se si è una di quelle società, il punto di partenza potrebbe essere più vicino di quanto si immagini: la trasformazione digitale può iniziare con il data warehouse esistente, ma solo se si è disposti a esaminare tale infrastruttura in una luce diversa. Ma iniziamo dallo scopo originale del data warehouse.

L’architettura per il digital business - Trent’anni fa, ho definito la prima architettura del data warehouse. Il driver di business era quello di fornire un insieme affidabile e coerente di dati da tutte le fonti disponibili per qualsiasi necessità di segnalazione o analisi. Negli anni successivi, gran parte dell’attenzione è stata dedicata alle esigenze di reporting e analisi. Tuttavia, quando si considera il valore del data warehousing nella trasformazione digitale, è necessario considerare l’idea sottostante di come e quando creare un set di dati affidabile e coerente da più fonti. Nella sua essenza, un digital business è in grado di utilizzare i dati di ogni fonte immaginabile per il vantaggio di business e bilancia il livello in cui tali dati dovrebbero essere coerenti e affidabili e quando tali dati possono o devono essere utilizzati allo stato grezzo per limitare la complessità e il costo. Questo, naturalmente, ci porta all’argomento dell’appropriata architettura di informazioni/dati per il digital business. A differenza di quello tradizionale, il digital business utilizza dati provenienti dall’esterno, dai social media e dall’Internet of Things (IoT), come base per le operazioni e la gestione. Queste nuove fonti sono caratterizzate non solo dalle tre V di volume, velocità e varietà, ma sono soprattutto e spesso di dubbia qualità e affidabilità. Inoltre, questi nuovi dati devono anche essere integrati con i dati provenienti dai tradizionali sistemi operativi interni. Di conseguenza, e considerando trent’anni di esperienza e successo nel data warehouse, ha senso chiedersi: cosa possiamo conservare e cosa deve cambiare in un’architettura di data warehouse per costruire un digital business? Possiamo considerare tre aspetti chiave: la riconciliazione e la coerenza dei dati; la modellazione delle informazioni aziendali; i metadati o le informazioni sul contesto.

Riconciliazione e coerenza dei dati - Il primo punto chiave è la riconciliazione e la coerenza dei dati. In un data warehouse, i dati vengono riconciliati trasferendo tutto in un unico archivio, l’EDW, enterprise data warehouse, incorporato in un database relazionale. I sostenitori dei big data hanno da tempo affermato che un database relazionale non può gestire i volumi, la velocità e la varietà dei big data. Tuttavia, i progressi dell’hardware, come per esempio i database in-memory, l’elaborazione parallela e le GPU, insieme al software che sfrutta questo nuovo hardware, hanno indebolito significativamente queste affermazioni. Inoltre, i progressi nella tecnologia di virtualizzazione dei dati consentono di riconciliare i dati logicamente senza la necessità di portare tutto sulla stessa piattaforma. In effetti, possiamo utilizzare un EDW avanzato per i dati che devono essere fisicamente riconciliati, mentre la virtualizzazione dei dati ci consente di riconciliare i dati tra piattaforme relazionali e non relazionali. Questo concetto è fondamentale per l’architettura di informazione logica a colonne che ho ideato nel mio libro, “Business unIntelligence”.

Modellazione delle informazioni - Il secondo punto chiave è la modellazione delle informazioni aziendali. Dobbiamo riconoscere che non è necessario e impossibile riconciliare tutti i dati. Alcuni dati (per esempio, i singoli punti di dati dai sensori IoT) sono troppo fugaci per riconciliarsi. Altri dati, come quelli dei social media, sono troppo non gestiti e mal definiti per renderli coerenti. Un EIM, enterprise information model, è necessario per decidere gli usi e il valore di diversi tipi di informazioni per il business e quando è necessario riconciliarlo o meno. La maggior parte delle implementazioni di data warehouse hanno già creato EIM di vari gradi di completezza e complessità. Tali EIM devono essere estesi per coprire fonti di informazioni esterne. Le entità centrali e le relazioni dell’EIM esistente rimarranno certamente al centro del digital business e consentiranno il collegamento di nuove fonti di informazioni, a seconda delle entità tradizionali. È attraverso l’EIM, per esempio, che gli user ID dei social media possono essere abbinati agli ID cliente interni, ovviamente entro i limiti della legislazione GDPR.

Metadati o informazioni sul contesto - Il terzo punto è quello dei metadati o, come preferisco chiamarli, informazioni sul contesto (CSI, context-setting information). Il concetto di metadati era centrale per il data warehouse sia per la gestione tecnica dei dati memorizzati sia per consentire agli imprenditori di comprendere e trarre vantaggio dal data warehouse. Sfortunatamente, molte implementazioni precedenti si sono concentrate quasi esclusivamente su metadati orientati tecnicamente. Questo sta cambiando ora con un’enfasi sui “cataloghi di dati”, in particolare quelli che incorporano alcuni elementi di machine learning. L’inclusione del machine learning e della collaborazione in questi moderni strumenti è importante perché affronta sfide di vecchia data nel raccogliere informazioni su come i dati siano realmente utilizzati e compresi dalle persone del business. Queste sfide hanno impedito agli sviluppatori di data warehouse di offrire un set completo di CSI in passato. In sintesi, il cambiamento più importante in un’architettura di data warehouse per abilitare il supporto per il digital business riguarda il modo in cui i dati vengono archiviati e riconciliati. In un digital business, non canalizziamo più tutti i dati tramite un EDW basato su relazioni. Invece limitiamo l’EDW a quei dati che devono essere coerenti in tutta l’azienda e consentire ad altri dati di essere archiviati su altre piattaforme, come un data lake, e riconciliati attraverso la virtualizzazione dei dati solo nella misura necessaria. Questo cambiamento porta a requisiti estesi, ma non determina alcun cambiamento fondamentale nella modellazione delle informazioni e informazioni contestuali focalizzate sul business come definite nel data warehousing tradizionale. Quindi, se si sta pianificando di implementare un digital business, è bene rispolverare la vecchia architettura di data warehouse e scoprire come può aiutare!

Barry Devlin presenterà per Technology Transfer i seminari “Realizzare un Digital Business cominciando dalla Business Intelligence” che si terrà a Roma il 9-10 Dicembre 2019 e “Dall'Analitica all'Intelligenza Artificiale: Digital Transformation del Decision Making” dell' 11 Dicembre 2019.