by Barry Devlin
Tornando indietro al 1986, con alcuni colleghi in IBM avevamo definito la prima architettura di data warehouse per gestire le vendite e le consegne in Europa dei mainframe System/370 e dei minicomputer System/38 (chi è in grado di riconoscere questi nomi è probabilmente un po’ oltre il trentesimo compleanno!), per poi descriverne l’architettura nel 1988 sull’IBM Systems Journal. Nel frattempo, il mondo è cambiato molto: basterebbe ricordare solo i costi e le dimensioni dei computer appena menzionati, oppure pensare a come un PC con sistema operativo DOS 3.3 su Intel 80286 e con dischi da 20 Mb era considerato all’epoca lo stato dell’arte, mentre gli smartphone di oggi sono più potenti rispetto ai mainframe di cui sopra. Eppure, l’architettura del data warehouse è cambiata davvero poco nello stesso periodo di tempo. Più che dei cambiamenti nelle tecnologie, forse può essere più interessante il nuovo scenario emergente dei dati: il data warehouse era stato progettato per un ambiente in cui tutte le informazioni nascevano dai processi di gestione del business, che erano progettati all’interno dell’azienda per offrire la visione più accurata e affidabile possibile della base giuridica delle operazioni e delle transazioni di business. Questi dati, mediati dai processi, forniti dai sistemi operazionali e integrati nel data warehouse continuano a essere basilari per la gestione del business e delle operazioni. Per tali dati, i principi e le pratiche di data warehousing rimangono valide oggi come lo erano trent’anni fa. L’emergere di nuovi tipi di dati in questi ultimi anni ha però minato la fede nel data warehousing e portato molti a concentrarsi su nuove tecnologie, come Hadoop, e a tentare di definire nuove architetture, come i bacini di dati o i data lake. Questi nuovi tipi di dati si dividono in due grandi categorie, cioè le informazioni di origine umana, human-sourced, che si riferiscono a una serie di materiali generati e utilizzati dai social, tra cui i tweet, i documenti di testo, le immagini e i video che provengono per lo più dall’esterno dell’azienda, mentre i dati generati dalle macchine, machine-generated, provengono da tutti i tipi di sensori e macchine, sia di provenienza interna sia, sempre più, dall’Internet of Things. Questi due tipi di informazioni, spesso chiamati big data, differiscono notevolmente dai dati mediati dai processi, e differiscono tra di loro in termini di struttura, volumi, affidabilità e altre caratteristiche. Questi nuovi tipi di dati offrono anche nuove o migliorate opportunità per digitalizzare molti aspetti del business, con approcci algoritmici che sono sempre più visti come essenziali per la redditività e il successo in una vasta gamma di settori. Tali algoritmi sono o saranno basati sui recenti progressi nel campo dell’intelligenza artificiale e del deep learning, resi possibili dalla crescita esplosiva dei big data. Questa transizione in atto oggi ha implicazioni ad ampio livello sia per le aziende sia per l’IT, oltre che in materia delle architetture dei dati.
Un po’ di storia delle architetture - La novità dei big data, così come le loro caratteristiche spesso citate di volume, velocità e varietà, ha portato consulenti e vendor a concentrarvi i loro sforzi di sviluppo e di vendita. Questa attenzione è stata così intensa che molti clienti sono arrivati a credere che il data warehouse sia obsoleto e anche ridondante, quando niente potrebbe essere più lontano dalla realtà. Il ruolo dei dati mediati dai processi è distinto da questi nuovi tipi di dati. I big data forniscono il contesto e la ricchezza predittiva attorno alle transazioni formali di business dei dati mediati dai processi, che continuano a rappresentare la realtà del business. Anche se è meno comune, un’altra convinzione è che alcuni o tutti questi nuovi dati dovrebbero essere fusi nell’ambiente warehouse esistente. Questo è errato perché i volumi sono troppo grandi nella maggior parte dei casi e la velocità di variazione dei dati e dei loro significati è troppo rapida e frequente per trovare posto nelle tecnologie tradizionali. Inoltre, questi nuovi tipi di dati non possono richiedere lo stesso tipo di riconciliazione e di gestione della qualità richiesta dei dati core mediati dai processi. Tuttavia, l’esperienza mostra già che i benefici di business sono maggiori quando entrambi i tipi di dati, vecchi e nuovi, sono utilizzati insieme. I dati human-sourced provenienti dai social media offrono più valore quando sono correlati con i dati dei clienti di provenienza interna derivanti dai dati mediati dai processi. I dati machine-generated derivanti dal click-stream permettono un’analisi più profonda e significativa di come e perché le vendite sono diminuite nell’ultimo trimestre nel data warehouse mediato dai processi. Questo ci porta a un tipo ibrido di architettura, composta da più colonne, ciascuna ottimizzata per le caratteristiche di una particolare classe di dati o informazioni e interconnesse da informazioni condivise di impostazione del contesto e dalla funzione di assimilazione. L’architettura originale di data warehouse vive, anche se in forma più aggiornata nella colonna dei dati mediati dai processi. Questa nuova architettura è descritta in dettaglio nella mia opera “Business unintelligence”. In contrasto con il data warehouse, in cui tutti i dati provengono dalle transazioni di business e operazioni commerciali, questa nuova architettura riconosce che i dati e le informazioni hanno in realtà origine al di fuori dei sistemi aziendali che gestiscono e fanno funzionare il business. Quest’ultimo è infatti guidato da informazioni provenienti dal mondo reale sotto forma di eventi, misurazioni e messaggi di origine umana o da parte di macchine: tutte le decisioni e le azioni di business poggiano sulla base di tali informazioni. Il processo decisionale, come previsto dal data warehousing, è solo una delle componenti del moderno business digitalizzato e guidato dai dati.
Il processo decisionale oltre il data warehouse - L’obiettivo originale del data warehousing e della business intelligence era quello di supportare il processo decisionale da parte di manager e analisti per le questioni tattiche e strategiche. Con l’evoluzione della business intelligence, l’attenzione si è spostata alle decisioni più operative e con orizzonti temporali più brevi. E mentre entrambe queste esigenze continueranno a esistere, ora sono considerate solo un aspetto del supporto al processo decisionale. Dato che il mondo è sempre più tecnologico, con enormi volumi di messaggi, eventi e misurazioni che scorrono dentro e fuori l’azienda, molte decisioni tattiche e operative si spostano dal centro verso la periferia dell’organizzazione, dal management e dal personale verso gli algoritmi e le macchine. Questi ultimi, guidati dall’intelligenza artificiale e dal deep learning, potranno prendere le decisioni dettagliate che un tempo erano appannaggio degli esseri umani. Le loro abilità sono già impressionanti, come dimostrano per esempio AlphaGo, che ha battuto il campione del mondo di Go, oppure i veicoli autonomi che circolano sulle strade, con miglioramenti esponenziali, anche se è importante riconoscere che tutti gli algoritmi sono buoni nella misura in cui lo sono i dati su cui si basano le loro interpretazioni e decisioni. Come abbiamo già imparato in trent’anni di data warehousing, avere dati coerenti e di elevata qualità è fondamentale per il processo decisionale. In questi trenta anni, abbiamo lavorato duramente per garantire l’integrità dei nostri dati. Però, se vogliamo essere onesti, non abbiamo fatto un lavoro strabiliante. E mentre il nuovo mondo dei business digitalizzati prende forma, la nostra capacità di gestire la qualità e l’integrità di tutti e tre i tipi di dati sarà di vitale importanza per garantire che il processo decisionale algoritmico funzioni effettivamente come previsto, e nell’intero arco di attività.
L’evoluzione dell’IT tra sfide e promesse
Frank Greco
Verso la new digital economy. Quale architettura per la trasformazione digitale?
Mike Rosen
Ecco come capire il cliente. I diversi punti di vista della Business Analysis
James Robertson
Ecco come capire il cliente I diversi punti di vista della Business Analysis
Suzanne Robertson
E se il Design Sprint fosse il nuovo asso nella manica? Come risolvere grandi problemi e testare nuove idee
James Hobart
Come essere veramente data driven. L’importanza dell’architettura dati
Mike Ferguson
Il Machine Learning in azienda. Come migliorare performance e previsioni
Frank Greco
Portfolio management avanzato: Come trasformare gli investimenti in cambiamento
Chris Potts
L’imbuto e le biglie. Ovvero la metafora della produttività dei team
Sander Hoogendoorn
Dal Data Warehouse al digital business. Un’architettura di trent’anni ancora valida
Barry Devlin
Dai silos a un ecosistema analitico integrato. Un approccio per avere dati da usare su più sistemi
Mike Ferguson
Come accelerare l’innovazione in azienda. La nuova generazione dell’IT enterprise
Frank Greco
Tassonomie e ricerche. Ecco come ottenere migliori risultati
Heather Hedden
Viaggio verso il data warehouse logico
Il grande dilemma della business intelligence
Rick van der Lans
Enterprise information catalog. I requisiti per fare la scelta giusta
Mike Ferguson
La nuova era dell’analisi predittiva - Le aziende alla prova del Machine Learning
Frank Greco
Uno sguardo Agile - Per capire il passato e progettare il futuro
Arie van Bennekum
Trasformazione Agile
Se il product owner diventa un collo di bottiglia
Sander Hoogendoorn
Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?
Barry Devlin
Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson
Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson
I dati al centro del business
Christopher Bradley
I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin
Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck
Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg
Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson
Project manager vecchi miti e nuove realtà
Aaron Shenhar
La catena alimentare dei requisiti
Suzanne Robertson
Come diventare un’azienda data-centric
Lindy Ryan
Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson
Agilità? Basta Volere
Suzanne Robertson
Ma la vostra architettura è efficace?
Mike Rosen
Se il NoSQL diventa SQL
Rick van der Lans
La data quality e l’impatto sul business
Danette McGilvray
Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross
Usare Scrum su larga scala: cosa cambia?
Craig Larman
Le architetture per ridurre il debito tecnico
Mike Rosen
Conversando con un marziano
Suzanne Robertson
Cosa c’è di nuovo nel project management?
Aaron Shenhar
Reinventare la Business Intelligence
Barry Devlin
Il nuovo volto della business intelligence
Shaku Atre
Alla ricerca del valore tra i pomodori nell'orto
John Favaro
I big data cambiano il mercato dei Database Server
Rick van der Lans
Un “superstorm” di informazioni
Barry Devlin
I dieci step per la qualità dei dati
Danette McGilvray
Perché è meglio evitare il private cloud?
Jason Bloomberg
Leonardo da Vinci aveva ragione!
Chris Date
Mobile user experience: Come adottare una strategia sostenibile
James Hobart
Cosa significa occuparsi di architettura?
Mike Rosen
Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans
Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson
Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss
BI², la Business Intelligence al quadrato
Barry Devlin
I test di regressione in ambienti legacy
Randy Rice
Le conseguenze della consumerizzazione e del Cloud
Chris Potts
Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre
Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss
Big Data, come e perché
Colin White
Business Capabilities e l'allineamento del business all'IT
Mike Rosen
Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl
BI, ma il Data Warehouse è ancora necessario?
Colin White
Reinventare la Business Intelligence
Barry Devlin
Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre
Modelli e processi di User acceptance testing
Randy Rice
I limiti nel gestire l'IT come un Business
Chris Potts
Le componenti fondamentali del Cloud
George Reese
Metadati e DW 2.0
Derek Strauss
BI Open Source: basso costo e alto valore?
Jos van Dongen
Semplicità e requisiti
Suzanne Robertson
Business intelligence e analisi testuale
Bill Inmon
Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss
Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin
Ambiente efficiente di ricerca di informazioni
James Hobart
Il Business deve trainare la Strategia IT
Chris Potts
Web database: la questione MapReduce (seconda parte)
Colin White
Web database: la questione MapReduce
Colin White
Misura delle prestazioni. I sette comandamenti
Harry Chapman
Le dieci cose che un architetto deve fare per creare valore
Mike Rosen
Sviluppare applicazioni a prova di sicurezza
Ken van Wyk
The ECM Landscape in 2008
Alan Pelz-Sharpe
Ma chi sono gli operatori dell’informazione?
Colin White
Qualità dell’informazione e trasformazione del management
Larry English
Classificazione sistematica delle informazioni
Zach Wahl
L’uso intensivo del Web nelle applicazioni di Bi
Colin White
Enterprise Search
Theresa Regli
La forza dell'astrazione
Steve Hoberman
La strada verso una BI pervasiva
Cindi Howson
Soa, una strategia di test
Randy Rice
Verso una BI più semplice e a minor costo
Colin White
I contenuti “Killer” del Web
Gerry McGovern
Sviluppo iterativo del software per i Dw
Larissa Moss
Qualità delle Informazioni e Datawarehousing
Larry English
Lo scenario Ecm 2008
Alan Pelz-Sharpe
La nascita del Web 3.0
John Kneiling
Documentazione: il dossier del crimine
Suzanne Robertson
L’impatto del Web 2.0 sui portali delle imprese
Colin White
Le tecniche vincenti di IT Management
Ken Rau
Web di successo se si conosce il cliente
Gerry McGovern
Un approccio alla BI incentrato sui processi
Colin White
Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson
Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson
Il Project Manager è una Tata
Suzanne Robertson
Web di successo se si conosce il cliente
Gerry McGovern
L'informazione personalizzata
Colin White
La Tassonomia dell'Impresa
Zach Wahl
Managed Meta Data Environment (II parte)
David Marco
Managed Meta Data Environment
David Marco
Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart
La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman
La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer
La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer
Volere è Potere, in Ogni Senso
Suzanne Robertson
Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern
Il Back-end della pianificazione strategica dell'It
Ken Rau
L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson
L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson
Il Processo di gestione delle informazioni
Ted Lewis
I requisiti come strumento di gestione dei progetti
Suzanne Robertson
Il futuro è nel contenuto killer del web
Gerry McGovern
Alla ricerca del valore tra i pomodori nell'orto
John Favaro
Rilevare i costi sulla base delle attività
Ken Rau
Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson
Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson
Il Data Store Operativo: un lavoro di martello
Claudia Imhoff
Il data warehouse orientato all'impresa
Michael Schmitz
Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman
Content management: i contenuti al primo posto
Gerry McGovern
Applicazioni Web ad alta disponibilità
John Kneiling
Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart
La tecnologia EII ripropone il data warehousing virtuale?
Colin White
Volere è Potere, in Ogni Senso
Suzanne Robertson
Realizzare il CPM e l'integrazione della BI
Mike Ferguson
Tutti i punti della FPA
Koni Thompson
Requiem per il Portale?
Colin White
Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre
Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre
I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson
I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco
I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco
Usare i modelli per acquisire l'esperienza di progettazione
James Hobart
Realizzare l'Impresa Intelligente
Colin White
.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling
Progettare Applicazioni Mobili di Successo
James Hobart
La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson
Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson
Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson
L'Evoluzione del Portale di e-Business (II parte)
Colin White
L'Evoluzione del Portale di e-Business (I parte)
Colin White
Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling
Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James