Articoli del meseArticoli del mese

Articoli del mese


Stampa articolo

Articolo del Mese - Gennaio 2012

Big Data, come e perché

Colin White by Colin White

Il termine Big Data è sicuramente popolare, ma la sua definizione non è stata ancora sufficientemente articolata. Da una parte viene definito come il modo per trattare volumi di informazioni in costante aumento che non possono essere gestiti utilizzando applicazioni analitiche e sistemi data warehouse tradizionali (un esempio è costituito dai dati correlati alle informazioni di Facebook e Twitter). Perché questo rinnovato interesse? Per il semplice fatto che la cattura e l'analisi di questi dati può portare vantaggi enormi in termini di processi decisionali. Il problema di fondo è la complessità che si cela dietro queste operazioni, complessità che supera i limiti attuali delle piattaforme e sistemi dedicati alla gestione e all'analisi dei dati.

Il significato di Big Data
È innanzitutto importante sapere che esistono forme e dimensioni diverse, così come esiste una molteplicità di utilizzo: ricerca in tempo reale di tentativi di frode, analisi competitiva su Web, ottimizzazione di call center, analisi dei social media, gestione intelligente del traffico... Non bisogna poi dimenticare che per soddisfare questo tipo di esigenze si devono trattare significativi volumi di dati, strutturati e multi-strutturati, soggetti a una continua espansione.
Molte di queste soluzioni non potevano essere sviluppate in passato in quanto troppo costose da implementare o per l'inadeguatezza delle tecnologie.
L'evoluzione tecnologica ha reso possibile ciò che una volta era impossibile:

  • Nuovi sistemi di gestione dei dati che gestiscono un'ampia gamma di dati rilasciati da sensori, Web e social media.
  • Miglioramento delle capacità analitiche (talora chiamate Advanced o Big Analytics) di tipo predittivo e di analisi dei testi.
  • Hardware più veloce e performante grazie a processori multi-core e spazi di indirizzamento memoria più grandi così come dischi allo stato solido e storage multilivello per la gestione di dati caldi e freddi.

Lavorare su Big Data significa, in sintesi, utilizzare le tecnologie sopra descritte per creare vantaggi all'organizzazione.

Gestire e analizzare Big Data
Negli ultimi vent’anni la maggior parte delle applicazioni analitiche sono state create utilizzando dati strutturati estratti da sistemi operazionali che venivano poi consolidati su data warehouse. La particolarità di Big Data è invece contraddistinta da due fattori: aumento esponenziale del numero di sorgenti dati, varietà di contenuti, numero e volumi da utilizzare. Un'alta percentuale di questi dati viene descritta come multi-strutturata per distinguerla dai dati operazionali strutturati comunemente usati per popolare un data warehouse.
Nei processi Big Data si evidenziano due tecnologie: i database relazionali ottimizzati per compiti analitici (spesso chiamati Analytic Rdbms o Adbms) e sistemi non relazionali (talvolta definiti come noSQL systems) per elaborazione di dati multi-strutturati.

Analytic Rdbms (Adbms)
Un Rdbms analitico è una soluzione integrata per gestire dati e generare analisi con un migliore rapporto price/performance, gestione e amministrazione rispetto a quanto offerto da Rdbms generalisti. L'ottimizzazione delle prestazioni è garantita dall'utilizzo massivo di elaborazione parallela, superiore qualità della struttura dei dati, tecniche di compressione e capacità di sviluppare processi analitici su Dbms. Questi sistemi possono essere classificati in due macro gruppi: hardware e software appliance pacchettizzate e piattaforme software only.
Le appliance si suddividono a loro volta in due sotto gruppi: appliance di tipo verticale (purpose built appliance) e piattaforme hardware/software ottimizzate. In entrambi i casi l'obiettivo è fornire una soluzione integrata che possa essere installata e gestita in un singolo sistema. A seconda del vendor, la linea di demarcazione tra i due sotto gruppi non è sempre chiara e questo è il motivo per cui in questo articolo esse vengono comunemente definite con il termine generico di appliance.
La purpose built appliance è un sistema integrato creato con l'obiettivo di fornire il migliore price/performance per carichi analitici. Questo tipo di appliance permette una completa configurazione ottimizzata dei processi analitici, dall'applicazione al sistema di storage. Permette inoltre al fornitore di offrire tool personalizzati per installare, gestire e amministrare il sistema software e hardware integrato.
Molti di questi prodotti furono inizialmente sviluppati da piccoli vendor e indirizzavano progetti molto specifici e indipendenti dal data warehouse aziendale. Con la progressiva loro maturazione l'utilizzo si è poi esteso a carichi di lavoro eterogenei e, in alcuni casi, per supportare enterprise data warehouse di piccole dimensioni. Il successo di queste appliance ha fatto sì che più e più fornitori di Rdbms tradizionali li integrassero nella propria offerta.
Software only platform è invece un insieme di componenti software integrato per gestire carichi analitici. Così come per le appliance, molti di questi prodotti sono stati inizialmente creati da piccoli vendor su target specifici. Spesso utilizzano prodotti open source e sono predisposti per essere installati su hardware commodity a basso costo. La portabilità hardware comporta però il prezzo di non potere sfruttare al meglio la singola piattaforma hardware. Alcune di queste piattaforme software sono anche disponibili in virtual images, utili per eseguire una valutazione o essere utilizzati in ambienti di sviluppo e in ambienti Cloud.
Lo sviluppo di prodotti Adbms da parte di piccole aziende innovative ha fatto sì che i vendor tradizionali si impegnassero nel migliorare la capacità di elaborazione analitica. Ciò ha portato a miglioramenti e nuove funzionalità nei prodotti Rdbms esistenti così come a una politica di acquisizioni. EMC, per esempio, ha acquisito Greenplum, HP Vertica, IBM Netezza, Microsoft Datallegro, Teradata Aster Data.

Sistemi non relazionali
Non esiste un singolo modello di database in grado di soddisfare tutte le esigenze. Ecco perché molti clienti hanno sviluppato proprie soluzioni non relazionali. Web company come Google e Yahoo sono esempi di organizzazioni che hanno costruito soluzioni personalizzate e alcune di queste sono state offerte in public domain in modo da potere essere disponibili in modalità open software. Sono sistemi utili per elaborazione dati prevalentemente di tipo multi-strutturato e sono popolari soprattutto tra gli sviluppatori che preferiscono utilizzare linguaggi di programmazione procedurali piuttosto che linguaggi dichiarativi come SQL. Uno dei sistemi più noti è Hadoop dell'Apache Software Foundation, un framework per applicazioni che girano su cluster commodity. Il framework include un file system distribuito in grado di gestire e distribuire elevati volumi di dati attraverso i nodi hardware del cluster garantendo il più alto throughput possibile. Utilizza il modello di programmazione MapReduce che consente di frammentare i processi applicativi su più nodi del cluster e fare quindi leva sull'elaborazione parallela. Prevede inoltre linguaggi come Pig e Hive per sviluppare programmi MapReduce. Hive include Hiveql, un subset di SQL.
Hadoop MapReduce è pensato per elaborazione batch di grandi volumi di dati multi-strutturati. Non è adatto per elaborazione a bassa latenza, piccoli file o aggiornamento random di dati. Per queste ultime esigenze Hadoop fa riferimento a database come Hbase e Cassandra. Sono oramai parecchie le società che sfruttano Hadoop, nelle varie forme in cui viene commercializzato, per gestire progetti Big Data.

Quale Dbms utilizzare?
È innanzitutto importante comprendere che Dbms relazionali generalisti, Analytic Rdbms e sistemi dati non relazionali, non sono mutuamente esclusivi: ciascun approccio presenta propri vantaggi ed è molto probabile che le aziende ne utilizzino più di uno.
La scelta dipende in definitiva da tre fattori: dimensione dello storage e frequenza di aggiornamento, varietà dei dati (strutturati, multi-strutturati); complessità del processo analitico (complessità della query, caricamento dati concorrente, necessità di dati in real time, elaborazione batch o interattiva...). Per mettere a punto un'infrastruttura analitica integrata questi differenti approcci devono coesistere ed essere interoperabili. Ecco il motivo per cui i vendor rendono disponibili connettori che permettono un flusso di dati tra i differenti sistemi.

Conclusioni
Molte persone ritengono che Big Data sia un termine eccessivamente enfatizzato. Vero o non vero credo però che abbia avuto il merito di mettere in luce un aspetto di gestione dei dati che non era in precedenza risolvibile. Le tecnologie da adottare dipendono, come evidenziato in precedenza, dal volume e dalla gamma di dati da trattare, dalla complessità elaborativa e dalle capacità di risposta che si vogliono conseguire. Non ultimo dalla capacità del vendor nel gestire e amministrare questi ambienti. Tutti fattori, quindi, che devono essere attentamente valutati nel momento in cui si deve affrontare una scelta.
Un'ultima avvertenza: Big Data non significa soltanto implementazione di nuove tecnologie. Perché si possa agire con successo è necessario coinvolgere persone che comprendono il beneficio reale di processi decisionali che possono essere innescati da analisi di questo tipo. Significa essere consapevoli che un percorso di questo tipo è rivolto a raggiungere una condizione di maggiore efficienza e produttività.

Big Data, come e perché - Technology Transfer

L’evoluzione dell’IT tra sfide e promesse
Frank Greco

Verso la new digital economy. Quale architettura per la trasformazione digitale?
Mike Rosen

Ecco come capire il cliente. I diversi punti di vista della Business Analysis
James Robertson

Ecco come capire il cliente I diversi punti di vista della Business Analysis
Suzanne Robertson

E se il Design Sprint fosse il nuovo asso nella manica? Come risolvere grandi problemi e testare nuove idee
James Hobart

Come essere veramente data driven. L’importanza dell’architettura dati
Mike Ferguson

Il Machine Learning in azienda. Come migliorare performance e previsioni
Frank Greco

Portfolio management avanzato: Come trasformare gli investimenti in cambiamento
Chris Potts

L’imbuto e le biglie. Ovvero la metafora della produttività dei team
Sander Hoogendoorn

Dal Data Warehouse al digital business. Un’architettura di trent’anni ancora valida
Barry Devlin

Dai silos a un ecosistema analitico integrato. Un approccio per avere dati da usare su più sistemi
Mike Ferguson

Come accelerare l’innovazione in azienda. La nuova generazione dell’IT enterprise
Frank Greco

Tassonomie e ricerche. Ecco come ottenere migliori risultati
Heather Hedden

Viaggio verso il data warehouse logico
Il grande dilemma della business intelligence

Rick van der Lans

Enterprise information catalog. I requisiti per fare la scelta giusta
Mike Ferguson

La nuova era dell’analisi predittiva - Le aziende alla prova del Machine Learning
Frank Greco

Uno sguardo Agile - Per capire il passato e progettare il futuro
Arie van Bennekum

Trasformazione Agile
Se il product owner diventa un collo di bottiglia

Sander Hoogendoorn

Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?

Barry Devlin

Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson

Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson

I dati al centro del business
Christopher Bradley

I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin

Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck

Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg

Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson

Project manager vecchi miti e nuove realtà
Aaron Shenhar

La catena alimentare dei requisiti
Suzanne Robertson

Come diventare un’azienda data-centric
Lindy Ryan

Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson

Agilità? Basta Volere
Suzanne Robertson

Ma la vostra architettura è efficace?
Mike Rosen

Se il NoSQL diventa SQL
Rick van der Lans

La data quality e l’impatto sul business
Danette McGilvray

Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross

Usare Scrum su larga scala: cosa cambia?
Craig Larman

Le architetture per ridurre il debito tecnico
Mike Rosen

Conversando con un marziano
Suzanne Robertson

Cosa c’è di nuovo nel project management?
Aaron Shenhar

Reinventare la Business Intelligence
Barry Devlin

Il nuovo volto della business intelligence
Shaku Atre

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

I big data cambiano il mercato dei Database Server
Rick van der Lans

Un “superstorm” di informazioni
Barry Devlin

I dieci step per la qualità dei dati
Danette McGilvray

Perché è meglio evitare il private cloud?
Jason Bloomberg

Leonardo da Vinci aveva ragione!
Chris Date

Mobile user experience: Come adottare una strategia sostenibile
James Hobart

Cosa significa occuparsi di architettura?
Mike Rosen

Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans

Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson

Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss

BI², la Business Intelligence al quadrato
Barry Devlin

I test di regressione in ambienti legacy
Randy Rice

Le conseguenze della consumerizzazione e del Cloud
Chris Potts

Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre

Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss

Big Data, come e perché
Colin White

Business Capabilities e l'allineamento del business all'IT
Mike Rosen

Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl

BI, ma il Data Warehouse è ancora necessario?
Colin White

Reinventare la Business Intelligence
Barry Devlin

Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre

Modelli e processi di User acceptance testing
Randy Rice

I limiti nel gestire l'IT come un Business
Chris Potts

Le componenti fondamentali del Cloud
George Reese

Metadati e DW 2.0
Derek Strauss

BI Open Source: basso costo e alto valore?
Jos van Dongen

Semplicità e requisiti
Suzanne Robertson

Business intelligence e analisi testuale
Bill Inmon

Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss

Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin

Ambiente efficiente di ricerca di informazioni
James Hobart

Il Business deve trainare la Strategia IT
Chris Potts

Web database: la questione MapReduce (seconda parte)
Colin White

Web database: la questione MapReduce
Colin White

Misura delle prestazioni. I sette comandamenti
Harry Chapman

Le dieci cose che un architetto deve fare per creare valore
Mike Rosen

Sviluppare applicazioni a prova di sicurezza
Ken van Wyk

The ECM Landscape in 2008
Alan Pelz-Sharpe

Ma chi sono gli operatori dell’informazione?
Colin White

Qualità dell’informazione e trasformazione del management
Larry English

Classificazione sistematica delle informazioni
Zach Wahl

L’uso intensivo del Web nelle applicazioni di Bi
Colin White

Enterprise Search
Theresa Regli

La forza dell'astrazione
Steve Hoberman

La strada verso una BI pervasiva
Cindi Howson

Soa, una strategia di test
Randy Rice

Verso una BI più semplice e a minor costo
Colin White

I contenuti “Killer” del Web
Gerry McGovern

Sviluppo iterativo del software per i Dw
Larissa Moss

Qualità delle Informazioni e Datawarehousing
Larry English

Lo scenario Ecm 2008
Alan Pelz-Sharpe

La nascita del Web 3.0
John Kneiling

Documentazione: il dossier del crimine
Suzanne Robertson

L’impatto del Web 2.0 sui portali delle imprese
Colin White

Le tecniche vincenti di IT Management
Ken Rau

Web 2.0
Ed Yourdon

Web di successo se si conosce il cliente
Gerry McGovern

Un approccio alla BI incentrato sui processi
Colin White

Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson

Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson

Il Project Manager è una Tata
Suzanne Robertson

Web di successo se si conosce il cliente
Gerry McGovern

L'informazione personalizzata
Colin White

La Tassonomia dell'Impresa
Zach Wahl

Managed Meta Data Environment (II parte)
David Marco

Managed Meta Data Environment
David Marco

Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart

La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman

La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer

La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer

Volere è Potere, in Ogni Senso
Suzanne Robertson

Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern

Il Back-end della pianificazione strategica dell'It
Ken Rau

L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson

L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson

Il Processo di gestione delle informazioni
Ted Lewis

I requisiti come strumento di gestione dei progetti
Suzanne Robertson

Il futuro è nel contenuto killer del web
Gerry McGovern

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

Rilevare i costi sulla base delle attività
Ken Rau

Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson

Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson

Il Data Store Operativo: un lavoro di martello
Claudia Imhoff

Il data warehouse orientato all'impresa
Michael Schmitz

Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman

Content management: i contenuti al primo posto
Gerry McGovern

Applicazioni Web ad alta disponibilità
John Kneiling

Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart

La tecnologia EII ripropone il data warehousing virtuale?
Colin White

Misurare per Gestire
Ken Rau

Volere è Potere, in Ogni Senso
Suzanne Robertson

Realizzare il CPM e l'integrazione della BI
Mike Ferguson

Tutti i punti della FPA
Koni Thompson

Requiem per il Portale?
Colin White

Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre

Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre

I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson

I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco

I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco

Usare i modelli per acquisire l'esperienza di progettazione
James Hobart

Realizzare l'Impresa Intelligente
Colin White

.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling

Progettare Applicazioni Mobili di Successo
James Hobart

La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson

Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson

Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson

L'Evoluzione del Portale di e-Business (II parte)
Colin White

L'Evoluzione del Portale di e-Business (I parte)
Colin White

Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling

Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James

Articoli del mese - Technology Transfer