Big Data

Cosa significa Big Data?

Big data è un termine generico utilizzato per descrivere insiemi di dati estremamente grandi, difficili da elaborare e analizzare in tempi ragionevoli con i metodi tradizionali.

I big data sono costituiti da dati strutturati, dati non strutturati e dati semi-strutturati. Sono formalmente caratterizzati dalle cinque V: volume, velocità, varietà, veridicità e valore.

• Il volume descrive la scala e le dimensioni enormi dei set di dati che contengono terabyte, petabyte o exabyte di dati.
• La velocità descrive l’elevata rapidità con cui vengono generate enormi quantità di nuovi dati.
• La varietà descrive l’ampio assortimento di tipi e formati di dati che vengono generati.
• La veridicità descrive la qualità e l’integrità dei dati in un insieme di dati estremamente ampio.
• Il valore descrive la capacità dei dati di essere trasformati in informazioni utili.

Esempi

I big data provengono da un’ampia varietà di fonti in diversi settori e ambiti. Di seguito sono riportati alcuni esempi di fonti per grandi insiemi di dati e i tipi di dati che includono.

Importanza

I big data sono importanti per il loro potenziale di rivelazione di modelli, tendenze e altre intuizioni che possono essere utilizzate per prendere decisioni basate sui dati.

Dal punto di vista aziendale, i big data aiutano le organizzazioni a migliorare l’efficienza operativa e a ottimizzare le risorse. Ad esempio, aggregando grandi insiemi di dati e utilizzandoli per analizzare il comportamento dei clienti e le tendenze del mercato, un’azienda di e-commerce può prendere decisioni che porteranno a una maggiore soddisfazione e fedeltà dei clienti e, in ultima analisi, a un aumento dei ricavi.

I progressi degli strumenti open-source in grado di memorizzare ed elaborare grandi insiemi di dati hanno migliorato in modo significativo l’analisi dei big data. Le comunità attive di Apache, per esempio, sono state spesso accreditate per aver reso più facile ai nuovi arrivati l’uso dei big data per risolvere i problemi del mondo reale.

Tipologie di Big Data

I big data possono essere classificati in tre tipi principali: dati strutturati, non strutturati e semi-strutturati.

• Big data strutturati: Sono altamente organizzati e seguono uno schema o un formato predefinito. In genere sono archiviati in fogli di calcolo o database relazionali. Ogni elemento dei dati ha un tipo di dato specifico ed è associato a campi e tabelle predefiniti. I dati strutturati si caratterizzano per la loro coerenza e uniformità, che ne facilita l’interrogazione, l’analisi e l’elaborazione mediante i tradizionali sistemi di gestione dei database.
• Big data non strutturati: Non hanno una struttura predefinita e possono o meno stabilire relazioni chiare tra le diverse entità di dati. L’identificazione di schemi, sentimenti, relazioni e informazioni rilevanti all’interno dei dati non strutturati richiede in genere strumenti avanzati di intelligenza artificiale come il Natural Language Processing (NLP), il Natural Language Understanding (NLU) e la computer vision.
• Big data semi-strutturati: contengono elementi di dati strutturati e non strutturati. Possiedono una struttura organizzativa parziale, come i file XML o JSON, e possono includere file di log, dati di sensori con timestamp e metadati.

Nella maggior parte dei casi, i dati di un’organizzazione sono una miscela di tutti e tre i tipi di dati. Ad esempio, un set di dati di grandi dimensioni per un fornitore di e-commerce potrebbe includere dati strutturati provenienti dai dati demografici dei clienti e dai record delle transazioni, dati non strutturati provenienti dai feedback dei clienti sui social media e dati semi-strutturati provenienti dalle comunicazioni interne via e-mail.

Sfide

L’evoluzione dei big data dall’inizio del secolo è stata una corsa sulle montagne russe di sfide seguite da soluzioni.

All’inizio, uno dei maggiori problemi legati alle enormi quantità di dati generati da Internet era che i sistemi di gestione dei database tradizionali non erano stati progettati per memorizzare l’enorme volume di dati prodotti dalle aziende con il passaggio al digitale.

Nello stesso periodo, la varietà dei dati è diventata una sfida considerevole. Oltre ai dati strutturati tradizionali, i social media e l’IoT hanno introdotto dati semi-strutturati e non strutturati. Di conseguenza, le aziende hanno dovuto trovare il modo di elaborare e analizzare in modo efficiente questi diversi tipi di dati, un altro compito per il quale gli strumenti tradizionali non erano adatti.

Con l’aumento del volume dei dati, è cresciuta anche la quantità di informazioni errate, incoerenti o incomplete e il data management è diventato un ostacolo significativo.

Non è passato molto tempo prima che i nuovi utilizzi di set di dati estremamente grandi sollevassero una serie di nuove domande sulla privacy e sulla sicurezza dei dati. Le organizzazioni dovevano essere più trasparenti riguardo ai dati raccolti, alla loro protezione e al loro utilizzo.

I diversi tipi di dati devono essere combinati in un unico formato coerente per l’analisi dei dati. La varietà di tipi e formati di dati in grandi insiemi di dati semistrutturati pone ancora problemi di integrazione, analisi e interpretazione dei dati.

Ad esempio, un’azienda potrebbe aver bisogno di mescolare i dati di un database relazionale tradizionale (dati strutturati) con i dati raccolti dai post dei social media (dati non strutturati). Il processo di trasformazione di questi due tipi di dati in un formato unificato che possa essere utilizzato per l’analisi può richiedere tempo e difficoltà tecniche.

I progressi dell’apprendimento automatico e dell’intelligenza artificiale (AI) hanno contribuito a risolvere molte di queste sfide, ma non sono privi di difficoltà.

Strumenti per i Big Data

La gestione di grandi insiemi di dati che contengono una miscela di tipi di dati richiede strumenti e tecniche specializzate per la gestione e l’elaborazione di diversi formati di dati e strutture di dati distribuite. Tra gli strumenti più diffusi vi sono:

Azure Data Lake: Un servizio cloud di Microsoft noto per semplificare la complessità dell’acquisizione e dell’archiviazione di enormi quantità di dati.

Beam: Un modello di programmazione unificato open-source e un insieme di API per l’elaborazione batch e stream in diversi framework di big data.

Cassandra: Un database NoSQL open-source, altamente scalabile e distribuito, progettato per gestire enormi quantità di dati su più server commodity.

Databricks: Una piattaforma di analisi unificata che combina le funzionalità di data engineering e data science per l’elaborazione e l’analisi di enormi set di dati.

Elasticsearch: Un motore di analisi che consente di effettuare ricerche, indicizzazioni e analisi rapide e scalabili su insiemi di dati estremamente grandi.

Google Cloud: Una raccolta di strumenti e servizi per i big data offerti da Google Cloud, come Google BigQuery e Google Cloud Dataflow.

Hadoop: Un framework open-source ampiamente utilizzato per l’elaborazione e l’archiviazione di insiemi di dati estremamente grandi in un ambiente distribuito.

Hive: Uno strumento open-source di data warehouse e di interrogazione simile a SQL che viene eseguito su Hadoop per facilitare l’interrogazione e l’analisi di grandi insiemi di dati.

Kafka: Una piattaforma di streaming distribuito open-source che consente l’elaborazione dei dati e la messaggistica in tempo reale.

KNIME Big Data Extensions: Integra la potenza di Apache Hadoop e Apache Spark con KNIME Analytics Platform e KNIME Server.

MongoDB: Un database NoSQL orientato ai documenti che offre elevate prestazioni e scalabilità per le applicazioni di big data.

Pig: Un linguaggio di scripting di alto livello e un framework di esecuzione open source per l’elaborazione e l’analisi di grandi insiemi di dati.

Redshift: Il servizio di data warehouse di Amazon, completamente gestito e su scala petabyte.

Spark: Un motore di elaborazione dati open-source che offre capacità di analisi ed elaborazione dati veloci e flessibili per insiemi di dati estremamente grandi.

Splunk: Una piattaforma per la ricerca, l’analisi e la visualizzazione di dati generati dalle macchine, come log ed eventi.

Tableau: Un potente strumento di visualizzazione dei dati che aiuta gli utenti a esplorare e presentare le intuizioni di grandi insiemi di dati.

Talend: Uno strumento open-source per l’integrazione dei dati e l’ETL (Extract, Transform, Load) che facilita l’integrazione e l’elaborazione di insiemi di dati estremamente grandi.

Big Data e IA 

I big data sono stati strettamente legati ai progressi dell’intelligenza artificiale, come l’AI generativa, perché fino a poco tempo fa i modelli di IA dovevano essere alimentati con grandi quantità di dati di addestramento per poter imparare a rilevare modelli e fare previsioni accurate.

In passato, l’assioma “I grandi dati sono per le macchine. I piccoli dati sono per le persone” veniva spesso usato per descrivere la differenza tra big data e small data, ma questa analogia non è più valida. Con la continua evoluzione delle tecnologie di IA e ML, la necessità di disporre di big data per l’addestramento di alcuni tipi di modelli di IA e ML sta diminuendo, soprattutto in situazioni in cui l’aggregazione e la gestione di grandi insiemi di dati richiede tempo e denaro.

In molti scenari reali, non è possibile raccogliere grandi quantità di dati per ogni possibile classe o concetto che un modello può incontrare. Di conseguenza, si è affermata la tendenza a utilizzare modelli basati su big data per il pre-addestramento e piccoli insiemi di dati per la loro messa a punto.

Il passaggio dai big data all’utilizzo di dati di piccole dimensioni per addestrare i modelli di intelligenza artificiale e di analisi ML è determinato da diversi progressi tecnologici, tra cui l’apprendimento per trasferimento e lo sviluppo di modelli di apprendimento zero-shot, one-shot e few-shot.