Cos'è la governance dei dati?

Secondo Gartner, entro il 2025, l'80% delle organizzazioni che cercano di scalare il business digitale falliranno perché non adotteranno un approccio moderno alla governance dei dati e dell'analisi. Non sorprende che i Chief Data Officer identifichino la governance dei dati come una priorità assoluta per le loro iniziative in materia di dati. In un sondaggio del 2023 su 350 CDO e ruoli equivalenti a CDO, il MIT CDOIQ ha rilevato che il 45% dei Chief Data Officer identifica la governance dei dati come una priorità assoluta. Questi responsabili dei dati stanno cercando di mettere in atto un modello di governance che consenta loro di rendere i dati disponibili alle persone e alle applicazioni giuste quando ne hanno bisogno, mantenendoli sicuri e protetti, con controlli appropriati. 

La governance è stata storicamente utilizzata per bloccare i dati in silo, con l'obiettivo di prevenirne la perdita o l'uso. Tuttavia, la conseguenza dei silo di dati è che gli utenti legittimi devono superare certe barriere per accedere ai dati quando ne hanno bisogno. Senza volerlo, l'innovazione basata sui dati viene soffocata.

Hai due opzioni per rendere la governance un fattore abilitante dell'innovazione: accesso e controllo. La chiave del successo è trovare il giusto equilibrio tra accesso e controllo e il punto di equilibrio è diverso per ogni organizzazione. Quando si esercita un controllo eccessivo, i dati vengono bloccati in silo e gli utenti non sono in grado di accedervi quando ne hanno bisogno. Questo non solo blocca la creatività, ma porta anche alla creazione di sistemi IT shadow che lasciano i dati obsoleti e non protetti. D'altra parte, quando si fornisce un accesso troppo permissivo, i dati finiscono in applicazioni e archivi che ne aumentano il rischio di perdita.

Stabilire la giusta governance, che bilanci accesso e controllo, dà alle persone fiducia nei dati promuovendo l'individuazione, la cura, la protezione e la condivisione appropriate. Ciò incoraggia l'innovazione, salvaguardando al contempo i dati.

La governance ML applica molte delle stesse pratiche di governance dei dati al ML. La qualità e l'integrazione dei dati devono fornire i dati necessari per la formazione dei modelli e l'implementazione della produzione (gli archivi funzionalità sono un aspetto importante). L'intelligenza artificiale (IA) responsabile sta prestando particolare attenzione all'utilizzo di dati sensibili per la creazione di modelli. Le funzionalità aggiuntive di governance del machine learning includono la possibilità di partecipare alla creazione, all'implementazione e al monitoraggio dei modelli, la documentazione della formazione dei modelli, il controllo delle versioni, i casi d'uso supportati e la guida all'uso etico dei modelli e il monitoraggio del modello in produzione per verificarne l'accuratezza, la deriva, il sovraadattamento e l'inadeguamento.

L'IA generativa richiede funzionalità di governance dei dati aggiuntive, come la qualità e l'integrità dei dati per supportare l'adattamento dei modelli di base per la formazione e l'inferenza, la gestione della tossicità e dei pregiudizi dell'IA generativa e le operazioni del modello di fondazione (FM): FMOps.

Puoi supportare IA/ML con lo stesso programma di governance dei dati. La preparazione dei dati è necessaria per trasformare i dati in una forma utilizzabile dai modelli IA/ML per la formazione e l'inferenza della produzione, ma la preparazione più efficiente dei dati è quella che non è necessario eseguire. I data scientist dedicano troppo tempo alla preparazione dei dati per ogni caso d'uso: il tuo team di governance dei dati può aiutarti ad alleviare questo oneroso lavoro indifferenziato. Inoltre, la governance dei dati può supervisionare la creazione di archivi funzionalità sagomati da utilizzare in casi d'uso di IA e ML.

Infine, i dati sensibili devono essere protetti in modo appropriato, in modo che il tuo team possa mitigare i rischi che i dati sensibili vengano utilizzati per addestrare i modelli di base.

Proprio come l'analisi in generale, devi governare l'uso dei modelli IA/ML che crei o personalizzi. Idealmente, questo dovrebbe essere strettamente associato alla governance dell'analisi, perché quella funzione saprà supportare varie aree aziendali.

Il tuo programma di governance dei dati dovrebbe bilanciare centralizzazione e decentralizzazione (incluso il self-service). In tutta la tua organizzazione, disporrai di un mix di governance centralizzata, federata e decentralizzata, a seconda dei requisiti aziendali. Dovresti potenziare il più possibile i team di dominio mantenendo la coerenza tra i domini (ad esempio la capacità di collegare i dati tra loro).  

• Governance centralizzata dei dati: le organizzazioni centrali sono in ultima analisi responsabili delle dichiarazioni di intenti, delle politiche, delle scelte degli strumenti e altro ancora. Le azioni quotidiane vengono spesso inserite nelle linee di business (LOB).
• Governance dei dati federata: la governance dei dati federata consente alle singole unità aziendali o alle iniziative aziendali di operare nel modo più adatto alle loro esigenze. Con la governance dei dati federata, esiste ancora un team centralizzato più piccolo che concentra il proprio lavoro sulla risoluzione dei problemi che si ripetono più frequentemente, ad esempio includendo gli strumenti di qualità dei dati a livello aziendale.
• Governance dei dati self-service o decentralizzata: ogni LOB fa ciò di cui ha bisogno per il proprio progetto specifico. Ogni progetto utilizza qualsiasi strumento o processo di altri progetti in cui è adatto all'uso. Man mano che argomenti come la data mesh (a sua volta decentralizzata) aumentano di popolarità, aumenta anche la governance dei dati self-service. 

La governance dei dati richiede persone, processi e soluzioni tecnologiche in una vasta gamma di funzionalità.

Cura i dati su larga scala per limitare l'espansione incontrollata dei dati. Curare i dati su larga scala significa identificare e gestire le origini dati più preziose, inclusi database, data lake e data warehouse, in modo da limitare la proliferazione e la trasformazione degli asset di dati critici. Curare i dati significa anche garantire che i dati corretti siano precisi, aggiornati e privi di informazioni sensibili, in modo che gli utenti possano avere fiducia nelle decisioni basate sui dati e nelle applicazioni di alimentazione dei dati.

Funzionalità: gestione della qualità dei dati, integrazione dei dati e gestione dei dati master

Scopri e comprendi i tuoi dati nel contesto per accelerare le decisioni basate sui dati. Comprendere i dati nel contesto significa che tutti gli utenti possono scoprire e comprendere il significato dei propri dati in modo da poterli utilizzare con sicurezza per aumentare il valore aziendale. Con un catalogo dati centralizzato, i dati possono essere trovati facilmente, l'accesso può essere richiesto e i dati possono essere utilizzati per prendere decisioni aziendali.

Funzionalità: profilazione dei dati, derivazione dei dati e cataloghi di dati

Proteggi e condividi in modo sicuro i tuoi dati con controllo e sicurezza. Proteggere i dati significa essere in grado di trovare il giusto equilibrio tra privacy, sicurezza e accesso ai dati. È essenziale essere in grado di governare l'accesso ai dati oltre i confini dell'organizzazione, con strumenti intuitivi sia per gli utenti aziendali che per quelli di progettazione.

Funzionalità: ciclo di vita dei dati, conformità e sicurezza dei dati

Riduci i rischi aziendali e migliora la conformità normativa. Ridurre il rischio significa capire come vengono utilizzati i dati e da chi. I servizi AWS ti aiutano a monitorare e controllare l'accesso ai dati, incluso l'accesso tramite modelli ML, per contribuire a garantire la sicurezza dei dati e la conformità normativa. Il machine learning richiede anche la trasparenza del controllo per garantire un uso responsabile e una rendicontazione semplificata.

Funzionalità: controllo dell'utilizzo per dati e ML

Con la governance dei dati end-to-end su AWS, le organizzazioni hanno il controllo su dove si trovano i propri dati, chi vi ha accesso e cosa si può fare con essi in ogni fase del flusso di lavoro dei dati. La governance dei dati con AWS aiuta le organizzazioni ad accelerare le decisioni basate sui dati consentendo alle persone e alle applicazioni giuste di trovare, accedere e condividere i dati giusti in modo sicuro e protetto quando ne hanno bisogno. Puoi curare i dati automatizzando l'integrazione e la qualità dei dati per limitare la proliferazione dei dati. Puoi scoprire e comprendere i tuoi dati con cataloghi centralizzati che migliorano l'alfabetizzazione dei dati. Puoi proteggere i tuoi dati con autorizzazioni precise che ti consentono di condividere i dati con sicurezza. È possibile ridurre i rischi e migliorare la conformità normativa monitorando e verificando l'accesso ai dati.

• Amazon DataZone: sblocca i dati oltre i confini dell'organizzazione con la governance integrata
• AWS Glue: scopri, prepara e integra tutti i tuoi dati su qualsiasi scala
• AWS Lake Formation: crea, gestisci e proteggi i data lake in pochi giorni
• Amazon QuickSight ha unificato la business intelligence su vasta scala
• Amazon SageMaker: costruisci, addestra e implementa modelli di machine learning per qualsiasi caso d'uso con infrastrutture, strumenti e flussi di lavoro completamente gestiti.
• Pagina Web sulla governance ML
• Amazon Bedrock: crea e scala applicazioni di IA generativa con modelli di fondazione (FM)
• Amazon Macie: scopri e proteggi i dati sensibili su larga scala
• Punti di accesso di Amazon Simple Storage Service (Amazon S3): archiviazione di oggetti costruita per recuperare qualsiasi quantità di dati da qualsiasi luogo.
• Scambio dati su AWS: trova, iscriviti e utilizza facilmente dati di terze parti nel cloud
• AWS Clean Rooms: crea camere bianche in pochi minuti per collaborare con i tuoi partner senza condividere dati grezzi

Inizia a usare l'archiviazione di dati in AWS creando un account gratuito oggi stesso.