Comprendere i team e le funzioni per l'analisi su scala cloud in Azure

Per l'analisi su scala cloud, è consigliabile spostare team come quelli di inserimento, elaborazione, analisi, consumo e visualizzazione dal lavoro in team orizzontalmente compartimentati a team agili multidisciplinari in ogni livello. I team di piattaforma, come le operazioni sulla piattaforma dati e altre operazioni sulla piattaforma, vengono raggruppati in un gruppo comune di piattaforma.

Gruppo di piattaforme

Il gruppo di piattaforme è costituito da due team:

• Operazioni della piattaforma: le operazioni della piattaforma fanno parte del gruppo di piattaforme. Operano e possiedono la piattaforma cloud. Questo team è responsabile dell'implementazione della zona di destinazione per la gestione dei dati e della struttura della zona di destinazione dei dati, come networking, peering, servizi di base e monitoraggio nell'ambito dell'analisi su scala cloud. In genere aiutano le operazioni della piattaforma dati a sviluppare interfacce di gestione dei servizi IT per gli utenti personali nella zona di destinazione dei dati all'inizio dell'implementazione dell'analisi su scala cloud. Queste interfacce sono spesso chiamate API REST a un servizio per l'integrazione di prodotti dati, impostare la sicurezza e aggiungere servizi alle zone di approdo dei dati.

• operazioni della piattaforma dati: Il gruppo di operazioni della piattaforma dati è ospitato all'interno del gruppo di piattaforme. Le operazioni della piattaforma dati forniscono servizi come il monitoraggio centrale, la catalogazione e i criteri riutilizzabili per zone e prodotti di destinazione dei dati. Le operazioni della piattaforma dati possiedono la zona di destinazione di gestione dei dati e le altre responsabilità del team sono:

Sviluppare un'infrastruttura

• Sviluppare modelli di infrastruttura come codice per le zone di destinazione dei dati; I modelli devono essere aggiornati e mantenuti nel tempo e possono coprire più scenari.
• Assegnare priorità ai modelli e aggiungere nuove funzionalità in base al feedback di altri team.
• Lavorare in un framework Agile con l'obiettivo comune di produrre modelli di infrastruttura standard.

Rispondere alle nuove richieste di zona di destinazione dei dati

Il team operativo della piattaforma dati deve fornire gli strumenti e i servizi per supportare i modelli creati. Gli strumenti di gestione dei servizi IT come ServiceNow possono gestire le richieste di ticket approvate dal team operativo della piattaforma dati per la creazione di nuove zone di destinazione dei dati. Dopo l'approvazione, una nuova zona di atterraggio farebbe un fork dal modello di base per creare un nuovo progetto DevOps, e le pipeline distribuirebbero i template in un nuovo ambiente.

Ciclo di feedback e miglioramento delle operazioni della piattaforma dati

Sono disponibili due opzioni per migliorare i modelli:

• I team responsabili delle istanze del modello di infrastruttura possono migliorare i modelli e le distribuzioni DevOps. Se i team rilevano problemi nei modelli, le operazioni della piattaforma dati possono supportare i team e unire le modifiche dal fork al modello.
• Altri team della zona di destinazione dei dati devono essere in grado di creare ticket di miglioramento e backlog che migliorano i modelli in base alla priorità dei ticket.

Criteri di Azure per l'analisi su scala cloud

I principi di analisi su scala cloud si concentrano sull'agilità del self-service e sulle guide di protezione per salvaguardare dati, costi e schemi. Le operazioni della piattaforma dati lavorano con le operazioni della piattaforma per definire la qualità, e questi team collaborano per implementare politiche specifiche sui dati. Le operazioni della piattaforma dati devono seguire un processo di revisione per aggiornare e gestire nuove funzionalità aggiunte ai prodotti.

Distribuire e gestire le zone di destinazione della gestione dei dati

Le operazioni della piattaforma dati e le operazioni della piattaforma interagiscono per distribuire e gestire le zone di destinazione della gestione dei dati. Una zona di destinazione per la gestione dei dati fornisce servizi condivisi alle zone di destinazione dei dati, rendendola un componente centrale dell'analisi su scala cloud.

Operazioni della zona di destinazione dei dati

Le operazioni della zona di destinazione dei dati operano e gestiscono l'istanza della zona di destinazione dei dati rispondendo alle richieste del team dell'applicazione dati. Forniscono molti degli stessi servizi delle operazioni della piattaforma dati, ma sono limitati alla zona di destinazione dei dati.

Escono dal repository con fork creato quando viene stabilita una zona di destinazione dei dati. Per richiedere modifiche ai criteri, è necessario generare ticket per le operazioni della piattaforma dati per consentire queste eccezioni.

Supportare il team delle applicazioni di dati per personalizzare i prodotti di dati

Il team operativo della data landing zone supporta il team delle applicazioni dati utilizzando pull request per inviare nuovi modelli di prodotto ai rispettivi repository di data product.

Come proprietario della zona di destinazione, Azure DevOps instrada l'approvazione per le modifiche apportate alle operazioni della zona di destinazione dei dati:

• Se approvato, le modifiche al modello vengono spostate nel ramo principale e distribuite nell'ambiente di produzione tramite l'integrazione continua/lo sviluppo continuo, causando l'aggiornamento della piattaforma/dell'infrastruttura dei prodotti dati.
• Se negata, le operazioni della zona di destinazione dei dati funzionano con il team dell'applicazione dati per correggere le modifiche.

Rispondere alle nuove richieste di prodotti dati

Le operazioni della data landing zone supportano i team delle applicazioni dati nella creazione di nuovi prodotti dati. Quando un team dell'applicazione dati richiede assistenza, una soluzione di gestione del servizio IT, ad esempio un'app per la logica di automazione, orchestra l'approvazione o la distribuzione di un nuovo repository di applicazioni dati. Le operazioni della zona di destinazione dei dati ricevono una notifica delle nuove richieste e approvano o rifiutano le distribuzioni. Dopo l'approvazione, viene creato un nuovo progetto DevOps; vengono forkati il modello principale e gli artefatti e viene distribuita una nuova applicazione dati.

Attenersi al Framework Well-Architected di Azure

Le operazioni della zona di destinazione dei dati sono responsabili della zona di destinazione dei dati ed è consigliabile che il team sia esperto nel Azure Well-Architected Framework, che fornisce indicazioni sull'ottimizzazione dei costi, l'affidabilità e la sicurezza.

Affari come al solito

Le operazioni della zona di atterraggio dei dati sono responsabili delle attività aziendali, che includono la raccolta di feedback, suggerimenti e richieste di miglioramento. Queste richieste vengono classificate in ordine di priorità e condivise regolarmente con le operazioni della piattaforma dati. Il team monitora la zona di atterraggio dei dati per incidenti ed eventi di integrità. Interagiscono con altri team operativi durante eventi imprevisti gravi per attenuare, ripristinare i backup, il failover e ridimensionare i servizi.

Team applicazione dati

Il team dell'applicazione dati offre nuovi prodotti di dati all'azienda. Provengono dagli archivi dati letti dalle integrazioni dei dati e li trasformano in soluzioni aziendali. Qualsiasi elemento che trasforma i dati per l'uso viene classificato come prodotto di dati. Questo team è spesso un mix di specialisti tecnici ed esperti di materia che possono aiutare l'azienda a raggiungere rapidamente valore. I prodotti dati possono variare da report semplici e nuovi prodotti dati a configurazioni personalizzate con app Web Kubernetes guidate dai dati.

Nuovi prodotti dati

I proprietari dei prodotti e i rappresentanti aziendali creano richieste di nuovi prodotti dati quando sono necessari. L'ufficio dati valuta i requisiti e assembla un nuovo team di applicazioni dati con un'ampia gamma di competenze. Il team identifica i prodotti dati necessari e richiede l'autorizzazione per accedere all'asset di dati. Se è necessario un nuovo prodotto di dati, il team dell'applicazione dei dati riceve un ticket per ingerirlo. Il team identifica i servizi necessari per il nuovo prodotto dati e richiede questo ultimo tramite il processo di distribuzione dell'applicazione dati . Il team dell'applicazione dati riceve un repository con fork dal modello di applicazione dati master per distribuire l'applicazione dati.

Certificare i prodotti dati

In una piattaforma self-service chiunque può creare report, curare i prodotti dati in un account di archiviazione di Azure Data Lake per sviluppatori e rilasciare i prodotti dati per l'azienda da usare. Le richieste di revisione dei prodotti dati si verificano quando:

• Gli sponsor aziendali aprono ticket per certificare i prodotti di dati.
• Gli operatori della piattaforma dati nominano i prodotti dati in base alla popolarità.

Un team dell'applicazione dati può guidare un processo di certificazione, definito dalle operazioni della piattaforma dati e dalla sicurezza digitale, che può includere:

• Test ideati per convalidare le trasformazioni dei dati e la logica di business
• Valutazioni per la sicurezza, la conformità o l'impatto sulle prestazioni

Dopo la certificazione, gli artefatti vengono raccolti e caricati in un repository di prodotto dati, la documentazione viene pubblicata e il team dell'applicazione dati riceve una notifica.

Supporto per i prodotti

Gli utenti possono inviare commenti e suggerimenti con una soluzione di gestione dei servizi IT o direttamente all'interno del prodotto come ticket indirizzato al proprietario del prodotto dati. Questa persona valuta la richiesta e determina se inoltrarla al team dell'applicazione dati per correggerla o inserire feedback in un backlog del prodotto ed esaminarlo durante i cicli di pianificazione del prodotto.

Team di applicazioni di data science

Anche se il team dei prodotti di data science crea prodotti dati, si distingue poiché è grazie alle loro funzioni che si giunge alla creazione di tali prodotti. Il loro lavoro comporta che i modelli pubblicati diventino prodotti di dati che altri utenti possono usare, e il modello segue un modello operativo di Machine Learning associato all'area di destinazione dei dati.

Il team dei prodotti di data science inizia con la ricerca e la scoperta dei prodotti di dati pertinenti per il loro caso d'uso. Le soluzioni di governance dei dati possono rivelare altri dettagli, ad esempio qualità dei dati, derivazione o un set di dati o un profilo simile. Esegue una ricerca se è disponibile un set di dati di esempio e se i dati sono rilevanti per il progetto. Dopo che l'accesso ai dati viene concesso tramite un catalogo dati o un pacchetto di accesso a Microsoft Entra, il team usa i servizi nella zona di destinazione dei dati per esplorare e analizzare i dati.

Prima di elaborare tutti i dati, il team usa il calcolo locale o remoto per elaborare e analizzare i prodotti dati di esempio. Possono ottimizzare le destinazioni di calcolo remote con prodotti di dati più grandi per addestrare e sviluppare modelli di Machine Learning, con run, output e modelli tracciati all'interno di Azure Machine Learning.

Quando il team ha sviluppato modelli di Machine Learning, inizia a renderli operativi. Per raggiungere questo obiettivo, espandono il team per includere DataOps e ingegneri di Machine Learning che possono aiutare a spostare i modelli in un nuovo prodotto dati, come delineato nel ruolo del team di applicazioni dati.

Il team di data science continua a collaborare con i proprietari dei prodotti dati associati per acquisire feedback, fornire supporto e aggiornare i modelli nell'ambito della produzione usando una metodologia di operazioni di Machine Learning .

Analista

Gli analisti rappresentano un gruppo di grandi dimensioni che include analisti aziendali, utenti esperti e in genere chiunque nell'organizzazione abbia un interesse nell'ottimizzazione dei dati per creare nuove informazioni aziendali. L'abilitazione al self-service è un principio chiave che supporta gli analisti nell'accesso ai dati e alle analisi senza dover assicurare un budget e risorse informatici formali.

Consiglio

Le aziende devono visualizzare informazioni dettagliate create dagli analisti come set successivo di potenziali prodotti dati da certificare per consentire ad altri utenti di usarli all'interno dell'azienda.

Trovare e richiedere dati

Gli analisti consultano marketplace/cataloghi di dati per individuare i prodotti dati pertinenti.

• Se la risorsa di dati non viene trovata o non esiste, gli analisti aprono un ticket di supporto con il team dell'applicazione dei dati. Il team dell'applicazione dati aiuta a trovare il set di dati o aggiunge la richiesta al backlog per valutarla in un altro ciclo di sviluppo.

• Se il set di dati esiste, gli analisti possono identificare l'appartenenza al gruppo Microsoft Entra per gli asset elencati nel catalogo e usare il portale dei pacchetti di accesso di Azure per richiedere l'accesso al gruppo Microsoft Entra.

Creare nuovi report

Gli analisti possono usare strumenti come Microsoft Power BI per integrare i prodotti dati nei report. Questi report possono essere per uso individuale o per la pubblicazione di un prodotto dati certificato. Prima di pubblicare il report nell'organizzazione, è necessario che sia certificato con un processo di certificazione del prodotto dati per la sicurezza, la conformità e le prestazioni.

Eseguire query secondo necessità

L'analisi su scala cloud include aree di lavoro condivise in cui gli analisti possono eseguire query sui dati, soggetti alle autorizzazioni. È comune che i prodotti dati forniscano risorse di calcolo dedicate per eseguire query in base alle esigenze. In entrambi i casi, gli analisti possono eseguire query sui prodotti di dati nelle zone di destinazione dei dati, in base alle autorizzazioni. I risultati delle query possono essere archiviati nelle aree di lavoro di Azure Data Lake da usare di nuovo.

Commenti e suggerimenti degli utenti

Poiché gli analisti possono fungere da fonte inesplorata di informazioni e miglioramenti, le aziende sono fortemente incoraggiate a creare gruppi di feedback degli utenti per ogni zona di atterraggio dei dati.

Oltre a partecipare a questi gruppi di utenti, gli analisti devono inviare commenti sugli asset di dati al team delle applicazioni dati e segnalare problemi del catalogo dei dati all'interno del catalogo stesso o della soluzione di gestione dei servizi IT. Possono inviare problemi relativi al processo dei dati al team dell'applicazione dei dati oppure all'interno di una soluzione di gestione dei servizi informatici.

Nota

Una soluzione di gestione dei servizi IT deve fungere da punto centrale per l'invio di feedback e per l'escalation dei problemi. L'invio di commenti e suggerimenti diretti ai singoli team potrebbe sembrare una soluzione più veloce, ma questo approccio non offre visibilità aziendale sulle sfide della piattaforma. Una soluzione di gestione dei servizi IT con routing corretto ai team dell'applicazione dati può offrire all'impresa una visione unificata dell'intera impresa.

Matrice di assegnazione delle responsabilità

• Responsabile: Chi completa il compito?
• Accountable: Chi sta prendendo decisioni e intraprendendo azioni sul compito?
• Consultati: chi riceve comunicazioni su decisioni e attività?
• Informato: Chi viene aggiornato sulle decisioni e sulle azioni durante il progetto?

Ruolo	Ambiente cloud	Zona di destinazione per la gestione dei dati	Zona di destinazione dei dati	Integrazione dei dati	Prodotti dati
Proprietario del servizio	Informato	Responsabile	Consultato e informato	Consenso informato	Consultato e informato
Proprietario del servizio della zona di atterraggio dei dati	Informato	Consultato e informato	Responsabile	Responsabile	Responsabile
Operazioni della piattaforma cloud	Responsabile	Consultato	Consultato/a	Consultato	Consultato
Operazioni della piattaforma dati	Consultato	Responsabile	Responsabile	Consultato	Consultato/a
Operazioni della zona di destinazione dei dati	Informato	Responsabile	Responsabile	Responsabile	Responsabile
Team applicazioni dati		Informato	Informato/a	Informato	Responsabile

Passaggi successivi

Azure Well-Architected Framework per carichi di dati