Cluster in modalità applicazione Apache Flink su HDInsight su AKS (Azure Kubernetes Service)
Importante
Azure HDInsight su AKS è stato ritirato il 31 gennaio 2025. Scopri di più con questo annuncio.
È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.
Importante
Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su AKS. Per domande o suggerimenti sulle funzionalità, invii una richiesta in AskHDInsight con i dettagli e ci segua per altri aggiornamenti sulla Community di Azure HDInsight.
HDInsight su AKS ora offre un cluster in modalità Flink Application. Questo cluster consente di gestire il ciclo di vita della modalità applicazione Flink del cluster usando il portale di Azure con un'interfaccia facile da usare e le API REST di Gestione risorse di Azure. I cluster in modalità applicazione sono progettati per supportare processi di grandi dimensioni e a esecuzione prolungata con risorse dedicate e gestire attività di elaborazione dati estese o a elevato utilizzo di risorse.
Questa modalità di distribuzione consente di assegnare risorse dedicate per applicazioni Flink specifiche, assicurandosi che dispongano di potenza di calcolo e memoria sufficienti per gestire in modo efficiente carichi di lavoro di grandi dimensioni.
Vantaggi
Distribuzione facilitata del cluster con Job jar.
API REST intuitiva: HDInsight su AKS fornisce API REST ARM intuitive per gestire le operazioni di job in modalità app, come Update, Savepoint, Cancel e Delete.
Facilità di gestione degli aggiornamenti dei processi e gestione dello stato: l'integrazione del portale di Azure nativo offre un'esperienza senza problemi per l'aggiornamento dei processi e il ripristino dell'ultimo stato salvato (punto di salvataggio). Questa funzionalità garantisce la continuità e l'integrità dei dati nel ciclo di vita del processo.
Automatizzare i processi Flink usando Azure Pipelines o altri strumenti CI/CD: usando HDInsight su AKS, gli utenti Flink hanno accesso a un'API ARM Rest intuitiva. È possibile integrare facilmente le operazioni del processo Flink nella pipeline di Azure o in altri strumenti CI/CD.
Funzionalità principali
Arrestare e avviare processi con punti di salvataggio: gli utenti possono arrestare e avviare senza problemi i processi AppMode Flink dal proprio stato precedente (Savepoint). I punti di salvataggio assicurano che l'avanzamento del lavoro venga mantenuto, permettendo di riprendere senza intoppi.
Aggiornamenti del job: l'utente può aggiornare il Job AppMode in esecuzione dopo aver aggiornato il file JAR nell'account di archiviazione. Questo aggiornamento accetta automaticamente il punto di salvataggio e avvia il processo AppMode con un nuovo file JAR.
Aggiornamenti senza stato: L'esecuzione di un nuovo riavvio per un processo AppMode viene semplificata tramite aggiornamenti senza stato. Questa funzionalità consente agli utenti di avviare un riavvio pulito usando il file JAR del processo aggiornato.
Savepoint Management: in qualsiasi momento gli utenti possono creare punti di salvataggio per i processi in esecuzione. Questi punti di salvataggio possono essere elencati e usati per riavviare il processo da un checkpoint specifico in base alle esigenze.
Annulla: annulla il processo in modo permanente.
Elimina: eliminare il cluster AppMode.
Come creare un cluster di applicazioni Flink
Prerequisiti
Completare i prerequisiti nelle sezioni seguenti:
Aggiungere il file JAR di job nell'account di archiviazione.
Prima di configurare un cluster in modalità app Flink, sono necessari diversi passaggi preliminari. Uno di questi passaggi comporta l'inserimento del file JAR del processo in modalità app nell'account di archiviazione del cluster.
Creare una directory per il file JAR del processo in modalità app:
All'interno dei contenitori dedicati, si deve creare una directory nella quale caricare il file JAR del job in App Mode. Questa directory funge da percorso per l'archiviazione di file JAR da includere nel classpath del cluster O del processo Flink.
Directory Savepoints (facoltativo):
Se gli utenti intendono prendere punti di salvataggio durante l'esecuzione del processo, creare una directory separata all'interno dell'account di archiviazione per archiviare questi punti di salvataggio. Questa directory veniva utilizzata per archiviare i dati e i metadati del checkpoint per i punti di salvataggio.
Struttura di directory di esempio:
Creare un cluster in modalità app Flink
Dopo aver completato la distribuzione del pool di cluster, è possibile creare i cluster Flink AppMode. Nel caso in cui si inizi a utilizzare un pool di cluster esistente, ripassiamo i passaggi.
Nel portale di Azure digitare pool di cluster HDInsight/HDInsight/HDInsight nel servizio Azure Kubernetes e selezionare Azure HDInsight nei pool di cluster del servizio Azure Kubernetes per passare alla pagina pool di cluster. Nella pagina dei pool di cluster di HDInsight su Azure Kubernetes Service (AKS), selezionare il pool di cluster in cui si vuole creare un nuovo cluster Flink.
Nella pagina specifica del pool di cluster fare clic su + Nuovo cluster e specificare le informazioni seguenti:
Proprietà Descrizione Abbonamento Questo campo viene riempito automaticamente con la sottoscrizione di Azure registrata per il pool di cluster. Gruppo di risorse Questo campo viene automaticamente popolato e mostra il gruppo di risorse sul pool di cluster. Regione Questo campo viene popolato automaticamente e mostra l'area selezionata nel pool di cluster. Gruppo di Pool Questo campo si autopopola e mostra il nome del pool di cluster su cui il cluster viene attualmente creato. Per creare un cluster in un pool diverso, trovare il pool di cluster nel portale e fare clic su + Nuovo cluster. Versione del pool AKS in HDInsight Questo campo si compila automaticamente e mostra la versione del pool di cluster sulla quale il cluster viene attualmente creato. Versione di HDInsight su AKS Selezionare la versione secondaria o patch di HDInsight su AKS del nuovo cluster. Tipo di cluster Nell'elenco a discesa selezionare Flink. Nome del cluster Immettere il nome del nuovo cluster. Identità gestita assegnata dall'utente Nell'elenco a discesa selezionare l'identità gestita da usare con il cluster. Se si è il proprietario dell'identità del servizio gestito (MSI) e l'identità del servizio gestito non dispone del ruolo di Operatore identità gestita nel cluster, fare clic sul collegamento sotto il riquadro per assegnare i permessi necessari dall'MSI del pool di agenti AKS. Se l'MSI dispone già delle autorizzazioni corrette, non viene visualizzato alcun collegamento. Consulta i prerequisiti per altre assegnazioni di ruolo necessarie per l'MSI. Account di archiviazione Nell'elenco a discesa selezionare l'account di archiviazione da associare al cluster Flink e specificare il nome del contenitore. All'identità gestita viene inoltre concesso accesso all'account di archiviazione specificato, usando il ruolo "Proprietario dati BLOB di archiviazione" durante la creazione del cluster. Rete virtuale Rete virtuale per il cluster. Sottorete Subnet virtuale per il cluster. Abilitazione del catalogo Hive per Flink SQL:
Proprietà Descrizione Usare il catalogo Hive Abilitare questa opzione per usare un metastore Hive esterno. Database SQL per Hive Nell'elenco a discesa selezionare il database SQL in cui aggiungere tabelle hive-metastore. Nome utente amministratore SQL Immettere il nome utente dell'amministratore di SQL Server. Questo account viene usato dal metastore per comunicare con il database SQL. Archivio chiavi Nell'elenco a discesa, selezionare il Key Vault, che contiene un segreto con la password per l'amministratore del nome utente di SQL Server. È necessario configurare un criterio di accesso con tutte le autorizzazioni necessarie, ad esempio autorizzazioni chiave, autorizzazioni segrete e autorizzazioni del certificato per l'identità del servizio gestito, che viene usata per la creazione del cluster. L'identità del servizio gestito necessita di un ruolo di amministratore del Key Vault. Aggiungere le autorizzazioni necessarie usando IAM. Nome del segreto della password SQL Immettere il nome segreto dall'archivio delle chiavi in cui è archiviata la password del database SQL. 
Nota
Per impostazione predefinita, utilizziamo lo stesso account di archiviazione per il catalogo Hive che viene utilizzato per l’account di archiviazione e il contenitore durante la creazione del cluster.
Selezionare Avanti: Configurazione per continuare.
Nella pagina Configurazione specificare le informazioni seguenti:
Proprietà Descrizione Dimensioni nodo Selezionare la dimensione da usare per i nodi Flink, sia quelli head che quelli di lavoro. Numero di nodi Selezionare il numero di nodi per il cluster Flink; per impostazione predefinita, i nodi head sono due. Il ridimensionamento dei nodi di lavoro aiuta a determinare le configurazioni del Task Manager di Flink. I server di gestione dei lavori e cronologia si trovano nei nodi principali. Nella sezione Distribuzione scegliere il tipo di distribuzione come modalità applicazione fornire le informazioni seguenti:
Proprietà Descrizione Percorso Jar Fornisci il percorso ABFS (Storage) per il file JAR del tuo processo. Ad esempio, abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarClasse di ingresso (facoltativo) Classe principale per il cluster della modalità della tua applicazione. Ad esempio: com.microsoft.testjob Argomenti (facoltativo) Argomento per la classe principale del lavoro. Nome punto di salvataggio Nome del punto di salvataggio precedente, che si vuole usare per l'avvio del processo Modalità di aggiornamento Selezionare l'opzione Aggiorna predefinita. Questa opzione viene usata quando si verifica l'aggiornamento della versione principale per il cluster. Sono disponibili tre opzioni. UPDATE: usato quando un utente desidera eseguire il ripristino dall'ultimo punto di salvataggio dopo l'aggiornamento. STATELESS_UPDATE: Utilizzato quando un utente desidera un nuovo avvio del processo dopo l'aggiornamento. LAST_STATE_UPDATE: Usato quando un utente vuole ripristinare l'attività dall'ultimo checkpoint dopo l'aggiornamento Configurazione del processo Flink Aggiungere ulteriori configurazioni necessarie per il job Flink. Selezionare 'Aggregazione del log attività'. Selezionare la casella di controllo se si vuole caricare il log del processo nell'archiviazione remota. Consente di eseguire il debug dei problemi del lavoro. Il percorso predefinito per il log dei processi è 'StorageAccount/Container/DeploymentId/logs'. È possibile modificare la directory di log predefinita configurando "pipeline.remote.log.dir". L'intervallo predefinito per la raccolta dei log è 600 sec. L'utente può cambiare configurando "pipeline.log.aggregation.interval".
Nella sezione Configurazione del servizio specificare le informazioni seguenti:
Proprietà Descrizione CPU del gestore attività Numero intero. Immettere le dimensioni delle CPU di Gestione attività (in core). Memoria del Task Manager in MB Immettere la dimensione della memoria nel task manager in MB. Minimo di 1.800 MB. CPU del gestore dei lavori Numero intero. Immettere il numero di CPU per il gestore dei lavori (in core). Memoria del gestore di lavori in MB Immettere le dimensioni della memoria in MB. Minimo 1.800 MB. Server CPU di cronologia Numero intero. Immettere il numero di CPU per il gestore dei processi (nel formato di core). Memoria del server della cronologia in MB Immettere le dimensioni della memoria in MB. Minimo 1.800 MB. 
Fare clic sul pulsante Avanti: Integrazione per passare alla pagina successiva.
Nella pagina Integrazione specificare le informazioni seguenti:
Proprietà Descrizione Analisi dei log Questa funzionalità è disponibile solo se è possibile selezionare il pool di cluster associato all'area di lavoro Log Analytics, dopo aver abilitato i log da raccogliere. Azure Prometheus Questa funzionalità consente di visualizzare informazioni dettagliate e log direttamente nel cluster inviando metriche e log all'area di lavoro di Monitoraggio di Azure. 
Fare clic sul pulsante Avanti: Tag per passare alla pagina successiva.
Nella pagina Tag specificare le informazioni seguenti:
Proprietà Descrizione Nome Opzionale. Immettere un nome, come ad esempio HDInsight su AKS, per identificare facilmente tutte le risorse associate alle risorse del cluster. Valore È possibile lasciare vuoto questo campo. Risorsa Selezionare Tutte le risorse selezionate. Selezionare Avanti: Rivedi e crea per continuare.
Nella pagina Rivedi e crea cercare il messaggio Convalida riuscita nella parte superiore della pagina e quindi fare clic su Crea.
Pagina Distribuzione in corso visualizzata in cui viene creato il cluster. La creazione del cluster richiede 5-10 minuti. Dopo aver creato il cluster, viene visualizzato il messaggio "La distribuzione è completa". Se si esce dalla pagina, è possibile controllare lo stato corrente delle notifiche.
Gestire il lavoro dell'applicazione nel portale
HDInsight AKS offre modi per gestire i job Flink. È possibile rilanciare un processo non riuscito. Riavviare il processo dal portale.
Per eseguire il processo Flink dal portale, passare a:
Portale > HDInsight nel pool di cluster del servizio Azure Kubernetes > Impostazioni cluster Flink > Processi Flink >.
Stop: l'arresto del compito non ha richiesto parametri. L'utente può arrestare il processo selezionando l'azione. Dopo che il lavoro è stato fermato, lo stato del lavoro sul portale deve essere ARRESTATO.
Start: Avvia il lavoro dal punto di salvataggio. Per avviare l'attività, selezionare l'attività arrestata e avviarla.
Aggiornamento: l'aggiornamento consente di riavviare i processi con il codice del processo aggiornato. Gli utenti devono aggiornare il file JAR del processo più recente nella posizione di archiviazione e aggiornare il processo dal portale. Questa azione arresta il processo con il "savepoint" e lo riavvia utilizzando il file JAR più recente.
Aggiornamento senza stato: senza stato è simile a un aggiornamento, ma comporta un nuovo riavvio del processo con il codice più recente. Dopo aver aggiornato il processo, lo stato del processo nel portale è visualizzato come In esecuzione.
Punto di salvataggio: crea il punto di salvataggio per il job Flink.
Annulla: termina il compito.
Elimina: eliminare il cluster AppMode.
Visualizza dettagli processo: per visualizzare i dettagli del processo l'utente può fare clic sul nome del processo, fornisce i dettagli sul processo e sull'ultimo risultato dell'azione.
Per qualsiasi azione non riuscita, questa visualizzazione JSON fornisce eccezioni dettagliate e motivi per l'errore.