Creare un cluster Apache Flink® in HDInsight su Azure Kubernetes Service utilizzando il portale di Azure
Importante
Azure HDInsight su AKS è stato ritirato il 31 gennaio 2025. Scopri di più su con questo annuncio.
È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.
Importante
Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su AKS. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire Microsoft per altri aggiornamenti su Community di Azure HDInsight.
Completare la procedura seguente per creare un cluster Apache Flink nel portale di Azure.
Prerequisiti
Completare i prerequisiti nelle sezioni seguenti:
Importante
- Per creare un cluster in un nuovo pool di cluster, assegnare il ruolo MSI "Managed Identity Operator" al pool di agenti AKS nell'identità gestita assegnata dall'utente creata come parte dei prerequisiti della risorsa. Se si dispone delle autorizzazioni necessarie, questo passaggio viene automatizzato durante la creazione.
- L'identità gestita del pool di agenti di AKS viene creata durante la creazione del cluster. È possibile identificare l'identità gestita del pool di agenti AKS tramite (nome del pool di cluster)-agentpool. Seguire questa procedura per assegnare il ruolo.
Creare un cluster Apache Flink
I cluster Flink possono essere creati una volta completata la distribuzione del pool di cluster, è possibile eseguire i passaggi nel caso in cui si inizi a usare un pool di cluster esistente
Nel portale di Azure digitare pool di cluster HDInsight/HDInsight/HDInsight nel servizio Azure Kubernetes e selezionare Azure HDInsight nei pool di cluster del servizio Azure Kubernetes per passare alla pagina dei pool di cluster. Nella pagina Pool di cluster HDInsight su Azure Kubernetes Service (AKS), selezionare il pool di cluster in cui si vuole creare un nuovo cluster Flink.
Nella pagina del pool di cluster specifico fare clic su + Nuovo cluster e specificare le informazioni seguenti:
Proprietà Descrizione Abbonamento Questo campo viene popolato automaticamente con la sottoscrizione di Azure registrata per il pool di cluster. Gruppo di risorse Questo campo viene popolato automaticamente e mostra il gruppo di risorse nel pool di cluster. Regione Questo campo viene popolato automaticamente e mostra l'area selezionata nel pool di cluster. Cluster Pool Questo campo viene popolato automaticamente e mostra il nome del pool di cluster in cui viene creato il cluster. Per creare un cluster in un pool diverso, individuare il pool di cluster nel portale e fare clic su + Nuovo cluster. Versione del pool AKS in HDInsight Questo campo viene popolato automaticamente e mostra la versione del pool di cluster in cui viene creato il cluster. Versione di HDInsight su AKS Selezionare la versione secondaria o patch di HDInsight su AKS del nuovo cluster. Tipo di cluster Nell'elenco a discesa selezionare Flink. Nome del cluster Immettere il nome del nuovo cluster. Identità gestita assegnata dall'utente Nell'elenco a discesa selezionare l'identità gestita da usare con il cluster. Se sei il proprietario della Managed Service Identity (MSI) e la MSI non ha il ruolo di Operatore identità gestita nel cluster, fai clic sul collegamento sottostante per assegnare le autorizzazioni necessarie dalla MSI del pool di agenti AKS. Se l'MSI ha già le autorizzazioni corrette, non viene mostrato alcun collegamento. Consultare i Prerequisiti per altre assegnazioni di ruolo necessarie per l'MSI. Account di archiviazione Nell'elenco a discesa selezionare l'account di archiviazione da associare al cluster Flink e specificare il nome del contenitore. All'identità gestita viene concesso ulteriormente l'accesso all'account di archiviazione specificato, utilizzando il ruolo "Proprietario dati BLOB di archiviazione" durante la creazione del cluster. Rete virtuale Rete virtuale per il cluster. Sottorete Subnet virtuale per il cluster. Abilitazione del catalogo Hive per Flink SQL.
Proprietà Descrizione Usare il catalogo Hive Abilitare questa opzione per usare un metastore Hive esterno. Database SQL per Hive Nell'elenco a discesa selezionare il database SQL in cui aggiungere tabelle hive-metastore. Nome utente amministratore SQL Immettere il nome utente dell'amministratore di SQL Server. Questo account viene usato dal metastore per comunicare con il database SQL. Archivio delle chiavi Nell'elenco a discesa, selezionare il Key Vault che contiene un secret con la password per il nome utente dell'amministratore di SQL Server. È necessario configurare un criterio di accesso con tutte le autorizzazioni necessarie, ad esempio autorizzazioni chiave, autorizzazioni segrete e autorizzazioni del certificato per l'identità del servizio gestito, che viene usata per la creazione del cluster. L'MSI richiede un ruolo di Key Vault Administrator, aggiungi le autorizzazioni necessarie usando IAM. Nome del segreto della password SQL Immettere il nome segreto dal Key Vault dove è archiviata la password del database SQL. Nota
Per impostazione predefinita utilizziamo l'account di archiviazione per il catalogo Hive, lo stesso account di archiviazione e contenitore utilizzati durante la creazione del cluster.
Selezionare Avanti: Configurazione per continuare.
Nella pagina configurazione, specificare le informazioni seguenti:
Proprietà Descrizione Dimensioni nodo Selezionare la dimensione del nodo da usare per i nodi Flink, sia principali che di lavoro. Numero di nodi Selezionare il numero di nodi per il cluster Flink; per impostazione predefinita, i nodi head sono due. Il ridimensionamento dei nodi di lavoro consente di determinare la configurazione del Task Manager per Flink. Il gestore processi e il server di cronologia si trovano nei nodi head. Nella sezione Configurazione del servizio specificare le informazioni seguenti:
Proprietà Descrizione CPU del gestore delle attività Numero intero. Immettere il numero delle CPU del Task Manager (in core). Memoria del Gestore delle attività in MB Immettere le dimensioni della memoria di Gestione Attività in MB. Minimo di 1800 MB. CPU del gestore dei lavori Numero intero. Immettere il numero di CPU per Gestione processi (in core). Memoria del gestore di lavori in MB Immettere le dimensioni della memoria in MB. Minimo 1800 MB. CPU del server cronologia Numero intero. Inserisci il numero di CPU per il gestore dei processi (in core). Memoria del server di cronologia in MB Immettere le dimensioni della memoria in MB. Minimo 1800 MB. Nota
- Il server cronologia può essere abilitato/disabilitato in base alle esigenze.
- La scalabilità automatica basata su pianificazione è supportata in Flink. È possibile pianificare il numero di nodi di lavoro in base alle esigenze. Ad esempio, è abilitata una scalabilità automatica basata su pianificazione con il numero di nodi di lavoro predefinito pari a 3. E durante i giorni feriali dalle 9.00 UTC alle 20.00 UTC, i nodi di lavoro devono essere 10. Più avanti nel giorno, deve essere impostato come predefinito su 3 nodi ( tra le 20.00 UTC e il giorno successivo 09.00 UTC ). Durante i fine settimana dalle 9.00 UTC alle 20.00 UTC, i nodi di lavoro sono 4.
Nella sezione Scala Automatica & SSH, aggiornare quanto segue:
Proprietà Descrizione Scalabilità automatica Dopo la selezione, è possibile scegliere la scalabilità automatica basata sulla pianificazione per configurare la pianificazione per le operazioni di ridimensionamento. Abilitare SSH Dopo la selezione, è possibile scegliere il numero totale di nodi SSH necessari, ovvero i punti di accesso per l'interfaccia della riga di comando Flink usando Secure Shell. Il numero massimo di nodi SSH consentiti è 5. Fare clic sul pulsante Avanti: Integrazione per passare alla pagina successiva.
Nella pagina Integration specificare le informazioni seguenti:
Proprietà Descrizione Analisi dei log Questa funzionalità è disponibile solo se il pool di cluster ha un'area di lavoro di Log Analytics associata. Una volta abilitata, è possibile selezionare i log da raccogliere. Azure Prometheus Questa funzionalità consente di visualizzare informazioni dettagliate e log direttamente nel cluster inviando metriche e log all'area di lavoro di Monitoraggio di Azure. Fare clic sul pulsante Avanti: Tag per continuare con la pagina successiva.
Nella pagina tag, fornire le informazioni seguenti:
Proprietà Descrizione Nome Opzionale. Immettere un nome, ad esempio HDInsight su AKS, per identificare facilmente tutte le risorse associate al cluster. Valore È possibile lasciare vuoto questo campo. Risorsa Selezionare Tutte le risorse selezionate. Selezionare Avanti: Rivedere e creare per continuare.
Nella pagina Rivedi e crea, cercare il messaggio Convalida riuscita nella parte superiore della pagina e quindi fare clic su Crea.
La pagina Distribuzione è in corso viene visualizzata quando viene creato il cluster. La creazione del cluster richiede 5-10 minuti. Dopo aver creato il cluster, viene visualizzato il messaggio di "La distribuzione è stata completata". Se si esce dalla pagina, è possibile controllare lo stato corrente delle notifiche.
Nota
Apache, Apache Flink, Flink e i nomi dei progetti open source correlati sono marchi della Apache Software Foundation (ASF).