Gegevens streamen van Azure Stream Analytics naar confluent cloud
In dit artikel wordt beschreven hoe u uw Azure Stream Analytics-taak rechtstreeks verbindt met confluent cloud kafka als uitvoer.
Vereisten
- U hebt een confluent cloud kafka-cluster.
- U hebt een API-sleutelbestand voor uw kafka-cluster, dat de API-sleutel bevat die moet worden gebruikt als gebruikersnaam, API-geheim voor gebruik als wachtwoord en het Bootstrap-serveradres.
- U hebt een Azure Stream Analytics-taak. U kunt een Azure Stream Analytics-taak maken door de documentatie te volgen: Quickstart: Een Stream Analytics-taak maken met behulp van Azure Portal
- Uw confluent cloud kafka-cluster moet openbaar toegankelijk zijn en niet achter een firewall of beveiligd in een virtueel netwerk.
- U moet een bestaande sleutelkluis hebben. U kunt een sleutelkluisresource maken door de documentatie-quickstart te volgen: Een sleutelkluis maken met behulp van De Azure-portal
Azure Stream Analytics configureren voor het gebruik van een beheerde identiteit
Voor Azure Stream Analytics moet u een beheerde identiteit configureren voor toegang tot de sleutelkluis. U kunt uw ASA-taak configureren voor het gebruik van beheerde identiteit door te navigeren naar het tabblad Beheerde identiteit aan de linkerkant onder Configureren.
- Klik op het tabblad Beheerde identiteit onder Configureren.
- Selecteer Schakelen tussen identiteiten en selecteer de identiteit die moet worden gebruikt met de taak: door het systeem toegewezen identiteit of door de gebruiker toegewezen identiteit.
- Voor door de gebruiker toegewezen identiteit selecteert u het abonnement waarin uw door de gebruiker toegewezen identiteit zich bevindt en selecteert u de naam van uw identiteit.
- Controleren en opslaan.
Certificaat downloaden van LetsEncrypt
De kafka-uitvoer van Stream Analytics is een librdkaka-client. Voor de uitvoer om verbinding te maken met confluent cloud, hebt u TLS-certificaten nodig die confluent cloud gebruikt voor serververificatie. Confluent-cloud maakt gebruik van TLS-certificaten van Let's Encrypt, een open certificeringsinstantie (CA).
Download het ISRG Root X1-certificaat in PEM-indeling op de site van LetsEncrypt.
Sleutelkluis configureren met machtigingen
Azure Stream Analytics integreert naadloos met Azure Key Vault voor toegang tot opgeslagen geheimen die nodig zijn voor verificatie en versleuteling bij het gebruik van mTLS of SASL_SSL beveiligingsprotocollen. Uw Azure Stream Analytics-taak maakt verbinding met uw Azure Key Vault met behulp van een beheerde identiteit om een beveiligde verbinding te garanderen en het exfiltratie van geheimen te voorkomen. Als u het certificaat wilt gebruiken dat u hebt gedownload, moet u het eerst uploaden naar de sleutelkluis.
Als u certificaten wilt uploaden, moet u toegang hebben tot Key Vault-beheerder voor uw sleutelkluis. Volg het volgende om beheerderstoegang te verlenen:
Notitie
U moet machtigingen voor eigenaar hebben om andere sleutelkluismachtigingen te verlenen.
Selecteer toegangsbeheer (IAM) in uw sleutelkluis.
Klik op Toevoegen>Roltoewijzing toevoegen om het deelvenster Roltoewijzing toevoegen te openen.
Wijs de rol toe met behulp van de volgende configuratie:
| Instelling | Weergegeven als |
|---|---|
| Role | Key Vault-beheerder |
| Toegang toewijzen aan | Gebruiker, groep of service-principal |
| Leden | <Uw accountgegevens of e-mail> |
Certificaat uploaden naar Key Vault als geheim via Azure CLI
Belangrijk
U moet beschikken over de machtiging Key Vault-beheerder voor toegang tot uw sleutelkluis, zodat deze opdracht goed werkt. U moet het certificaat uploaden als een geheim. U moet Azure CLI gebruiken om certificaten als geheimen te uploaden naar uw sleutelkluis. Uw Azure Stream Analytics-taak mislukt wanneer het certificaat dat wordt gebruikt voor verificatie verloopt. U kunt dit oplossen door het certificaat in uw sleutelkluis bij te werken/te vervangen en uw Azure Stream Analytics-taak opnieuw op te starten.
Zorg ervoor dat Azure CLI lokaal is geconfigureerd en geïnstalleerd met PowerShell. U kunt deze pagina bezoeken voor hulp bij het instellen van Azure CLI: Aan de slag met Azure CLI
Meld u aan bij Azure CLI:
az login
Maak verbinding met uw abonnement met uw sleutelkluis:
az account set --subscription <subscription name>
Voorbeeld:
az account set --subscription mymicrosoftsubscription
Met de volgende opdracht kunt u het certificaat uploaden als een geheim naar uw sleutelkluis:
Dit <your key vault> is de naam van de sleutelkluis waarnaar u het certificaat wilt uploaden. <name of the secret> is een naam die u aan uw geheim wilt geven en hoe het wordt weergegeven in de sleutelkluis. <file path to certificate> is het pad naar de locatie van het gedownloade certificaat. U kunt met de rechtermuisknop op het certificaat klikken en het pad naar het certificaat kopiëren.
az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>
Voorbeeld:
az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem
De Stream Analytics-taakmachtigingen verlenen voor toegang tot het certificaat in de sleutelkluis
Als u het geheim in uw sleutelkluis wilt lezen voor uw Azure Stream Analytics-taak, moet de taak gemachtigd zijn om toegang te krijgen tot de sleutelkluis. Gebruik de volgende stappen om speciale machtigingen te verlenen aan uw Stream Analytics-taak:
Selecteer toegangsbeheer (IAM) in uw sleutelkluis.
Klik op Toevoegen>Roltoewijzing toevoegen om het deelvenster Roltoewijzing toevoegen te openen.
Wijs de rol toe met behulp van de volgende configuratie:
| Instelling | Weergegeven als |
|---|---|
| Role | Key Vault-geheimengebruiker |
| Beheerde identiteit | Stream Analytics-taak voor door het systeem toegewezen beheerde identiteit of door de gebruiker toegewezen beheerde identiteit |
| Leden | <Naam van uw Stream Analytics-taak> of <-naam van door de gebruiker toegewezen identiteit> |
Kafka-uitvoer configureren in uw Stream Analytics-taak
Selecteer uitvoer in uw Stream Analytics-taak onder Taaktopologie
Selecteer Uitvoer Kafka toevoegen>om de blade Nieuwe uitvoerconfiguratie van Kafka te openen.
Gebruik de volgende configuratie:
Notitie
Voor SASL_SSL en SASL_PLAINTEXT ondersteunt Azure Stream Analytics alleen een PLAIN SASL-mechanisme.
| Eigenschapsnaam | Beschrijving |
|---|---|
| Uitvoeralias | Een beschrijvende naam die wordt gebruikt in query's om te verwijzen naar uw invoer |
| Bootstrap-serveradressen | Een lijst met host-/poortparen om de verbinding met uw confluent cloud kafka-cluster tot stand te brengen. Voorbeeld: pkc-56d1g.eastus.azure.confluent.cloud:9092 |
| Kafka-onderwerp | De naam van uw kafka-onderwerp in uw confluent cloud kafka-cluster. |
| Beveiligingsprotocol | Selecteer SASL_SSL. Het ondersteunde mechanisme is PLAIN. |
| Serialisatie-indeling voor gebeurtenissen | De serialisatie-indeling (JSON, CSV, Avro, Parquet, Protobuf) van de binnenkomende gegevensstroom. |
| Partitiesleutel | Azure Stream Analytics wijst partities toe met behulp van ronde partitionering. Leeg houden als een sleutel uw invoer niet partitioneren |
| Kafka-gebeurteniscompressietype | Het compressietype dat wordt gebruikt voor uitgaande gegevensstromen, zoals Gzip, Snappy, Lz4, Zstd of Geen. |
Belangrijk
Confluent Cloud ondersteunt verificatie met behulp van API-sleutels, OAuth of SAML-eenmalige aanmelding (SSO). Azure Stream Analytics biedt geen ondersteuning voor verificatie met behulp van OAuth of SAML-eenmalige aanmelding (SSO). U kunt verbinding maken met confluent cloud met behulp van een API-sleutel met toegang op onderwerpniveau via het SASL_SSL beveiligingsprotocol. Als u zich wilt verifiëren bij confluent cloud, moet u SASL_SSL gebruiken en uw taak configureren om te verifiëren bij confluent cloud met behulp van uw API-sleutel.
Gebruik de volgende configuratie:
| Instelling | Weergegeven als |
|---|---|
| Username | confluent cloud-API-sleutel |
| Wachtwoord | confluent cloud-API-geheim |
| Naam van sleutelkluis | Naam van Azure Key Vault met geüpload certificaat |
| Truststore-certificaten | naam van het sleutelkluisgeheim dat het ISRG Root X1-certificaat bevat |
Configuratie opslaan en verbinding testen
Sla uw configuratie op. Uw Azure Stream Analytics-taak valideert met behulp van de opgegeven configuratie. Er wordt een geslaagde testverbinding weergegeven in de portal als uw Stream Analytics-taak verbinding kan maken met uw Kafka-cluster.
Beperkingen
- Het certificaat dat u uploadt naar de sleutelkluis, moet de PEM-indeling hebben.
- De minimale versie van kafka moet kafka versie 0.10 zijn.
- Azure Stream Analytics biedt geen ondersteuning voor verificatie voor confluent cloud met behulp van OAuth of SAML-eenmalige aanmelding (SSO). U moet API-sleutel gebruiken via het SASL_SSL-protocol.
- U moet Azure CLI gebruiken om het certificaat als geheim te uploaden naar de sleutelkluis. U kunt certificaten met meerdere regels niet uploaden naar een sleutelkluis met behulp van Azure Portal.
Notitie
Neem contact op met askasa@microsoft.comde Azure Stream Analytics Kafka-uitvoer voor directe hulp bij het gebruik van de Azure Stream Analytics Kafka-uitvoer.