Quickstart: Een Azure Databricks-werkruimte maken in uw eigen virtuele netwerk
Met de standaardimplementatie van Azure Databricks wordt een nieuw virtueel netwerk gemaakt dat wordt beheerd door Databricks. In deze quickstart ziet u hoe u in plaats daarvan een Azure Databricks-werkruimte maakt in uw eigen virtuele netwerk. U maakt ook een Apache Spark-cluster in die werkruimte.
Zie Azure Databricks implementeren in uw Virtuele Azure-netwerk (VNet-injectie) voor meer informatie over waarom u ervoor kunt kiezen om een Azure Databricks-werkruimte te maken in uw eigen virtuele netwerk.
Vereisten
Als u nog geen Azure-abonnement hebt, maakt u een gratis account. Deze zelfstudie kan niet worden uitgevoerd met behulp van een gratis azure-proefabonnement. Als u een gratis account hebt, gaat u naar uw profiel en wijzigt u uw abonnement in Betalen per gebruik. Zie Gratis Azure-account voor meer informatie. remove vervolgens de uitgaven limiten vraag een quotumverhoging aan voor vCPU's in uw regio. Wanneer u uw Azure Databricks-werkruimte maakt, kunt u de proefversie (Premium - 14 dagen gratis DBU's) prijsniveau select selecteren om de werkruimte gedurende 14 dagen toegang tot gratis Premium Azure Databricks DBU's te geven.
U moet een Azure-inzender of -eigenaar zijn, of de Resourceprovider Microsoft.ManagedIdentity moet zijn geregistreerd in uw abonnement. Volg resourceprovider registreren voor instructies.
Meld u aan bij het Azure Portal
Meld u aan bij het Azure-portaal.
Notitie
Als u een Azure Databricks-werkruimte wilt maken in de Commerciële Cloud van Azure met nalevingscertificeringen voor de Amerikaanse overheid, zoals FedRAMP High, neemt u contact op met uw Microsoft- of Databricks-accountteam om toegang te krijgen tot deze ervaring.
Een virtueel netwerk maken
In het menu van de Azure-portal selectEen resource maken. Vervolgens selectNetwerken > Virtueel netwerk.
Pas onder Virtueel netwerk maken de volgende instellingen toe:
Instelling Voorgestelde waarde Beschrijving Abonnement <Uw abonnement> Select het Azure-abonnement dat u wilt gebruiken. Resourcegroep databricks-quickstart Select Nieuwe maken en voer een nieuwe resourcegroepnaam in voor uw account. Naam databricks-quickstart Select een naam voor uw virtuele netwerk. Regio <Select de regio die zich het dichtst bij uw gebruikers bevindt> Select is een geografische locatie waar where u uw virtuele netwerk kunt hosten. Gebruik de locatie die het dichtst bij uw gebruikers is. Select Volgende: IP-adressen > en pas de volgende instellingen toe. Vervolgens selectBeoordelen enmaken.
Instelling Voorgestelde waarde Beschrijving IPv4-adresruimte 10.2.0.0/16 Het adresbereik van het virtuele netwerk in CIDR-notatie. Het CIDR-bereik moet liggen tussen /16 en /24 Subnetnaam default Select een naam voor het standaardsubnet in uw virtuele netwerk. Subnetadresbereik 10.2.0.0/24 Het adresbereik van het subnet in CIDR-notatie. Deze moet zijn opgenomen in de adresruimte van het virtuele netwerk. Het adresbereik van een subnet dat wordt gebruikt, kan niet worden bewerkt. Op het tabblad Controleren en maken, selectMaken om het virtuele netwerk te implementeren. Zodra de implementatie is voltooid, gaat u naar uw virtuele netwerk en selectadresruimte onder Instellingen. In het vak met de tekst Extra adresbereik toevoegen, insert
10.179.0.0/16
en selectOpslaan.
Een Azure Databricks-werkruimte maken
In het menu van de Azure-portal selecteen resource maken. Vervolgens selectAnalytics > Databricks.
Pas onder Azure Databricks Service de volgende instellingen toe:
Instelling Voorgestelde waarde Beschrijving Werkruimtenaam databricks-quickstart Select een naam voor uw Azure Databricks-werkruimte. Abonnement <Uw abonnement> Select het Azure-abonnement dat u wilt gebruiken. Resourcegroep databricks-quickstart Select dezelfde resourcegroep die u hebt gebruikt voor het virtuele netwerk. Locatie <Select de regio die zich het dichtst bij uw gebruikers bevindt> Kies dezelfde locatie als uw virtuele netwerk. Prijscategorie U kunt kiezen tussen Standard en Premium. Zie de pagina met prijzen van Databricks voor meer informatie over prijscategorieën. Zodra u klaar bent met het invoeren van instellingen op de pagina Basisinformatie van
, Volgende: Netwerken en de volgende instellingen toepassen:Instelling Voorgestelde waarde Beschrijving Azure Databricks-werkruimte implementeren in uw virtuele netwerk (VNet) Ja Met deze instelling kunt u een Azure Databricks-werkruimte implementeren in uw virtuele netwerk. Virtual Network databricks-quickstart Select het virtuele netwerk dat u in de vorige sectie hebt gemaakt. Naam van openbaar subnet openbaar subnet Gebruik de standaardnaam van het openbare subnet. CIDR-bereik van openbaar subnet 10.179.64.0/18 Gebruik een CIDR-bereik tot en met /26. Privésubnetnaam privésubnet Gebruik de standaardnaam van het privésubnet. CIDR-bereik voor privésubnet 10.179.0.0/18 Gebruik een CIDR-bereik tot en met /26. Zodra de implementatie is voltooid, gaat u naar de Azure Databricks-resource. U ziet dat peering van virtuele netwerken is uitgeschakeld. U ziet ook de resourcegroep en de beheerde resourcegroep op de overzichtspagina.
De beheerde resourcegroep kan niet worden gewijzigd en wordt niet gebruikt om virtuele machines te maken. U kunt alleen virtuele machines maken in de resourcegroep die u beheert.
Wanneer de implementatie van een werkruimte mislukt, wordt de werkruimte nog steeds gemaakt, maar krijgt deze de status Mislukt. Verwijder de mislukte werkruimte en maak een nieuwe werkruimte waarin de implementatiefouten zijn opgelost. Wanneer u de mislukte werkruimte verwijdert, worden de beheerde resourcegroep en de resources die wel zijn geïmplementeerd ook verwijderd.
Een cluster maken
Notitie
Als u een gratis account wilt gebruiken om het Azure Databricks-cluster te maken, gaat u voordat het cluster is gemaakt naar uw profiel en wijzigt u uw abonnement in betalen per gebruik. Zie Gratis Azure-account voor meer informatie.
Ga terug naar uw Azure Databricks-service en selectStart de Werkruimte op de pagina Overzicht.
Select Clusters>+ Cluster maken. Maak vervolgens een clusternaam, zoals databricks-quickstart-cluster, en accepteer de overige standaardinstellingen. Select Cluster aanmaken.
Zodra het cluster wordt uitgevoerd, gaat u terug naar de beheerde resourcegroep in Azure Portal. Let op de nieuwe virtuele machines, schijven, IP-adres en netwerkinterfaces. Er wordt een netwerkinterface gemaakt in elk van de openbare en privésubnetten met IP-adressen.
Ga terug naar uw Azure Databricks-werkruimte en select het cluster dat u hebt gemaakt. Navigeer vervolgens naar het tabblad Uitvoerders op de pagina Spark UI . U ziet dat de adressen voor het stuurprogramma en de uitvoerders zich in het privésubnetbereik bevinden. In dit voorbeeld is het stuurprogramma 10.179.0.6 en zijn uitvoerders 10.179.0.4 en 10.179.0.5. Uw IP-adressen kunnen verschillen.
Resources opschonen
Nadat u het artikel hebt doorgenomen, kunt u het cluster beëindigen. Vanuit de Azure Databricks-werkruimte, in het linkerdeelvenster, klik op selectClusters. Voor het cluster dat u wilt beëindigen, verplaatst u de cursor over het beletselteken onder Actiescolumnen select het pictogram Beëindigen. Hierdoor wordt het cluster gestopt.
Als u het cluster niet handmatig beëindigt, stopt het cluster automatisch, op voorwaarde dat het selectievakje Beëindigen na __ minuten inactiviteit is ingeschakeld tijdens het maken van het cluster. In dat geval stopt het cluster automatisch als het gedurende de opgegeven tijd inactief is geweest.
Als u het cluster niet opnieuw wilt gebruiken, kunt u de resourcegroep verwijderen die u in Azure Portal hebt gemaakt.
Volgende stappen
In dit artikel hebt u een Spark-cluster gemaakt in Azure Databricks dat u hebt geïmplementeerd in een virtueel netwerk. Ga naar het volgende artikel voor meer informatie over het uitvoeren van query's op een SQL Server Linux Docker-container in het virtuele netwerk met behulp van JDBC vanuit een Azure Databricks-notebook.