Quickstart: Een Azure Databricks-werkruimte maken in uw eigen virtuele netwerk
Met de standaardimplementatie van Azure Databricks wordt een nieuw virtueel netwerk gemaakt dat wordt beheerd door Databricks. In deze quickstart ziet u hoe u in plaats daarvan een Azure Databricks-werkruimte maakt in uw eigen virtuele netwerk. U maakt ook een Apache Spark-cluster in die werkruimte.
Zie Azure Databricks implementeren in uw Virtuele Azure-netwerk (VNet-injectie) voor meer informatie over waarom u ervoor kunt kiezen om een Azure Databricks-werkruimte te maken in uw eigen virtuele netwerk.
Vereisten
Als u nog geen Azure-abonnement hebt, maakt u een gratis account. Deze zelfstudie kan niet worden uitgevoerd met behulp van een gratis azure-proefabonnement. Als u een gratis account hebt, gaat u naar uw profiel en wijzigt u uw abonnement in Betalen per gebruik. Zie Gratis Azure-account voor meer informatie. vervolgens de bestedingslimietverwijderen en een quotumverhoging aanvragen voor vCPU's in uw regio. Wanneer u uw Azure Databricks-werkruimte maakt, kunt u de prijscategorie Trial (Premium - 14 dagen gratis DBUs) selecteren om de werkruimte toegang te geven tot gratis Premium Azure Databricks DBUs voor 14 dagen.
U moet een Azure-inzender of -eigenaar zijn, of de Resourceprovider Microsoft.ManagedIdentity moet zijn geregistreerd in uw abonnement. Volg resourceprovider registreren voor instructies.
Meld u aan bij het Azure Portal
Meld u aan bij het Azure-portaal.
Notitie
Als u een Azure Databricks-werkruimte wilt maken in de Commerciële Cloud van Azure met nalevingscertificeringen voor de Amerikaanse overheid, zoals FedRAMP High, neemt u contact op met uw Microsoft- of Databricks-accountteam om toegang te krijgen tot deze ervaring.
Een virtueel netwerk maken
Selecteer in het menu van Azure Portal Een resource maken. Selecteer vervolgens Networking > Virtual Network.
Pas onder Virtueel netwerk maken de volgende instellingen toe:
Instelling Voorgestelde waarde Beschrijving Abonnement <Uw abonnement> Selecteer het Azure-abonnement dat u wilt gebruiken. Resourcegroep databricks-quickstart Selecteer Maak Nieuw en voer een nieuwe resourcegroepnaam in voor uw account. Naam databricks-quickstart Selecteer een naam voor uw virtuele netwerk. Regio <Selecteer de regio die zich het dichtst bij uw gebruikers bevindt> Selecteer een geografische locatie waar u uw virtuele netwerk kunt hosten. Gebruik de locatie die het dichtst bij uw gebruikers is. Selecteer Volgende: IP-adressen > en pas de volgende instellingen toe. Selecteer vervolgens Beoordelen enmaken.
Instelling Voorgestelde waarde Beschrijving IPv4-adresruimte 10.2.0.0/16 Het adresbereik van het virtuele netwerk in CIDR-notatie. Het CIDR-bereik moet liggen tussen /16 en /24 Subnetnaam default Selecteer een naam voor het standaardsubnet in uw virtuele netwerk. Subnetadresbereik 10.2.0.0/24 Het adresbereik van het subnet in CIDR-notatie. Deze moet zijn opgenomen in de adresruimte van het virtuele netwerk. Het adresbereik van een subnet dat wordt gebruikt, kan niet worden bewerkt. Op het tabblad Controleren + maken selecteer je Maken om het virtuele netwerk te implementeren. Zodra de implementatie is voltooid, gaat u naar uw virtuele netwerk en selecteert u Adresruimte onder Instellingen. Voeg in het vak Extra adresbereiktoevoegen
10.179.0.0/16
in en selecteer Opslaan.
Een Azure Databricks-werkruimte maken
Selecteer in het menu van Azure Portal Een resource maken. Selecteer vervolgens Analytics > Databricks-.
Pas onder Azure Databricks Service de volgende instellingen toe:
Instelling Voorgestelde waarde Beschrijving Werkruimtenaam databricks-quickstart Selecteer een naam voor uw Azure Databricks-werkruimte. Abonnement <Uw abonnement> Selecteer het Azure-abonnement dat u wilt gebruiken. Resourcegroep databricks-quickstart Selecteer dezelfde resourcegroep die u hebt gebruikt voor het virtuele netwerk. Locatie <Selecteer de regio die zich het dichtst bij uw gebruikers bevindt> Kies dezelfde locatie als uw virtuele netwerk. Prijscategorie U kunt kiezen tussen Standard en Premium. Zie de pagina met prijzen van Databricks voor meer informatie over prijscategorieën. Zodra u klaar bent met het invoeren van instellingen op de pagina Basisbeginselen, selecteert u Volgende: Netwerken > en past u de volgende instellingen toe:
Instelling Voorgestelde waarde Beschrijving Azure Databricks-werkruimte implementeren in uw virtuele netwerk (VNet) Ja Met deze instelling kunt u een Azure Databricks-werkruimte implementeren in uw virtuele netwerk. Virtual Network databricks-quickstart Selecteer het virtuele netwerk dat u in de vorige sectie hebt gemaakt. Naam van openbaar subnet openbaar subnet Gebruik de standaardnaam van het openbare subnet. CIDR-bereik van openbaar subnet 10.179.64.0/18 Gebruik een CIDR-bereik tot en met /26. Privésubnetnaam privésubnet Gebruik de standaardnaam van het privésubnet. CIDR-bereik voor privésubnet 10.179.0.0/18 Gebruik een CIDR-bereik tot en met /26. Zodra de implementatie is voltooid, gaat u naar de Azure Databricks-resource. U ziet dat peering van virtuele netwerken is uitgeschakeld. U ziet ook de resourcegroep en de beheerde resourcegroep op de overzichtspagina.
De beheerde resourcegroep kan niet worden gewijzigd en wordt niet gebruikt om virtuele machines te maken. U kunt alleen virtuele machines maken in de resourcegroep die u beheert.
Wanneer de implementatie van een werkruimte mislukt, wordt de werkruimte nog steeds gemaakt, maar krijgt deze de status Mislukt. Verwijder de mislukte werkruimte en maak een nieuwe werkruimte waarin de implementatiefouten zijn opgelost. Wanneer u de mislukte werkruimte verwijdert, worden de beheerde resourcegroep en de resources die wel zijn geïmplementeerd ook verwijderd.
Een cluster maken
Notitie
Als u een gratis account wilt gebruiken om het Azure Databricks-cluster te maken, gaat u voordat het cluster is gemaakt naar uw profiel en wijzigt u uw abonnement in betalen per gebruik. Zie Gratis Azure-account voor meer informatie.
Ga terug naar uw Azure Databricks-dienst en selecteer Werkruimte starten op de pagina Overzicht.
Selecteer Clusters>+ Cluster maken. Maak vervolgens een clusternaam, zoals databricks-quickstart-cluster, en accepteer de overige standaardinstellingen. Selecteer Maak cluster aan.
Zodra het cluster wordt uitgevoerd, gaat u terug naar de beheerde resourcegroep in Azure Portal. Let op de nieuwe virtuele machines, schijven, IP-adres en netwerkinterfaces. Er wordt een netwerkinterface gemaakt in elk van de openbare en privésubnetten met IP-adressen.
Ga terug naar uw Azure Databricks-werkruimte en selecteer het cluster dat u hebt gemaakt. Navigeer vervolgens naar het tabblad Uitvoerders op de pagina Spark UI . U ziet dat de adressen voor het stuurprogramma en de uitvoerders zich in het privésubnetbereik bevinden. In dit voorbeeld is het stuurprogramma 10.179.0.6 en zijn uitvoerders 10.179.0.4 en 10.179.0.5. Uw IP-adressen kunnen verschillen.
Resources opschonen
Nadat u het artikel hebt doorgenomen, kunt u het cluster beëindigen. Selecteer hiervoor in de Azure Databricks-werkruimte in het linkerdeelvenster Clusters. Voor het cluster dat u wilt beëindigen, verplaatst u de cursor over het beletselteken onder acties kolom en selecteert u het pictogram Beëindigen. Hierdoor wordt het cluster gestopt.
Als u het cluster niet handmatig beëindigt, stopt het cluster automatisch, op voorwaarde dat het selectievakje Beëindigen na __ minuten inactiviteit is ingeschakeld tijdens het maken van het cluster. In dat geval stopt het cluster automatisch als het gedurende de opgegeven tijd inactief is geweest.
Als u het cluster niet opnieuw wilt gebruiken, kunt u de resourcegroep verwijderen die u in Azure Portal hebt gemaakt.
Volgende stappen
In dit artikel hebt u een Spark-cluster gemaakt in Azure Databricks dat u hebt geïmplementeerd in een virtueel netwerk. Ga naar het volgende artikel voor meer informatie over het uitvoeren van query's op een SQL Server Linux Docker-container in het virtuele netwerk met behulp van JDBC vanuit een Azure Databricks-notebook.