Vanliga frågor och svar om analys i molnskala
Följande är vanliga frågor och svar om analys i molnskala.
Lagringskonton
Varför behöver jag tre separata lagringskonton? Kan jag inte bara ha en med tre containrar för varje lager (rå, förfinad och kuraterad)?
De flesta dataanalysmönster finns idag med de tre lagren av råa, förfinade och organiserade. Även om de kan förvaras i samma lagring, skapar det problem när det gäller storskaliga implementeringar med att överskrida antalet tillåtna rbac-behörigheter (rollbaserad åtkomstkontroll) och åtkomstkontrollistor (ACL) som är tillgängliga i ett enda lagringskonto. När du använder separata lagringskonton kan de flesta implementeringar undvika det här problemet.
Andra orsaker beskrivs i Översikt över Azure Data Lake Storage för analys i molnskala.
Databricks
Ska vi distribuera en Azure Databricks-arbetsyta per produkt?
Rekommendationen är att använda den delade produkten Azure Databricks-analys och datavetenskapsarbetsyta i landningszonen.
Det här beslutet har fattats för att minska hanteringskostnaderna för dataplattformens driftteam. Azure Databricks har en uppsättning fristående principer som inte är integrerade i Azure-principerna. I en stor miljö skapar konfigurationen av fler Azure Databricks-arbetsytor mer hanteringskostnader. Du kan till exempel underhålla principer och apache Hive-versioner som stöds, uppdatera ADB-versioner och framtvinga externa Apache Hive-metaarkiv. Det finns inte en chans att ett centralt plattformsteam kan tillämpa vissa inställningar på någon av Databricks-arbetsytorna. Vi rekommenderar att du har delade arbetsytor för produktteam i landningszonerna, där dataplattformsteamen sedan kan definiera nödvändiga klusterprinciper och initieringsskript.
Vi rekommenderar att du använder VNet-peering mellan landningszoner och privata slutpunkter. För Azure Databricks använder du VNet-inmatning. Eftersom det finns direkt siktlinje till alla slutpunkter finns det inga anslutningsproblem.