Nejčastější dotazy k analýzám škálování cloudu

Níže najdete běžné otázky týkající se analýzy škálování cloudu.

Účty úložiště

Proč potřebuji tři samostatné účty úložiště? Nemůžu mít jenom jeden kontejner se třemi kontejnery pro každou vrstvu (nezpracovaný, zpřesněný a kurátorovaný)?

Většina vzorů analýzy dat dnes existuje se třemi vrstvami nezpracovaných, zpřesněných a kurátorovaných. I když je možné je uchovávat ve stejném úložišti, při rozsáhlých implementacích dochází k problémům s překročením povoleného počtu oprávnění řízení přístupu na základě role (RBAC) a seznamu řízení přístupu (ACL), která jsou k dispozici v rámci jednoho účtu úložiště. Pokud používáte samostatné účty úložiště, většina implementací se tomuto problému může vyhnout.

Další důvody jsou popsány v tématu Přehled Azure Data Lake Storage pro analýzy škálování cloudu.

Databricks

Měli bychom nasadit pracovní prostor Azure Databricks pro jednotlivé produkty?

Doporučujeme použít v cílové zóně sdílený produkt Azure Databricks analytics and data science workspace .

Toto rozhodnutí bylo učiněno za účelem snížení režie na správu pro provozní tým datové platformy. Azure Databricks má sadu samostatných zásad, které nejsou integrované do zásad Azure. Ve velkém prostředí vytváří nastavení více pracovních prostorů Azure Databricks vyšší režii na správu. Například udržování zásad a podporované verze Apache Hivu, aktualizace verzí ADB a vynucování externího metastoru Apache Hive. Neexistuje žádný způsob, jak může tým centrální platformy vynucovat určitá nastavení v rámci pracovních prostorů Databricks. Doporučujeme mít sdílené pracovní prostory pro produktové týmy v cílových zónách, kde týmy provozů datové platformy pak můžou definovat potřebné zásady clusteru a inicializační skripty.

Doporučujeme použít partnerský vztah virtuálních sítí mezi cílovými zónami a privátními koncovými body. Pro Azure Databricks použijte injektáž virtuální sítě. Vzhledem k tomu, že všechny koncové body mají přímý dohled, nedochází k žádným problémům s připojením.

Další kroky

Proces ingestování s využitím analýzy škálování cloudu v Azure