Использование Azure Synapse Analytics с облачной аналитикой

Azure Synapse Analytics — это предоставляемая, интегрированная служба аналитики, которая ускоряет получение инсайтов для хранилищ данных и систем больших данных. Azure Synapse Analytics объединяет:

• Лучшие технологии SQL, используемые в корпоративном хранилище данных.
• Технологии Spark, используемые для больших данных.
• Потоки обработки данных (с выравниванием источника) и процессы извлечения, преобразования и загрузки (ETL) или извлечения, загрузки и преобразования (ELT).

Azure Synapse Studio — это средство в Azure Synapse, которое предоставляет унифицированный интерфейс для управления, мониторинга, написания кода и безопасности. Synapse Studio имеет глубокую интеграцию с другими службами Azure, такими как Power BI, Azure Cosmos DB и Машинное обучение Azure.

Заметка

В этом разделе описаны предписанные конфигурации, относящиеся к облачной аналитике. Это комплимент к официальной документации Azure Synapse Analytics.

Обзор

Во время первоначальной настройки целевой зоны данных можно развернуть одну рабочую область Azure Synapse Analytics для использования всеми аналитиками и специалистами по данным. Вы можете создать дополнительные рабочие области для конкретных интеграций данных или продуктов данных.

Вам может потребоваться дополнительная рабочая область Azure Synapse Analytics, если продукту данных требуется предоставить доступ к стандартизированным данным с безопасностью уровня строк и столбцов. Эти рабочие области можно предоставить с помощью пулов Azure Synapse. Командам по продуктам данных может понадобиться собственная рабочая область для создания продуктов и отдельная рабочая область, предназначенная только для команд разработки с ограниченным доступом к разработке.

Настройка Azure Synapse Analytics

Первым шагом в развертывании Azure Synapse Analytics является настройка рабочей области Azure Synapse, которая подключена к учетной записи Microsoft Purview.

Сеть Azure Synapse Analytics

Зона приземления данных создает рабочие пространства с виртуальной сетью под управлением Azure Synapse Analytics . Взаимодействие с Azure Synapse выполняется через три конечные точки, которые он предоставляет: пул SQL, SQL по запросу и конечную точку разработки.

На уровне сети аналитика облачного масштаба использует управляемые частные конечные точки Synapse. Эти конечные точки гарантируют, что весь трафик между виртуальной сетью целевой зоны данных и рабочими областями Azure Synapse полностью перемещается по магистральной сети Майкрософт.

Управление доступом к данным Azure Synapse

Используйте списки управления доступом с сквозной передачей Microsoft Entra в Azure Synapse Analytics для управления доступом к файлам в озере данных.

Для данных, в которых необходимо ограничить возвращаемые столбцы и строки, рекомендуется обеспечить безопасность на уровне строк и на уровне столбцов, чтобы ограничить доступ к данным в таблицах в выделенном или бессерверном пуле SQL Azure Synapse SQL. Безопасность на уровне строк и уровень столбцов реализована на уровне базы данных и в дополнение к ролям базы данных.

Например, безопасность на уровне строк гарантирует, что пользователи в определенном приложении данных или продукте данных видят только свои данные. Даже если таблица содержит данные для всего предприятия.

Безопасность на уровне строк можно объединить с безопасностью на уровне столбцов, чтобы ограничить доступ к столбцам с конфиденциальными данными. Таким образом, безопасность на уровне строк и безопасность на уровне столбцов применяют логику ограничения доступа на уровне базы данных, а не на уровне приложения. Разрешение вычисляется при каждом попытке доступа к данным с любого уровня.

Заметка

Бессерверный пул SQL Azure Synapse поддерживает безопасность на уровне столбцов для представлений, но не для внешних таблиц. В случае внешних таблиц можно создать логическое представление поверх внешней таблицы и применить безопасность на уровне столбцов. В случае безопасности на уровне строк настраиваемые представления можно использовать в качестве обходного решения.

Для получения дополнительной информации см. управление доступом к данным Azure Synapse Analytics.

Управление доступом к данным Azure Synapse в Azure Data Lake

При развертывании рабочей области Azure Synapse Analytics вам нужна учетная запись Azure Data Lake Storage из подписки или можно вручную указать URL-адрес учетной записи хранения. Указанный аккаунт хранения установлен как основной для развернутой рабочей области Azure Synapse для хранения данных. Azure Synapse хранит данные в контейнере, включающее таблицы Apache Spark и журналы приложений Spark в папку с именем /synapse/{workspaceName}. Он также имеет контейнер для управления любыми библиотеками, которые вы решили установить.

Совет

Рекомендуется использовать выделенный контейнер на уровне разработки или в озере данных три в учетной записи. Этот контейнер используется в качестве основного хранилища для хранения метаданных Spark.

Рекомендации по настройке доступа к данным см. в разделе управления доступом к данным Azure Synapse Analytics .