Azure Synapse Analytics でサーバーレス SQL プールを使用してレイクデータベースにアクセスする

[アーティクル]
06/01/2023

Azure Synapse Analytics ワークスペースでは、Spark データレイク上に 2 種類のデータベースを作成できます。

Apache Spark ノートブック、データベーステンプレート、または Microsoft Dataverse (以前の Common Data Service) を使って、レイクデータの上にテーブルを定義できるレイクデータベース。これらのテーブルは、T-SQL (Transact-SQL) 言語とサーバーレス SQL プールを使うクエリに使用デイます。
サーバーレス SQL プールを使って、独自のデータベースとテーブルを直接定義できる SQL データベース。 T-SQL の CREATE DATABASE と CREATE EXTERNAL TABLE を使ってオブジェクトを定義し、テーブル上に SQL ビュー、プロシージャ、インラインテーブル値関数を追加できます。

Diagram that shows Lake and SQL databases that are created on top of Data Lake files.

この記事では、Azure Synapse Analytics のサーバーレス SQL プール内のレイクデータベースに焦点を当てます。

Azure Synapse Analytics では、Spark またはデータベースデザイナーを使ってレイクデータベースとテーブルを作成し、サーバーレス SQL プールを使ってレイクデータベース内のデータを分析できます。 Apache Spark プール、データベーステンプレート、または Dataverse で作成されたレイクデータベースとテーブル (parquet または CSV ベース) は、サーバーレス SQL プールエンジンでのクエリに自動的に使用できます。変更されたレイクデータベースとテーブルは、しばらくするとサーバーレス SQL プールで使用できるようになります。 Spark またはデータベースで行われた変更がサーバーレスに表示されるまで、遅延が発生します。

レイクデータベースを管理する

Spark によって作成されたレイクデータベースを管理するには、Apache Spark プールまたはデータベースデザイナーを使用できます。たとえば、Spark プールジョブを使ってレイクデータベースを作成または削除します。サーバーレス SQL プールを使って、レイクデータベースまたはレイクデータベース内のオブジェクトを作成することはできません。

Spark の default データベースを、default という名前のレイクデータベースとして、サーバーレス SQL プールのコンテキストで使用できます。

注意

サーバーレス SQL プールに、同じ名前のレイクデータベースと SQL データベースを作成することはできません。

レイクデータベース内のテーブルは、サーバーレス SQL プールからは変更できません。レイクデータベースを変更するには、データベースデザイナーまたは Apache Spark プールを使います。サーバーレス SQL プールでは、Transact-SQL コマンドを使ってレイクデータベースで次の変更を行うことができます。

レイクデータベース内のビュー、プロシージャ、インラインテーブル値関数の追加、変更、削除。
データベーススコープの Microsoft Entra ユーザーの追加と削除。
db_datareader ロールの Microsoft Entra データベースユーザーを追加または削除します。 db_datareader ロールの Microsoft Entra データベースユーザーは、レイクデータベース内のすべてのテーブルを読む権限を持っていますが、他のデータベースのデータを読むことはできません。

セキュリティモデル

レイクデータベースとテーブルは、2 つのレベルでセキュリティ保護されます。

次のいずれかを Microsoft Entra ユーザーに割り当てることにより、基になるストレージレイヤー:
- Azure ロールベースのアクセス制御 (Azure RBAC)
- Azure の属性ベースのアクセス制御 (Azure ABAC) ロール
- ACL のアクセス許可
Microsoft Entra ユーザーを定義し、レイクデータを参照するテーブルからデータを選択するための SQL アクセス許可を付与できる SQL レイヤー。

レイクセキュリティモデル

レイクデータベースファイルへのアクセスは、ストレージレイヤーでのレイクアクセス許可を使って制御されます。 Microsoft Entra ユーザーのみがレイクデータベース内のテーブルを使用でき、独自の ID を使ってレイク内のデータにアクセスできます。

外部テーブルに使われる基になるデータへのアクセス権を、ユーザー、サービスプリンシパルが割り当てられた Microsoft Entra アプリケーション、セキュリティグループなどのセキュリティプリンシパルに付与できます。データアクセスの場合は、次の両方のアクセス許可を付与します。

ファイルに対する read (R) アクセス許可を付与します (テーブルの基になるデータファイルなど)。
ファイルが格納されているフォルダーと、ルートまでのすべての親フォルダーに対する execute (X) アクセス許可を付与します。これらのアクセス許可の詳細については、アクセス制御リスト (ACL) に関するページを参照してください。

たとえば、https://<storage-name>.dfs.core.windows.net/<fs>/synapse/workspaces/<synapse_ws>/warehouse/mytestdb.db/myparquettable/ では、セキュリティプリンシパルに次のものが必要です。

<fs> から始まって myparquettable までのすべてのフォルダーに対する execute (X) アクセス許可。
myparquettable およびそのフォルダー内のファイルに対する read (R) アクセス許可。これにより、データベース (同期されたもの、または元のもの) 内のテーブルを読み取ることができます。

セキュリティプリンシパルに、データベース内にオブジェクトを作成したり、オブジェクトを削除したりする権限が必要な場合は、warehouse フォルダー内のフォルダーとファイルに対する追加の write (W) 権限が必要になります。データベース内のオブジェクトの変更は、サーバーレス SQL プールからはできず、Spark プールまたはデータベースデザイナーからのみ可能です。

SQL セキュリティモデル

Azure Synapse ワークスペースには、サーバーレス SQL プールを使ってレイクデータベースのクエリを実行できる T-SQL エンドポイントがあります。データアクセスに加えて、SQL インターフェイスではテーブルにアクセスできるユーザーを制御できます。ユーザーがサーバーレス SQL プールを使って共有レイクデータベースにアクセスできるようにする必要があります。レイクデータベースにアクセスできるユーザーには、次の 2 種類があります。

管理者: サーバーレス SQL プール内で Synapse SQL 管理者ワークスペースロールまたは sysadmin サーバーレベルロールを割り当てます。このロールは、すべてのデータベースを完全に制御できます。 Synapse 管理者と Synapse SQL 管理者のロールも、サーバーレス SQL プール内のすべてのオブジェクトに対するすべてのアクセス許可を既定で持っています。
ワークスペース閲覧者: サーバーレス SQL プールに対するサーバーレベルのアクセス許可 GRANT CONNECT ANY DATABASE と GRANT SELECT ALL USER SECURABLES を、ログインに付与します。これにより、ログインは任意のデータベースにアクセスして読み取ることができます。これは、ユーザーに閲覧者/管理者以外のアクセス権を割り当てる場合に適しています。
データベース閲覧者: レイクデータベースに Microsoft Entra ID からデータベースユーザーを作成し、それらを db_datareader ロールに追加します。これにより、レイクデータベース内のデータを読み取ることができるようになります。

詳細については、こちらの共有データベースのアクセス制御の設定を参照してください。

レイクデータベースのカスタム SQL オブジェクト

レイクデータベースでは、スキーマ、プロシージャ、ビュー、インラインテーブル値関数 (iTVF) などのカスタム T-SQL オブジェクトを作成できます。カスタム SQL オブジェクトを作成するには、オブジェクトを配置するスキーマを作成する必要があります。カスタム SQL オブジェクトは、Spark、データベースデザイナー、または Dataverse で定義されたレイクテーブル用に予約されているため、dbo スキーマに配置することはできません。

重要

SQL オブジェクトを配置するカスタム SQL スキーマを作成する必要があります。カスタム SQL オブジェクトを dbo スキーマに配置することはできません。 dbo スキーマは、もともと Spark またはデータベースデザイナーで作成されたレイクテーブル用に予約されています。

例

レイクデータベースに SQL データベース閲覧者を作成する

この例では、共有テーブルを介してデータを読むことができる Microsoft Entra ユーザーをレイクデータベースに追加しています。ユーザーは、サーバーレス SQL プールを介してレイクデータベースに追加されます。次に、データを読むことができるように、ユーザーを db_datareader ロールに割り当てます。

CREATE USER [customuser@contoso.com] FROM EXTERNAL PROVIDER;
GO
ALTER ROLE db_datareader
ADD MEMBER [customuser@contoso.com];

ワークスペースレベルのデータリーダーを作成する

GRANT CONNECT ANY DATABASE と GRANT SELECT ALL USER SECURABLES のアクセス許可を持つログインは、サーバーレス SQL プールを使ってすべてのテーブルを読み取ることができますが、SQL データベースを作成したり、その中のオブジェクトを変更したりすることはできません。

CREATE LOGIN [wsdatareader@contoso.com] FROM EXTERNAL PROVIDER
GRANT CONNECT ANY DATABASE TO [wsdatareader@contoso.com]
GRANT SELECT ALL USER SECURABLES TO [wsdatareader@contoso.com]

このスクリプトを使うと、レイクデータベース内の任意のテーブルを読み取ることができる、管理者特権を持たないユーザーを作成できます。

サーバーレス SQL プールを使用して Spark データベースを作成して接続する

まず、ワークスペースに既に作成済みの Spark クラスターを使って、mytestdb という名前の新しい Spark データベースを作成します。たとえば、次の .NET for Spark ステートメントで Spark C# ノートブックを使用して、これを実現できます。

spark.sql("CREATE DATABASE mytestlakedb")

しばらくすると、サーバーレス SQL プールからレイクデータベースを見ることができるようになります。たとえば、サーバーレス SQL プールから次のステートメントを実行します。

SELECT * FROM sys.databases;

結果に mytestlakedb が含まれていることを確認します。

レイクデータベースにカスタム SQL オブジェクトを作成する

次の例では、reports スキーマでカスタムビュー、プロシージャ、インラインテーブル値関数 (iTVF) を作成する方法を示します。

CREATE SCHEMA reports
GO

CREATE OR ALTER VIEW reports.GreenReport
AS SELECT puYear, puMonth,
            fareAmount = SUM(fareAmount),
            tipAmount = SUM(tipAmount),
            mtaTax = SUM(mtaTax)
FROM dbo.green
GROUP BY puYear, puMonth
GO

CREATE OR ALTER PROCEDURE reports.GreenReportSummary
AS BEGIN
SELECT puYear, puMonth,
            fareAmount = SUM(fareAmount),
            tipAmount = SUM(tipAmount),
            mtaTax = SUM(mtaTax)
FROM dbo.green
GROUP BY puYear, puMonth
END
GO

CREATE OR ALTER FUNCTION reports.GreenDataReportMonthly(@year int)
RETURNS TABLE
RETURN ( SELECT puYear = @year, puMonth,
                fareAmount = SUM(fareAmount),
                tipAmount = SUM(tipAmount),
                mtaTax = SUM(mtaTax)
        FROM dbo.green
        WHERE puYear = @year
        GROUP BY puMonth )
GO

次の方法で共有

Azure Synapse Analytics でサーバーレス SQL プールを使用してレイクデータベースにアクセスする

レイクデータベースを管理する

セキュリティモデル

レイクセキュリティモデル

SQL セキュリティモデル

レイクデータベースのカスタム SQL オブジェクト

例

レイクデータベースに SQL データベース閲覧者を作成する

ワークスペースレベルのデータリーダーを作成する

サーバーレス SQL プールを使用して Spark データベースを作成して接続する

レイクデータベースにカスタム SQL オブジェクトを作成する

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure Synapse Analytics でサーバーレス SQL プールを使用してレイク データベースにアクセスする

レイク データベースを管理する

セキュリティ モデル

レイク セキュリティ モデル

SQL セキュリティ モデル

レイク データベースのカスタム SQL オブジェクト

例

レイク データベースに SQL データベース閲覧者を作成する

ワークスペース レベルのデータ リーダーを作成する

サーバーレス SQL プールを使用して Spark データベースを作成して接続する

レイク データベースにカスタム SQL オブジェクトを作成する

次のステップ

フィードバック

その他のリソース

Azure Synapse Analytics でサーバーレス SQL プールを使用してレイクデータベースにアクセスする

レイクデータベースを管理する

セキュリティモデル

レイクセキュリティモデル

SQL セキュリティモデル

レイクデータベースのカスタム SQL オブジェクト

レイクデータベースに SQL データベース閲覧者を作成する

ワークスペースレベルのデータリーダーを作成する

レイクデータベースにカスタム SQL オブジェクトを作成する