Azure Synapse Analytics の専用 SQL プールに Contoso Retail データを読み込む

[アーティクル]
06/01/2023

このチュートリアルでは、PolyBase および T-SQL コマンドを使用して、Contoso Retail データの 2 つのテーブルを専用 SQL プールに読み込む方法を説明します。

このチュートリアルでは、次のことについて説明します。

Azure Blob Storage から読み込むために PolyBase を構成する
パブリックデータをデータベースに読み込む
読み込みの完了後、最適化を実行する。

開始する前に

このチュートリアルを実行するには、専用 SQL プールが既に設定されている Azure アカウントが必要です。データウェアハウスがプロビジョニングされていない場合は、データウェアハウスの作成とサーバーレベルのファイアウォール規則の設定に関する記事を参照してください。

データソースの構成

PolyBase では T-SQL 外部オブジェクトを使用して、外部データの場所と属性を定義します。外部オブジェクトの定義は、専用 SQL プールに格納されます。データは外部に保存されます。

資格情報の作成

Contoso のパブリックデータを読み込もうとしている場合は、この手順をスキップしてください。パブリックデータにはだれでもアクセスできるため、セキュリティで保護されたアクセスは必要ありません。

独自のデータを読み込むためにこのチュートリアルをテンプレートとして使用している場合は、この手順をスキップしないでください。資格情報を使用してデータにアクセスするには、次のスクリプトを使用してデータベーススコープの資格情報を作成します。その後、データソースの場所を定義するときにそれを使用します。

-- A: Create a master key.
-- Only necessary if one does not already exist.
-- Required to encrypt the credential secret in the next step.

CREATE MASTER KEY;


-- B: Create a database scoped credential
-- IDENTITY: Provide any string, it is not used for authentication to Azure storage.
-- SECRET: Provide your Azure storage account key.


CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
WITH
    IDENTITY = 'user',
    SECRET = '<azure_storage_account_key>'
;


-- C: Create an external data source
-- TYPE: HADOOP - PolyBase uses Hadoop APIs to access data in Azure blob storage.
-- LOCATION: Provide Azure storage account name and blob container name.
-- CREDENTIAL: Provide the credential created in the previous step.

CREATE EXTERNAL DATA SOURCE AzureStorage
WITH (
    TYPE = HADOOP,
    LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
    CREDENTIAL = AzureStorageCredential
);

外部データソースを作成する

この CREATE EXTERNAL DATA SOURCE コマンドを使って、データの場所とデータ型を格納します。

CREATE EXTERNAL DATA SOURCE AzureStorage_west_public
WITH
(  
    TYPE = Hadoop
,   LOCATION = 'wasbs://contosoretaildw-tables@contosoretaildw.blob.core.windows.net/'
);

重要

Azure Blob Storage コンテナーをパブリックにすると、データがデータセンターから発信されるときに、データ所有者としてデータ送信料金が課金されることに注意してください。

データ形式の構成

データは Azure Blob Storage 内のテキストファイルに格納され、各フィールドは区切り記号で区切られます。 SSMS で、次の CREATE EXTERNAL FILE FORMAT コマンドを実行して、テキストファイル内のデータ形式を指定します。 Contoso データは圧縮されず、パイプで区切られます。

CREATE EXTERNAL FILE FORMAT TextFileFormat
WITH
(   FORMAT_TYPE = DELIMITEDTEXT
,    FORMAT_OPTIONS    (   FIELD_TERMINATOR = '|'
                    ,    STRING_DELIMITER = ''
                    ,    DATE_FORMAT         = 'yyyy-MM-dd HH:mm:ss.fff'
                    ,    USE_TYPE_DEFAULT = FALSE
                    )
);

外部テーブルのスキーマを作成する

データソースとファイル形式を指定したので、外部テーブルのスキーマを作成する準備ができました。

データベースの Contoso データを格納する場所を作成するには、スキーマを作成します。

CREATE SCHEMA [asb]
GO

外部テーブルの作成

次のスクリプトを実行して、DimProduct と FactOnlineSales 外部テーブルを作成します。ここでは、列名とデータ型を定義し、それらを Azure Blob Storage ファイルの場所と形式にバインドするだけです。定義はデータウェアハウスに格納されますが、データはまだ Azure Storage BLOB にあります。

LOCATION パラメーターは、Azure Storage BLOB のルートフォルダーの下にあるフォルダーです。各テーブルは、別のフォルダーにあります。

--DimProduct
CREATE EXTERNAL TABLE [asb].DimProduct (
    [ProductKey] [int] NOT NULL,
    [ProductLabel] [nvarchar](255) NULL,
    [ProductName] [nvarchar](500) NULL,
    [ProductDescription] [nvarchar](400) NULL,
    [ProductSubcategoryKey] [int] NULL,
    [Manufacturer] [nvarchar](50) NULL,
    [BrandName] [nvarchar](50) NULL,
    [ClassID] [nvarchar](10) NULL,
    [ClassName] [nvarchar](20) NULL,
    [StyleID] [nvarchar](10) NULL,
    [StyleName] [nvarchar](20) NULL,
    [ColorID] [nvarchar](10) NULL,
    [ColorName] [nvarchar](20) NOT NULL,
    [Size] [nvarchar](50) NULL,
    [SizeRange] [nvarchar](50) NULL,
    [SizeUnitMeasureID] [nvarchar](20) NULL,
    [Weight] [float] NULL,
    [WeightUnitMeasureID] [nvarchar](20) NULL,
    [UnitOfMeasureID] [nvarchar](10) NULL,
    [UnitOfMeasureName] [nvarchar](40) NULL,
    [StockTypeID] [nvarchar](10) NULL,
    [StockTypeName] [nvarchar](40) NULL,
    [UnitCost] [money] NULL,
    [UnitPrice] [money] NULL,
    [AvailableForSaleDate] [datetime] NULL,
    [StopSaleDate] [datetime] NULL,
    [Status] [nvarchar](7) NULL,
    [ImageURL] [nvarchar](150) NULL,
    [ProductURL] [nvarchar](150) NULL,
    [ETLLoadID] [int] NULL,
    [LoadDate] [datetime] NULL,
    [UpdateDate] [datetime] NULL
)
WITH
(
    LOCATION='/DimProduct/'
,   DATA_SOURCE = AzureStorage_west_public
,   FILE_FORMAT = TextFileFormat
,   REJECT_TYPE = VALUE
,   REJECT_VALUE = 0
)
;

--FactOnlineSales
CREATE EXTERNAL TABLE [asb].FactOnlineSales
(
    [OnlineSalesKey] [int]  NOT NULL,
    [DateKey] [datetime] NOT NULL,
    [StoreKey] [int] NOT NULL,
    [ProductKey] [int] NOT NULL,
    [PromotionKey] [int] NOT NULL,
    [CurrencyKey] [int] NOT NULL,
    [CustomerKey] [int] NOT NULL,
    [SalesOrderNumber] [nvarchar](20) NOT NULL,
    [SalesOrderLineNumber] [int] NULL,
    [SalesQuantity] [int] NOT NULL,
    [SalesAmount] [money] NOT NULL,
    [ReturnQuantity] [int] NOT NULL,
    [ReturnAmount] [money] NULL,
    [DiscountQuantity] [int] NULL,
    [DiscountAmount] [money] NULL,
    [TotalCost] [money] NOT NULL,
    [UnitCost] [money] NULL,
    [UnitPrice] [money] NULL,
    [ETLLoadID] [int] NULL,
    [LoadDate] [datetime] NULL,
    [UpdateDate] [datetime] NULL
)
WITH
(
    LOCATION='/FactOnlineSales/'
,   DATA_SOURCE = AzureStorage_west_public
,   FILE_FORMAT = TextFileFormat
,   REJECT_TYPE = VALUE
,   REJECT_VALUE = 0
)
;

データを読み込む

外部データにはさまざまな方法でアクセスできます。外部テーブルから直接データをクエリできます。また、そのデータをデータウェアハウスの新しいテーブルに読み込んだり、外部データを既存のデータウェアハウステーブルに追加したりできます。

新しいスキーマを作成する

CTAS により、データを含む新しいテーブルが作成されます。最初に、contoso データのスキーマを作成します。

CREATE SCHEMA [cso]
GO

データを新しいテーブルに読み込む

Azure Blob Storage からデータウェアハウステーブルにデータを読み込むには、CREATE TABLE AS SELECT (Transact-SQL) ステートメントを使用します。 CTAS による読み込みでは、自分で作成した厳密に型指定された外部テーブルを使用します。新しいテーブルにデータを読み込む場合は、テーブルごとに 1 つの CTAS ステートメントを使用してください。

CTAS により新しいテーブルが作成され、select ステートメントの結果が設定されます。 CTAS では、select ステートメントの結果と同じ列とデータ型が保持されるように、新しいテーブルが定義されます。外部テーブルからすべての列を選択すると、新しいテーブルは、外部テーブルの列とデータ型のレプリカになります。

この例では、ディメンションとファクトテーブルの両方を、ハッシュ分散テーブルとして作成します。

SELECT GETDATE();
GO

CREATE TABLE [cso].[DimProduct]            WITH (DISTRIBUTION = HASH([ProductKey]  ) ) AS SELECT * FROM [asb].[DimProduct]             OPTION (LABEL = 'CTAS : Load [cso].[DimProduct]             ');
CREATE TABLE [cso].[FactOnlineSales]       WITH (DISTRIBUTION = HASH([ProductKey]  ) ) AS SELECT * FROM [asb].[FactOnlineSales]        OPTION (LABEL = 'CTAS : Load [cso].[FactOnlineSales]        ');

読み込みの進行状況の追跡

読み込みの進捗状況を追跡するには、動的管理ビュー (DMV) を使用します。

-- To see all requests
SELECT * FROM sys.dm_pdw_exec_requests;

-- To see a particular request identified by its label
SELECT * FROM sys.dm_pdw_exec_requests as r
WHERE r.[label] = 'CTAS : Load [cso].[DimProduct]             '
      OR r.[label] = 'CTAS : Load [cso].[FactOnlineSales]        '
;

-- To track bytes and files
SELECT
    r.command,
    s.request_id,
    r.status,
    count(distinct input_name) as nbr_files,
    sum(s.bytes_processed)/1024/1024/1024 as gb_processed
FROM
    sys.dm_pdw_exec_requests r
    inner join sys.dm_pdw_dms_external_work s
        on r.request_id = s.request_id
WHERE
    r.[label] = 'CTAS : Load [cso].[DimProduct]             '
    OR r.[label] = 'CTAS : Load [cso].[FactOnlineSales]        '
GROUP BY
    r.command,
    s.request_id,
    r.status
ORDER BY
    nbr_files desc,
    gb_processed desc;

列ストア圧縮の最適化

既定では、専用 SQL プールには、テーブルがクラスター化列ストアインデックスとして格納されます。読み込みの完了時、一部のデータ行が、列ストアに圧縮されない可能性があります。これが発生する理由はさまざまです。詳しくは、列ストアインデックスの管理に関するページをご覧ください。

読み込み後のクエリのパフォーマンスと列ストア圧縮を最適化するには、列ストアインデックスですべての行が強制的に圧縮されるようにテーブルを再構築します。

SELECT GETDATE();
GO

ALTER INDEX ALL ON [cso].[DimProduct]               REBUILD;
ALTER INDEX ALL ON [cso].[FactOnlineSales]          REBUILD;

列ストアインデックスの保守の詳細については、列ストアインデックスの管理に関する記事をご覧ください。

統計の最適化

読み込みの直後に単一列の統計を作成することをお勧めします。クエリ述語に含まれない列があることがわかっている場合は、その列に対する統計の作成はスキップできます。すべての列に対して単一列の統計を作成する場合は、すべての統計の再構築に時間がかかる場合があります。

すべてのテーブルのすべての列で単一列の統計を作成する場合は、統計に関する記事のストアドプロシージャのコードサンプル prc_sqldw_create_stats を使うことができます。

次の例は、統計の作成の出発点として適しています。これによりディメンションテーブルの各列と、ファクトテーブルの各結合列に、単一列の統計が作成されます。他のファクトテーブルの列には、後で単一列または複数列の統計をいつでも追加できます。

CREATE STATISTICS [stat_cso_DimProduct_AvailableForSaleDate] ON [cso].[DimProduct]([AvailableForSaleDate]);
CREATE STATISTICS [stat_cso_DimProduct_BrandName] ON [cso].[DimProduct]([BrandName]);
CREATE STATISTICS [stat_cso_DimProduct_ClassID] ON [cso].[DimProduct]([ClassID]);
CREATE STATISTICS [stat_cso_DimProduct_ClassName] ON [cso].[DimProduct]([ClassName]);
CREATE STATISTICS [stat_cso_DimProduct_ColorID] ON [cso].[DimProduct]([ColorID]);
CREATE STATISTICS [stat_cso_DimProduct_ColorName] ON [cso].[DimProduct]([ColorName]);
CREATE STATISTICS [stat_cso_DimProduct_ETLLoadID] ON [cso].[DimProduct]([ETLLoadID]);
CREATE STATISTICS [stat_cso_DimProduct_ImageURL] ON [cso].[DimProduct]([ImageURL]);
CREATE STATISTICS [stat_cso_DimProduct_LoadDate] ON [cso].[DimProduct]([LoadDate]);
CREATE STATISTICS [stat_cso_DimProduct_Manufacturer] ON [cso].[DimProduct]([Manufacturer]);
CREATE STATISTICS [stat_cso_DimProduct_ProductDescription] ON [cso].[DimProduct]([ProductDescription]);
CREATE STATISTICS [stat_cso_DimProduct_ProductKey] ON [cso].[DimProduct]([ProductKey]);
CREATE STATISTICS [stat_cso_DimProduct_ProductLabel] ON [cso].[DimProduct]([ProductLabel]);
CREATE STATISTICS [stat_cso_DimProduct_ProductName] ON [cso].[DimProduct]([ProductName]);
CREATE STATISTICS [stat_cso_DimProduct_ProductSubcategoryKey] ON [cso].[DimProduct]([ProductSubcategoryKey]);
CREATE STATISTICS [stat_cso_DimProduct_ProductURL] ON [cso].[DimProduct]([ProductURL]);
CREATE STATISTICS [stat_cso_DimProduct_Size] ON [cso].[DimProduct]([Size]);
CREATE STATISTICS [stat_cso_DimProduct_SizeRange] ON [cso].[DimProduct]([SizeRange]);
CREATE STATISTICS [stat_cso_DimProduct_SizeUnitMeasureID] ON [cso].[DimProduct]([SizeUnitMeasureID]);
CREATE STATISTICS [stat_cso_DimProduct_Status] ON [cso].[DimProduct]([Status]);
CREATE STATISTICS [stat_cso_DimProduct_StockTypeID] ON [cso].[DimProduct]([StockTypeID]);
CREATE STATISTICS [stat_cso_DimProduct_StockTypeName] ON [cso].[DimProduct]([StockTypeName]);
CREATE STATISTICS [stat_cso_DimProduct_StopSaleDate] ON [cso].[DimProduct]([StopSaleDate]);
CREATE STATISTICS [stat_cso_DimProduct_StyleID] ON [cso].[DimProduct]([StyleID]);
CREATE STATISTICS [stat_cso_DimProduct_StyleName] ON [cso].[DimProduct]([StyleName]);
CREATE STATISTICS [stat_cso_DimProduct_UnitCost] ON [cso].[DimProduct]([UnitCost]);
CREATE STATISTICS [stat_cso_DimProduct_UnitOfMeasureID] ON [cso].[DimProduct]([UnitOfMeasureID]);
CREATE STATISTICS [stat_cso_DimProduct_UnitOfMeasureName] ON [cso].[DimProduct]([UnitOfMeasureName]);
CREATE STATISTICS [stat_cso_DimProduct_UnitPrice] ON [cso].[DimProduct]([UnitPrice]);
CREATE STATISTICS [stat_cso_DimProduct_UpdateDate] ON [cso].[DimProduct]([UpdateDate]);
CREATE STATISTICS [stat_cso_DimProduct_Weight] ON [cso].[DimProduct]([Weight]);
CREATE STATISTICS [stat_cso_DimProduct_WeightUnitMeasureID] ON [cso].[DimProduct]([WeightUnitMeasureID]);
CREATE STATISTICS [stat_cso_FactOnlineSales_CurrencyKey] ON [cso].[FactOnlineSales]([CurrencyKey]);
CREATE STATISTICS [stat_cso_FactOnlineSales_CustomerKey] ON [cso].[FactOnlineSales]([CustomerKey]);
CREATE STATISTICS [stat_cso_FactOnlineSales_DateKey] ON [cso].[FactOnlineSales]([DateKey]);
CREATE STATISTICS [stat_cso_FactOnlineSales_OnlineSalesKey] ON [cso].[FactOnlineSales]([OnlineSalesKey]);
CREATE STATISTICS [stat_cso_FactOnlineSales_ProductKey] ON [cso].[FactOnlineSales]([ProductKey]);
CREATE STATISTICS [stat_cso_FactOnlineSales_PromotionKey] ON [cso].[FactOnlineSales]([PromotionKey]);
CREATE STATISTICS [stat_cso_FactOnlineSales_StoreKey] ON [cso].[FactOnlineSales]([StoreKey]);

結果

パブリックデータがデータウェアハウスに正常に読み込まれました。すばらしい結果です。

これで、テーブルのクエリを開始して、データを探索することができます。ブランドごとの売上合計を調べるには、次のクエリを実行します。

SELECT  SUM(f.[SalesAmount]) AS [sales_by_brand_amount]
,       p.[BrandName]
FROM    [cso].[FactOnlineSales] AS f
JOIN    [cso].[DimProduct]      AS p ON f.[ProductKey] = p.[ProductKey]
GROUP BY p.[BrandName]

次のステップ

完全なデータセットを読み込むには、Microsoft SQL Server のサンプルリポジトリから完全な Contoso Retail データウェアハウスを読み込む例を実行します。開発に関するその他のヒントについては、データウェアハウスの設計上の決定とコーディング技法に関する記事を参照してください。

次の方法で共有

Azure Synapse Analytics の専用 SQL プールに Contoso Retail データを読み込む

開始する前に

データソースの構成

資格情報の作成

外部データソースを作成する

データ形式の構成

外部テーブルのスキーマを作成する

外部テーブルの作成

データを読み込む

新しいスキーマを作成する

データを新しいテーブルに読み込む

読み込みの進行状況の追跡

列ストア圧縮の最適化

統計の最適化

結果

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure Synapse Analytics の専用 SQL プールに Contoso Retail データを読み込む

開始する前に

データ ソースの構成

資格情報の作成

外部データ ソースを作成する

データ形式の構成

外部テーブルのスキーマを作成する

外部テーブルの作成

データを読み込む

新しいスキーマを作成する

データを新しいテーブルに読み込む

読み込みの進行状況の追跡

列ストア圧縮の最適化

統計の最適化

結果

次のステップ

フィードバック

その他のリソース

データソースの構成

外部データソースを作成する