CREATE EXTERNAL TABLE AS SELECT (CETAS) (Transact-SQL)

Van toepassing op: SQL Server 2022 (16.x) en hoger Azure Synapse AnalyticsAnalytics Platform System (PDW)

Hiermee maakt u een externe tabel en exporteert u vervolgens parallel de resultaten van een Transact-SQL SELECT-instructie.

• Azure Synapse Analytics and Analytics Platform System biedt ondersteuning voor Hadoop- of Azure Blob Storage.
• SQL Server 2022 (16.x) en latere versies ondersteunen CREATE EXTERNAL TABLE AS SELECT (CETAS) voor het maken van een externe tabel en exporteren, parallel, het resultaat van een Transact-SQL SELECT-instructie naar Azure Data Lake Storage (ADLS) Gen2, Azure Storage Account V2 en S3-compatibele objectopslag.

Notitie

De mogelijkheden en beveiliging van CETAS voor Azure SQL Managed Instance verschillen van SQL Server of Azure Synapse Analytics. Zie de azure SQL Managed Instance-versie van CREATE EXTERNAL TABLE AS SELECTvoor meer informatie.

Notitie

De mogelijkheden en beveiliging van CETAS voor serverloze pools in Azure Synapse Analytics verschillen van SQL Server. Zie CETAS met Synapse SQLvoor meer informatie.

Transact-SQL syntaxisconventies

Syntaxis

CREATE EXTERNAL TABLE { [ [ database_name . [ schema_name ] . ] | schema_name . ] table_name }
    [ (column_name [ , ...n ] ) ]
    WITH (
        LOCATION = 'hdfs_folder' | '<prefix>://<path>[:<port>]' ,
        DATA_SOURCE = external_data_source_name ,
        FILE_FORMAT = external_file_format_name
        [ , <reject_options> [ , ...n ] ]
    )
    AS <select_statement>
[;]

<reject_options> ::=
{
    | REJECT_TYPE = value | percentage
    | REJECT_VALUE = reject_value
    | REJECT_SAMPLE_VALUE = reject_sample_value
}

<select_statement> ::=
    [ WITH <common_table_expression> [ , ...n ] ]
    SELECT <select_criteria>

Argumenten

[ [ database_name . [ schema_name ] . ] | schema_name . ] table_name

De een- tot driedelige naam van de tabel die u in de database wilt maken. Voor een externe tabel slaat relationele database alleen de metagegevens van de tabel op.

[ ( column_name [ ,... n ] ) ]

De naam van een tabelkolom.

PLAATS

Van toepassing op: Azure Synapse Analytics en Analytics Platform System

'hdfs_folder'**
Hiermee geeft u op waar de resultaten van de SELECT-instructie op de externe gegevensbron moeten worden geschreven. De locatie is een mapnaam en kan eventueel een pad bevatten dat relatief is ten opzichte van de hoofdmap van het Hadoop-cluster of blobopslag. PolyBase maakt het pad en de map als het nog niet bestaat.

De externe bestanden worden geschreven naar hdfs_folder en benoemd QueryID_date_time_ID.format, waarbij ID een incrementele id is en format de geëxporteerde gegevensindeling is. Een voorbeeld is QID776_20160130_182739_0.orc.

LOCATION moet verwijzen naar een map en een volg-/hebben, bijvoorbeeld: aggregated_data/.

Van toepassing op: SQL Server 2022 (16.x) en hoger

prefix://path[:port] biedt het connectiviteitsprotocol (voorvoegsel), het pad en eventueel de poort naar de externe gegevensbron, waar het resultaat van de SELECT-instructie wordt geschreven.

Als de bestemming S3-compatibele objectopslag is, moet er eerst een bucket bestaan, maar PolyBase kan indien nodig submappen maken. SQL Server 2022 (16.x) ondersteunt Azure Data Lake Storage Gen2, Azure Storage Account V2 en S3-compatibele objectopslag. ORC-bestanden worden momenteel niet ondersteund.

DATA_SOURCE = external_data_source_name

Hiermee geeft u de naam op van het externe gegevensbronobject dat de locatie bevat waar de externe gegevens worden opgeslagen of worden opgeslagen. De locatie is een Hadoop-cluster of een Azure Blob-opslag. Als u een externe gegevensbron wilt maken, gebruikt u CREATE EXTERNAL DATA SOURCE (Transact-SQL).

FILE_FORMAT = external_file_format_name

Hiermee geeft u de naam van het externe bestandsindelingsobject dat de indeling voor het externe gegevensbestand bevat. Als u een externe bestandsindeling wilt maken, gebruikt u CREATE EXTERNAL FILE FORMAT (Transact-SQL).

WEIGERINGsopties

WEIGEREN-opties zijn niet van toepassing op het moment dat deze CREATE EXTERNAL TABLE AS SELECT instructie wordt uitgevoerd. In plaats daarvan worden ze hier opgegeven, zodat de database deze op een later tijdstip kan gebruiken wanneer er gegevens uit de externe tabel worden geïmporteerd. Later, wanneer de instructie CREATE TABLE AS SELECT gegevens uit de externe tabel selecteert, gebruikt de database de weigeringsopties om het aantal of het percentage rijen te bepalen dat niet kan worden geïmporteerd voordat het importeren wordt gestopt.

• REJECT_VALUE = reject_value

  Hiermee geeft u de waarde of het percentage rijen op dat niet kan worden geïmporteerd voordat de database de import stopt.

• REJECT_TYPE = waarde | percentage

  Verduidelijkt of de optie REJECT_VALUE een letterlijke waarde of een percentage is.

  • waarde

    Wordt gebruikt als REJECT_VALUE een letterlijke waarde is, niet een percentage. De database stopt met het importeren van rijen uit het externe gegevensbestand wanneer het aantal mislukte rijen groter is dan reject_value.

    Als bijvoorbeeld REJECT_VALUE = 5 en REJECT_TYPE = value, stopt de database met het importeren van rijen nadat vijf rijen niet kunnen worden geïmporteerd.

  • percentage

    Wordt gebruikt als REJECT_VALUE een percentage is, niet een letterlijke waarde. De database stopt met het importeren van rijen uit het externe gegevensbestand wanneer het percentage van mislukte rijen groter is dan reject_value. Het percentage mislukte rijen wordt berekend met intervallen. Alleen geldig in toegewezen SQL-pools wanneer TYPE=HADOOP.

• REJECT_SAMPLE_VALUE = reject_sample_value

  Vereist wanneer REJECT_TYPE = percentage. Hiermee geeft u het aantal rijen op dat moet worden geïmporteerd voordat de database het percentage mislukte rijen opnieuw berekent.

  Als bijvoorbeeld REJECT_SAMPLE_VALUE = 1000, berekent de database het percentage mislukte rijen nadat is geprobeerd 1000 rijen uit het externe gegevensbestand te importeren. Als het percentage mislukte rijen kleiner is dan reject_value, probeert de database nog eens 1000 rijen te laden. De database blijft het percentage mislukte rijen herberekenen nadat deze elke extra 1000 rijen heeft geïmporteerd.

  Notitie

  Omdat de database het percentage mislukte rijen berekent met intervallen, kan het werkelijke percentage mislukte rijen groter zijn dan reject_value.

  voorbeeld:

  In dit voorbeeld ziet u hoe de drie weigeringsopties met elkaar communiceren. Als REJECT_TYPE = percentage, REJECT_VALUE = 30, REJECT_SAMPLE_VALUE = 100, kan het volgende scenario bijvoorbeeld optreden:

  • De database probeert de eerste 100 rijen te laden, waarvan 25 mislukken en 75 slagen.
  • Het percentage mislukte rijen wordt berekend als 25%, wat kleiner is dan de weigeringswaarde van 30%. Het is dus niet nodig om de belasting te stoppen.
  • De database probeert de volgende 100 rijen te laden. Deze keer slagen 25 en 75 mislukt.
  • Het percentage mislukte rijen wordt opnieuw berekend als 50%. Het percentage mislukte rijen heeft de waarde van 30% weigeren overschreden.
  • De belasting mislukt met 50% mislukte rijen na een poging om 200 rijen te laden, wat groter is dan de opgegeven limiet van 30%.

MET common_table_expression

Hiermee geeft u een tijdelijke benoemde resultatenset op, ook wel een algemene tabelexpressie (CTE) genoemd. Zie WITH common_table_expression (Transact-SQL) voor meer informatie

SELECT <select_criteria>

Hiermee wordt de nieuwe tabel gevuld met de resultaten van een SELECT-instructie. select_criteria is de hoofdtekst van de SELECT-instructie waarmee wordt bepaald welke gegevens naar de nieuwe tabel moeten worden gekopieerd. Zie SELECT (Transact-SQL)voor meer informatie over SELECT-instructies.

Notitie

ORDER BY-component in SELECT heeft geen effect op CETAS.

kolomopties

• column_name [ ,... n ]

  Kolomnamen staan de kolomopties die worden vermeld in CREATE TABLE niet toe. In plaats daarvan kunt u een optionele lijst opgeven met een of meer kolomnamen voor de nieuwe tabel. De kolommen in de nieuwe tabel gebruiken de namen die u opgeeft. Wanneer u kolomnamen opgeeft, moet het aantal kolommen in de kolomlijst overeenkomen met het aantal kolommen in de selectieresultaten. Als u geen kolomnamen opgeeft, worden in de nieuwe doeltabel de kolomnamen in de resultaten van de select-instructie gebruikt.

  U kunt geen andere kolomopties opgeven, zoals gegevenstypen, sortering of null-uitvoerbaarheid. Elk van deze kenmerken is afgeleid van de resultaten van de SELECT-instructie. U kunt echter de SELECT-instructie gebruiken om de kenmerken te wijzigen. Zie voor een voorbeeld CETAS gebruiken om kolomkenmerken te wijzigen.

Machtigingen

Als u deze opdracht wilt uitvoeren, heeft de databasegebruiker al deze machtigingen of lidmaatschappen nodig:

• ALTER SCHEMA machtiging voor het lokale schema dat de nieuwe tabel of het lidmaatschap van de db_ddladmin vaste databaserol bevat.
• CREATE TABLE machtiging of lidmaatschap van de db_ddladmin vaste databaserol.
• SELECT machtiging voor objecten waarnaar in de select_criteriawordt verwezen.

Voor de aanmelding zijn al deze machtigingen vereist:

• BULKBEWERKINGEN BEHEREN
• EEN EXTERNE GEGEVENSBRON WIJZIGEN
• EEN EXTERNE BESTANDSINDELING WIJZIGEN
• Over het algemeen moet u machtigingen hebben voor het mapinhoud van lijst en schrijven naar de map LOCATION voor CETAS.
• In Azure Synapse Analytics en Analytics Platform System Schrijf machtiging schrijven voor lezen en schrijven naar de externe map op het Hadoop-cluster of in Azure Blob Storage.
• In SQL Server 2022 (16.x) is het ook vereist om de juiste machtigingen in te stellen op de externe locatie. Machtiging schrijven om de gegevens naar de locatie uit te voeren en leesmachtiging om deze te openen.
• Voor Azure Blob Storage en Azure Data Lake Gen2 moet het SHARED ACCESS SIGNATURE token de volgende bevoegdheden krijgen voor de container: Read, Write, List, Create.
• Voor Azure Blog Storage moet het selectievakje Allowed Services: Blob zijn ingeschakeld om het SAS-token te genereren.
• Voor Azure Data Lake Gen2 moet de Allowed Services: Container en Object selectievakjes zijn ingeschakeld om het SAS-token te genereren.

Belangrijk

Met de machtiging ALTER ANY EXTERNAL DATA SOURCE verleent elke principal de mogelijkheid om een extern gegevensbronobject te maken en te wijzigen, zodat het ook de mogelijkheid verleent om toegang te krijgen tot alle databasereferenties in de database. Deze machtiging moet worden beschouwd als zeer bevoegd en moet alleen worden verleend aan vertrouwde principals in het systeem.

Foutafhandeling

Wanneer CREATE EXTERNAL TABLE AS SELECT gegevens exporteert naar een bestand met tekstscheidingstekens, is er geen afwijzingsbestand voor rijen die niet kunnen worden geëxporteerd.

Wanneer u de externe tabel maakt, probeert de database verbinding te maken met de externe locatie. Als de verbinding mislukt, mislukt de opdracht en wordt de externe tabel niet gemaakt. Het kan een minuut of langer duren voordat de opdracht mislukt omdat de database de verbinding minstens drie keer opnieuw probeert uit te voeren.

Als CREATE EXTERNAL TABLE AS SELECT wordt geannuleerd of mislukt, voert de database een eenmalige poging uit om nieuwe bestanden en mappen te verwijderen die al zijn gemaakt op de externe gegevensbron.

In Azure Synapse Analytics en Analytics Platform System rapporteert de database eventuele Java-fouten die optreden in de externe gegevensbron tijdens het exporteren van gegevens.

Opmerkingen

Nadat de CREATE EXTERNAL TABLE AS SELECT-instructie is voltooid, kunt u Transact-SQL query's uitvoeren in de externe tabel. Met deze bewerkingen worden gegevens geïmporteerd in de database voor de duur van de query, tenzij u importeert met behulp van de instructie CREATE TABLE AS SELECT.

De naam en definitie van de externe tabel worden opgeslagen in de metagegevens van de database. De gegevens worden opgeslagen in de externe gegevensbron.

Met de instructie CREATE EXTERNAL TABLE AS SELECT wordt altijd een niet-gepartitioneerde tabel gemaakt, zelfs als de brontabel is gepartitioneerd.

Voor SQL Server 2022 (16.x) moet de optie allow polybase export zijn ingeschakeld met behulp van sp_configure. Zie configuratieoptie allow polybase export instellenvoor meer informatie.

Voor queryplannen in Azure Synapse Analytics en Analytics Platform System, gemaakt met EXPLAIN, maakt de database gebruik van deze queryplanbewerkingen voor externe tabellen: Externe willekeurige verplaatsing, externe broadcast verplaatsen, externe partitieverplaatsing.

Als vereiste voor het maken van een externe tabel in Analytics Platform System moet de apparaatbeheerder Hadoop-connectiviteit configureren. Zie Connectiviteit met externe gegevens (Analytics Platform System) configureren in de documentatie van het Analytics Platform System, die u kunt downloaden via het Microsoft Downloadcentrumvoor meer informatie.

Beperkingen en beperkingen

Omdat externe tabelgegevens zich buiten de database bevinden, werken back-up- en herstelbewerkingen alleen op gegevens die zijn opgeslagen in de database. Als gevolg hiervan wordt alleen een back-up van de metagegevens gemaakt en hersteld.

De database controleert de verbinding met de externe gegevensbron niet bij het herstellen van een databaseback-up die een externe tabel bevat. Als de oorspronkelijke bron niet toegankelijk is, slaagt het herstellen van metagegevens van de externe tabel nog steeds, maar mislukt SELECT-bewerkingen in de externe tabel.

De database garandeert geen gegevensconsistentie tussen de database en de externe gegevens. U, de klant, is alleen verantwoordelijk voor het onderhouden van consistentie tussen de externe gegevens en de database.

DML-bewerkingen (Data Manipulat Language) worden niet ondersteund in externe tabellen. U kunt bijvoorbeeld de Transact-SQL-instructies voor het bijwerken, invoegen of verwijderen van Transact-SQL niet gebruiken om de externe gegevens te wijzigen.

CREATE TABLE, DROP TABLE, CREATE STATISTICS, DROP STATISTICS, CREATE VIEW en DROP VIEW zijn de enige DDL-bewerkingen (Data Definition Language) die zijn toegestaan voor externe tabellen.

Beperkingen en beperkingen voor Azure Synapse Analytics

• In toegewezen SQL-pools van Azure Synapse Analytics en het Analytics Platform System kan PolyBase maximaal 33.000 bestanden per map gebruiken bij het uitvoeren van 32 gelijktijdige PolyBase-query's. Dit maximumaantal omvat zowel bestanden als submappen in elke HDFS-map. Als de mate van gelijktijdigheid kleiner is dan 32, kan een gebruiker PolyBase-query's uitvoeren op mappen in HDFS die meer dan 33.000 bestanden bevatten. Het is raadzaam dat gebruikers van Hadoop en PolyBase bestandspaden kort houden en niet meer dan 30.000 bestanden per HDFS-map gebruiken. Wanneer er te veel bestanden naar worden verwezen, treedt er een JVM-uitzondering op voor onvoldoende geheugen.

• In serverloze SQL-pools kunnen externe tabellen niet worden gemaakt op een locatie waar u momenteel gegevens hebt. Als u een locatie wilt hergebruiken die is gebruikt voor het opslaan van gegevens, moet de locatie handmatig worden verwijderd in ADLS. Zie Best practices voor filteroptimalisatievoor meer beperkingen en best practices.

Wanneer in toegewezen SQL-pools van Azure Synapse Analytics en Analytics Platform System CREATE EXTERNAL TABLE AS SELECT uit een RCFile selecteert, mogen de kolomwaarden in het RCFile het sluisteken (|) niet bevatten.

SET ROWCOUNT (Transact-SQL) heeft geen effect op CREATE EXTERNAL TABLE AS SELECT. Gebruik TOP (Transact-SQL)om een vergelijkbaar gedrag te bereiken.

Bekijk naamgeving en verwijzingen naar containers, blobs en metagegevens voor beperkingen voor bestandsnamen.

Tekenfouten

De volgende tekens in gegevens kunnen fouten veroorzaken, waaronder geweigerde records met CREATE EXTERNAL TABLE AS SELECT naar Parquet-bestanden.

Dit geldt ook voor ORC-bestanden in Azure Synapse Analytics en Analytics Platform System.

• |
• " (aanhalingsteken)
• \r\n
• \r
• \n

Als u CREATE EXTERNAL TABLE AS SELECT met deze tekens wilt gebruiken, moet u eerst de CREATE EXTERNAL TABLE AS SELECT instructie uitvoeren om de gegevens te exporteren naar tekstbestanden met scheidingstekens, waar u ze vervolgens kunt converteren naar Parquet of ORC met behulp van een extern hulpprogramma.

Werken met parquet

Wanneer u met parquet-bestanden werkt, genereert CREATE EXTERNAL TABLE AS SELECT één parquet-bestand per beschikbare CPU, tot aan de geconfigureerde maximale mate van parallelle uitvoering (MAXDOP). Elk bestand kan groeien tot 190 GB, waarna SQL Server meer Parquet-bestanden genereert, indien nodig.

De queryhint OPTION (MAXDOP n) heeft alleen invloed op het SELECT-deel van CREATE EXTERNAL TABLE AS SELECT. Het heeft geen invloed op het aantal Parquet-bestanden. Alleen MAXDOP op databaseniveau en MAXDOP op exemplaarniveau wordt overwogen.

Vergrendeling

Neemt een gedeelde vergrendeling op het OBJECT SCHEMARESOLUTION.

Ondersteunde gegevenstypen

CETAS kan worden gebruikt om resultatensets op te slaan met de volgende SQL-gegevenstypen:

• binair
• varbinary
• verkolen
• varchar
• nchar
• nvarchar
• smalldate
• datum
• datum/tijd
• datetime2
• datetimeoffset
• Tijd
• decimaal
• numeriek
• drijven
• werkelijk
• bigint
• tinyint
• smallint
• Int
• bigint
• bit
• geld
• smallmoney

Voorbeelden

Een. Een Hadoop-tabel maken met CREATE EXTERNAL TABLE AS SELECT

Van toepassing op: Azure Synapse Analytics en Analytics Platform System

In het volgende voorbeeld wordt een nieuwe externe tabel gemaakt met de naam hdfsCustomer die gebruikmaakt van de kolomdefinities en gegevens uit de brontabel dimCustomer.

De tabeldefinitie wordt opgeslagen in de database en de resultaten van de SELECT-instructie worden geëxporteerd naar het /pdwdata/customer.tbl bestand op de externe Hadoop-gegevensbron customer_ds. Het bestand is opgemaakt volgens de externe bestandsindeling customer_ff.

De bestandsnaam wordt gegenereerd door de database en bevat de query-id om het bestand gemakkelijker uit te lijnen met de query die het heeft gegenereerd.

Het pad hdfs://xxx.xxx.xxx.xxx:5000/files/ voorafgaande aan de directory Klant moet al bestaan. Als de map Klant niet bestaat, maakt de database de map.

Notitie

In dit voorbeeld wordt 5000 opgegeven. Als de poort niet is opgegeven, gebruikt de database 8020 als standaardpoort.

De resulterende Hadoop-locatie en bestandsnaam worden hdfs:// xxx.xxx.xxx.xxx:5000/files/Customer/ QueryID_YearMonthDay_HourMinutesSeconds_FileIndex.txt..

-- Example is based on AdventureWorks
CREATE EXTERNAL TABLE hdfsCustomer
    WITH (
            LOCATION = '/pdwdata/customer.tbl',
            DATA_SOURCE = customer_ds,
            FILE_FORMAT = customer_ff
            ) AS

SELECT *
FROM dimCustomer;
GO

B. Een queryhint gebruiken met CREATE EXTERNAL TABLE AS SELECT

Van toepassing op: Azure Synapse Analytics en Analytics Platform System

Deze query toont de basissyntaxis voor het gebruik van een hint voor querydeelname met de instructie CREATE EXTERNAL TABLE AS SELECT. Nadat de query is verzonden, gebruikt de database de hash-joinstrategie om het queryplan te genereren. Zie OPTION-component (Transact-SQL)voor meer informatie over hints voor joins en het gebruik van de OPTION-component.

Notitie

In dit voorbeeld wordt 5000 opgegeven. Als de poort niet is opgegeven, gebruikt de database 8020 als standaardpoort.

-- Example is based on AdventureWorks
CREATE EXTERNAL TABLE dbo.FactInternetSalesNew
    WITH (
            LOCATION = '/files/Customer',
            DATA_SOURCE = customer_ds,
            FILE_FORMAT = customer_ff
            ) AS

SELECT T1.*
FROM dbo.FactInternetSales T1
INNER JOIN dbo.DimCustomer T2
    ON (T1.CustomerKey = T2.CustomerKey)
OPTION (HASH JOIN);
GO

C. CETAS gebruiken om kolomkenmerken te wijzigen

Van toepassing op: Azure Synapse Analytics en Analytics Platform System

In dit voorbeeld wordt CETAS gebruikt om gegevenstypen, nullbaarheid en sortering te wijzigen voor verschillende kolommen in de FactInternetSales tabel.

-- Example is based on AdventureWorks
CREATE EXTERNAL TABLE dbo.FactInternetSalesNew
    WITH (
            LOCATION = '/files/Customer',
            DATA_SOURCE = customer_ds,
            FILE_FORMAT = customer_ff
            ) AS

SELECT T1.ProductKey AS ProductKeyNoChange,
    T1.OrderDateKey AS OrderDate,
    T1.ShipDateKey AS ShipDate,
    T1.CustomerKey AS CustomerKeyNoChange,
    T1.OrderQuantity AS Quantity,
    T1.SalesAmount AS MONEY
FROM dbo.FactInternetSales T1
INNER JOIN dbo.DimCustomer T2
    ON (T1.CustomerKey = T2.CustomerKey)
OPTION (HASH JOIN);
GO

D. CREATE EXTERNAL TABLE AS SELECT gebruiken om gegevens als Parquet te exporteren

van toepassing op: SQL Server 2022 (16.x)

In het volgende voorbeeld wordt een nieuwe externe tabel gemaakt met de naam ext_sales die gebruikmaakt van de gegevens uit de tabel SalesOrderDetail van AdventureWorks2022. De de configuratieoptie voor het exporteren van polybase toestaan moet zijn ingeschakeld.

Het resultaat van de SELECT-instructie wordt opgeslagen op S3-compatibele objectopslag die eerder is geconfigureerd en benoemd s3_eds, en de juiste referenties die zijn gemaakt als s3_dsc. De parquet-bestandslocatie wordt <ip>:<port>/cetas/sales.parquet waar cetas de eerder gemaakte opslagbucket is.

Notitie

Delta-indeling wordt momenteel alleen ondersteund als alleen-lezen.

-- Credential to access the S3-compatible object storage
CREATE DATABASE SCOPED CREDENTIAL s3_dsc
    WITH IDENTITY = 'S3 Access Key',
        SECRET = '<accesskeyid>:<secretkeyid>'
GO

-- S3-compatible object storage data source
CREATE EXTERNAL DATA SOURCE s3_eds
    WITH (
            LOCATION = 's3://<ip>:<port>',
            CREDENTIAL = s3_dsc
            )

-- External File Format for PARQUET
CREATE EXTERNAL FILE FORMAT ParquetFileFormat
    WITH (FORMAT_TYPE = PARQUET);
GO

CREATE EXTERNAL TABLE ext_sales
    WITH (
            LOCATION = '/cetas/sales.parquet',
            DATA_SOURCE = s3_eds,
            FILE_FORMAT = ParquetFileFormat
            ) AS

SELECT *
FROM AdventureWorks2022.[Sales].[SalesOrderDetail];
GO

E. CREATE EXTERNAL TABLE AS SELECT van deltatabel naar Parquet gebruiken

van toepassing op: SQL Server 2022 (16.x)

In het volgende voorbeeld wordt een nieuwe externe tabel gemaakt met de naam Delta_to_Parquet, die gebruikmaakt van het deltatabeltype gegevens in een S3-compatibele objectopslag met de naam s3_deltaen schrijft het resultaat in een andere gegevensbron met de naam s3_parquet als parquet-bestand. Hiervoor maakt het voorbeeld gebruik van de OPENROWSET-opdracht. De de configuratieoptie voor het exporteren van polybase toestaan moet zijn ingeschakeld.

-- External File Format for PARQUET
CREATE EXTERNAL FILE FORMAT ParquetFileFormat
    WITH (FORMAT_TYPE = PARQUET);
GO

CREATE EXTERNAL TABLE Delta_to_Parquet
    WITH (
            LOCATION = '/backup/sales.parquet',
            DATA_SOURCE = s3_parquet,
            FILE_FORMAT = ParquetFileFormat
            ) AS

SELECT *
FROM OPENROWSET(BULK '/delta/sales_fy22/', FORMAT = 'DELTA', DATA_SOURCE = 's3_delta') AS [r];
GO

F. CREATE EXTERNAL TABLE AS SELECT gebruiken met een weergave als de bron

van toepassing op: serverloze SQL-pools en toegewezen SQL-pools van Azure Synapse Analytics.

Gebruik het volgende voorbeeld als sjabloon voor het schrijven van CETAS met een door de gebruiker gedefinieerde weergave als bron, met behulp van een beheerde identiteit voor verificatie en het abfs:-eindpunt:

CREATE DATABASE [<mydatabase>];
GO

USE [<mydatabase>];
GO

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';

CREATE DATABASE SCOPED CREDENTIAL [WorkspaceIdentity] WITH IDENTITY = 'managed identity';
GO

CREATE EXTERNAL FILE FORMAT [ParquetFF] WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL DATA SOURCE [SynapseSQLwriteable] WITH (
    LOCATION = 'abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file_name>',
    CREDENTIAL = [WorkspaceIdentity]
);
GO

CREATE EXTERNAL TABLE [dbo].[<myexternaltable>] WITH (
        LOCATION = '<myoutputsubfolder>/',
        DATA_SOURCE = [SynapseSQLwriteable],
        FILE_FORMAT = [ParquetFF]
) AS
SELECT * FROM [<myview>];
GO

G. CREATE EXTERNAL TABLE AS SELECT gebruiken met een weergave als de bron

van toepassing op: serverloze SQL-pools en toegewezen SQL-pools van Azure Synapse Analytics.

In dit voorbeeld zien we een voorbeeld van een sjablooncode voor het schrijven van CETAS met een door de gebruiker gedefinieerde weergave als bron, met behulp van beheerde identiteit als verificatie en https:.

CREATE DATABASE [<mydatabase>];
GO

USE [<mydatabase>];
GO

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';

CREATE DATABASE SCOPED CREDENTIAL [WorkspaceIdentity] WITH IDENTITY = 'managed identity';
GO

CREATE EXTERNAL FILE FORMAT [ParquetFF] WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL DATA SOURCE [SynapseSQLwriteable] WITH (
    LOCATION = 'https://<mystoageaccount>.dfs.core.windows.net/<mycontainer>/<mybaseoutputfolderpath>',
    CREDENTIAL = [WorkspaceIdentity]
);
GO

CREATE EXTERNAL TABLE [dbo].[<myexternaltable>] WITH (
        LOCATION = '<myoutputsubfolder>/',
        DATA_SOURCE = [SynapseSQLwriteable],
        FILE_FORMAT = [ParquetFF]
) AS
SELECT * FROM [<myview>];
GO

Volgende stappen

• CREATE EXTERNAL DATA SOURCE (Transact-SQL)
• CREATE EXTERNAL FILE FORMAT (Transact-SQL)
• CREATE EXTERNAL TABLE (Transact-SQL)
• CREATE TABLE (Azure Synapse Analytics, Parallel Data Warehouse)
• CREATE TABLE AS SELECT (Azure Synapse Analytics)
• DROP TABLE (Transact-SQL)
• ALTER TABLE (Transact-SQL)