Synchronizowanie platformy Apache Spark na potrzeby Azure Synapse zewnętrznych definicji tabel w bezserwerowej puli SQL

Bezserwerowa pula SQL może automatycznie synchronizować metadane z platformy Apache Spark. Baza danych bezserwerowej puli SQL zostanie utworzona dla każdej bazy danych istniejącej w bezserwerowych pulach platformy Apache Spark.

Dla każdej tabeli zewnętrznej Platformy Spark opartej na formacie Parquet lub CSV znajdującym się w usłudze Azure Storage tabela zewnętrzna jest tworzona w bezserwerowej bazie danych puli SQL. W związku z tym możesz zamknąć pule platformy Spark i nadal wysyłać zapytania do tabel zewnętrznych platformy Spark z bezserwerowej puli SQL.

Gdy tabela jest partycjonowana na platformie Spark, pliki w magazynie są zorganizowane według folderów. Bezserwerowa pula SQL będzie używać metadanych partycji i dotyczy tylko odpowiednich folderów i plików dla zapytania.

Synchronizacja metadanych jest automatycznie konfigurowana dla każdej bezserwerowej puli platformy Apache Spark aprowizowanej w obszarze roboczym Azure Synapse. Możesz natychmiast rozpocząć wykonywanie zapytań względem tabel zewnętrznych platformy Spark.

Każda tabela zewnętrzna Spark Parquet lub CSV znajdująca się w usłudze Azure Storage jest reprezentowana z tabelą zewnętrzną w schemacie dbo, który odpowiada bezserwerowej bazie danych puli SQL.

W przypadku zapytań dotyczących tabeli zewnętrznej platformy Spark uruchom zapytanie przeznaczone dla zewnętrznego elementu [spark_table]. Przed uruchomieniem poniższego przykładu upewnij się, że masz prawidłowy dostęp do konta magazynu , na którym znajdują się pliki.

SELECT * FROM [db].dbo.[spark_table]

Mapowanie typów danych platformy Apache Spark na typy danych SQL

Aby uzyskać więcej informacji na temat mapowania typów danych platformy Apache Spark na typy danych SQL, zobacz Azure Synapse Analytics udostępnione tabele metadanych.

Następne kroki

Przejdź do artykułu Storage Access Control, aby dowiedzieć się więcej o kontroli dostępu do magazynu.