Condividi tramite

Plug-in infer_storage_schema

  • Articolo

Si applica a: ✅Microsoft Fabric✅Azure Esplora dati

Questo plug-in deduce lo schema di dati esterni e lo restituisce come stringa dello schema CSL. La stringa può essere usata durante la creazione di tabelle esterne. Il plug-in viene richiamato con l'operatore evaluate .

Autenticazione e autorizzazione

Nelle proprietà della richiesta si specificano gli stringa di connessione di archiviazione a cui accedere. Ogni stringa di connessione di archiviazione specifica il metodo di autorizzazione da usare per l'accesso all'archiviazione. A seconda del metodo di autorizzazione, potrebbe essere necessario concedere all'entità le autorizzazioni per l'archiviazione esterna per eseguire l'inferenza dello schema.

Nella tabella seguente sono elencati i metodi di autenticazione supportati e le autorizzazioni necessarie per tipo di archiviazione.

Metodo di autenticazione Archiviazione BLOB di Azure/Data Lake Storage Gen2 Data Lake Storage Gen1
Rappresentazione Lettore dei dati del BLOB di archiviazione Lettore
Token (SAS) di accesso condiviso Elenco e lettura Questo metodo di autenticazione non è supportato in Gen1.
Token di accesso di Microsoft Entra
Chiave di accesso dell'account di archiviazione Questo metodo di autenticazione non è supportato in Gen1.

Sintassi

evaluateinfer_storage_schema( Opzioni )

Altre informazioni sulle convenzioni di sintassi.

Parametri

Nome Digita Obbligatorio Descrizione
Opzioni dynamic ✔️ Contenitore delle proprietà che specifica le proprietà della richiesta.

Proprietà supportate della richiesta

Nome Digita Obbligatorio Descrizione
StorageContainers dynamic ✔️ Matrice di stringa di connessione di archiviazione che rappresentano l'URI del prefisso per gli artefatti di dati archiviati.
DataFormat string ✔️ Uno dei formati di dati supportati.
FileExtension string Se specificato, la funzione analizza solo i file che terminano con questa estensione di file. La specifica dell'estensione può velocizzare il processo o eliminare i problemi di lettura dei dati.
FileNamePrefix string Se specificato, la funzione analizza solo i file a partire da questo prefisso. La specifica del prefisso può velocizzare il processo.
Modalità string Strategia di inferenza dello schema. Valore : any, last, all. La funzione deduce lo schema dei dati dal primo file trovato, dall'ultimo file scritto o da tutti i file rispettivamente. Il valore predefinito è last.
InferenceOptions dynamic Altre opzioni di inferenza. Opzioni valide: UseFirstRowAsHeader per i formati di file delimitati. Ad esempio, 'InferenceOptions': {'UseFirstRowAsHeader': true}

Valori restituiti

Il infer_storage_schema plug-in restituisce una singola tabella dei risultati contenente una singola riga/colonna contenente la stringa dello schema CSL.

Nota

  • Le chiavi segrete dell'URI del contenitore di archiviazione devono avere le autorizzazioni per List oltre a Lettura.
  • La strategia di inferenza dello schema 'all' è un'operazione molto "costosa", in quanto implica la lettura da tutti gli artefatti trovati e l'unione del relativo schema.
  • Alcuni tipi restituiti potrebbero non essere quelli effettivi a causa di un'ipotesi errata del tipo (o, come risultato del processo di unione dello schema). Ecco perché è consigliabile esaminare attentamente il risultato prima di creare una tabella esterna.

Esempio

let options = dynamic({
  'StorageContainers': [
    h@'https://storageaccount.blob.core.windows.net/MobileEvents;secretKey'
  ],
  'FileExtension': '.parquet',
  'FileNamePrefix': 'part-',
  'DataFormat': 'parquet'
});
evaluate infer_storage_schema(options)

Output

CslSchema
app_id:string, user_id:long, event_time:datetime, country:string, city:string, device_type:string, device_vendor:string, ad_network:string, campaign:string, site_id:string, event_type:string, event_name:string, organic:string, days_from_install:int, revenue:real

Usare lo schema restituito nella definizione di tabella esterna:

.create external table MobileEvents(
    app_id:string, user_id:long, event_time:datetime, country:string, city:string, device_type:string, device_vendor:string, ad_network:string, campaign:string, site_id:string, event_type:string, event_name:string, organic:string, days_from_install:int, revenue:real
)
kind=blob
partition by (dt:datetime = bin(event_time, 1d), app:string = app_id)
pathformat = ('app=' app '/dt=' datetime_pattern('yyyyMMdd', dt))
dataformat = parquet
(
    h@'https://storageaccount.blob.core.windows.net/MovileEvents;secretKey'
)

Contenuto correlato