共用方式為

infer_storage_schema 外掛程式

  • 發行項

適用於： ✅Microsoft網狀架構✅Azure 數據總管

此外掛程式會推斷外部數據的架構，並將它當做 CSL 架構字串傳回。 建立外部數據表時，可以使用字串。 外掛程式是使用運算子叫 evaluate 用的。

驗證與授權

在要求的屬性中，您可以指定要存取的記憶體 連接字串。 每個記憶體 連接字串 指定用於存取記憶體的授權方法。 根據授權方法，主體可能需要授與外部記憶體的許可權，才能執行架構推斷。

下表列出支持的驗證方法，以及記憶體類型所需的任何許可權。

驗證方法 Azure Blob 儲存體 / Data Lake Storage Gen2 Data Lake Storage Gen1
模仿 儲存體 Blob 資料讀者 讀取者
共用存取 (SAS) 權杖 清單 + 讀取 Gen1 不支援此驗證方法。
Microsoft Entra 存取令牌
儲存體帳戶存取金鑰 Gen1 不支援此驗證方法。

語法

evaluateinfer_storage_schema( 選項 )

深入瞭解 語法慣例。

參數

姓名 類型​​ 必要 描述
選項 dynamic ✔️ 指定 要求屬性的屬性包。

要求支持的屬性

名稱 類型​​ 必要 描述
StorageContainers dynamic ✔️ 記憶體 連接字串 陣列，代表預存數據成品的前置詞 URI。
DataFormat string ✔️ 其中一種支持 的數據格式。
FileExtension string 如果指定，函式只會掃描以這個擴展名結尾的檔案。 指定延伸模組可能會加速程式，或排除數據讀取問題。
FileNamePrefix string 如果指定，函式只會掃描以這個前置詞開頭的檔案。 指定前置詞可能會加速程式。
模式 string 架構推斷策略。 值： any、 last、 all。 函式會從第一個找到的檔案、最後一個寫入的檔案，或分別從所有檔案推斷數據架構。 預設值是 last。
InferenceOptions dynamic 更多推斷選項。 有效選項： UseFirstRowAsHeader 用於分隔的檔案格式。 例如，'InferenceOptions': {'UseFirstRowAsHeader': true}。

傳回

外掛程式會 infer_storage_schema 傳回單一結果數據表，其中包含包含 CSL 架構字串的單一數據列/資料行。

注意

  • 除了讀取之外，記憶體容器 URI 秘密金鑰還必須具有 List 的許可權。
  • 架構推斷策略 『all』 是一項非常「昂貴」的作業，因為它表示從 找到的所有 成品讀取並合併其架構。
  • 某些傳回的類型可能不是因類型猜測錯誤而實際傳回的類型（或架構合併程序的結果）。 這就是為什麼您應該先仔細檢閱結果，再建立外部數據表。

範例

let options = dynamic({
  'StorageContainers': [
    h@'https://storageaccount.blob.core.windows.net/MobileEvents;secretKey'
  ],
  'FileExtension': '.parquet',
  'FileNamePrefix': 'part-',
  'DataFormat': 'parquet'
});
evaluate infer_storage_schema(options)

輸出

CslSchema
app_id：string， user_id：long， event_time：datetime， country：string， city：string， device_type：string， device_vendor：string， ad_network：string， campaign：string， site_id：string， event_type：string， event_name：string， organic：string， days_from_install：int， revenue：real

在外部資料表定義中使用傳回的架構：

.create external table MobileEvents(
    app_id:string, user_id:long, event_time:datetime, country:string, city:string, device_type:string, device_vendor:string, ad_network:string, campaign:string, site_id:string, event_type:string, event_name:string, organic:string, days_from_install:int, revenue:real
)
kind=blob
partition by (dt:datetime = bin(event_time, 1d), app:string = app_id)
pathformat = ('app=' app '/dt=' datetime_pattern('yyyyMMdd', dt))
dataformat = parquet
(
    h@'https://storageaccount.blob.core.windows.net/MovileEvents;secretKey'
)

相關內容