手動建立事件方格擷取的資源
Azure 數據總管會使用事件方格擷取管線,從 Azure 儲存體 (Azure Blob 記憶體和 Azure Data Lake Storage Gen2) 提供連續擷取。 在事件方格擷取管線中,Azure 事件方格 服務會透過 Azure 事件中樞,將記憶體帳戶建立或 Blob 重新命名的事件路由傳送至 Azure 數據總管。
在本文中,您將瞭解如何手動建立事件方格擷取所需的資源:事件方格訂用帳戶、事件中樞命名空間和事件中樞。 事件中樞命名空間和事件中樞建立會在必要條件中說明。 若要在定義事件方格擷取時使用自動建立這些資源,請參閱 在 Azure 數據總管中建立事件方格數據連線。
必要條件
- Azure 訂用帳戶。 建立免費的 Azure 帳戶。
- Azure 資料總管叢集和資料庫。 建立叢集和資料庫。
- 記憶體帳戶。 您可以在、
StorageV2
或 Data Lake Storage Gen2 的 Azure 儲存體 帳戶上設定事件方格通知訂用帳戶BlobStorage
。 - 事件 中樞命名空間和事件中樞。
注意
為了獲得最佳效能,請在與 Azure 數據總管叢集相同的區域中建立所有資源。
建立事件方格訂閱
在 Azure 入口網站中,移至您的儲存體帳戶。
在左側功能表中,選取 [事件>+ 事件訂閱]。
在 [基本] 索引標籤內的 [建立事件訂閱] 視窗中,提供下列值:
設定 建議的值 欄位描述 名稱 test-grid-connection 您要建立的事件方格訂用帳戶名稱。 事件結構描述 事件格線結構描述 應該用於事件方格的架構。 主題類型 儲存體帳戶 事件方格主題的類型。 自動填入。 來源資源 gridteststorage1 儲存體帳戶的名稱。 自動填入。 系統主題名稱 gridteststorage1... Azure 儲存體 發佈事件的系統主題。 此系統主題接著會將事件轉送給接收和處理事件的訂閱者。 自動填入。 篩選至事件類型 已建立 Blob 要收到通知的特定事件。 建立訂用帳戶時,請選取其中一種支持類型:Microsoft.Storage.BlobCreated 或 Microsoft.Storage.BlobRenamed。 只有ADLSv2記憶體才支援 Blob 重新命名。 在 [端點詳細數據] 底下,選取 [事件中樞]。
選取 [ 選取端點 ],並填入您所建立的事件中樞,例如 test-hub。
在 [適用於傳遞的受控識別] 底下,選擇性地使用下表中的資訊選取受控識別類型。
類型 描述 [無] (預設值) 事件不會使用受控識別傳遞。 系統指派 事件會使用系統指派的受控識別來傳遞。
重要:使用此選項之前,請確定您已在事件方格系統主題上啟用系統指派的身分識別,並在事件中樞上提供 Azure 事件中樞 數據傳送者角色。 如需詳細資訊,請參閱 啟用系統主題的受控識別。重要
如果您在 事件中樞命名空間上停用本機驗證 ,其中包含用於串流通知的事件中樞,您必須使用受控識別在使用此事件訂用帳戶時傳遞事件。
如果您想要篩選事件,請選取 [ 篩選] 索引標籤。
使用 [主旨篩選 ] 來追蹤特定主旨事件。 設定通知的篩選條件,如下所示:
- 選取 [啟用主旨篩選]
- [主旨開頭為] 字段是 主旨的常值 前置詞。 由於套用的模式是 開頭,因此可以跨越多個容器、資料夾或 Blob。 不允許使用萬用字元。
- 若要在 Blob 容器上定義篩選,請設定欄位,如下所示:
/blobServices/default/containers/[container prefix]
。 - 若要在 Blob 前置詞上定義篩選條件(或 Azure Data Lake Gen2 中的資料夾),請設定字段,如下所示:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
。
- 若要在 Blob 容器上定義篩選,請設定欄位,如下所示:
- [主旨結尾與] 字段是 Blob 的常值 後綴。 不允許使用萬用字元。
- 區分大小寫的主體比對 字段會指出前置詞和後綴篩選是否區分大小寫。
如需篩選事件的詳細資訊,請參閱 Blob 記憶體事件。
使用 進階篩選 來新增符合您需求的自定義篩選。
例如,使用 Azure Data Lake SDK 上傳檔案時,檔案建立會觸發大小為 0 的事件方格事件。 Azure 數據總管會捨棄此事件。 如果 Close 參數設定為 true,則檔案排清會觸發另一個事件。 此事件表示這是最終的更新,而且檔案數據流已經關閉。 若要避免不必要的處理和空白檔案擷取錯誤,請使用下列篩選來篩選掉 CreateFile 事件:
設定 建議的值 欄位描述 機碼 data.api 用於篩選的事件架構中的欄位。 Operator 字串不在 要評估所選索引鍵的運算子。 值 CreateFile 用來評估索引鍵的值。 選取 [建立]