使用串流分析無程式碼編輯器在 Azure Cosmos DB 中具體化資料
本文描述如何使用無程式碼編輯器輕鬆地建立串流分析作業。 作業會從事件中樞持續讀取,並執行計數、總和平均等彙總。 您可以選取要依時間範圍分組的欄位,然後作業會持續將結果寫入 Azure Cosmos DB。
必要條件
- 您的 Azure 事件中樞和 Azure Cosmos DB 資源必須可公開存取,且不能在防火牆後方或在 Azure 虛擬網路中保護。
- 事件中樞中的資料必須以 JSON、CSV 或 Avro 格式序列化。
開發串流分析作業
使用下列步驟來開發串流分析工作,以在 Azure Cosmos DB 中具體化資料。
- 在 Azure 入口網站中,找出並選取您的 Azure 事件中樞執行個體。
- 在 [功能] 底下,選取 [處理資料]。 然後,在標題為 [在 Azure Cosmos DB 將資料具體化] 的卡片中選取 [開始]。
- 輸入作業的名稱,然後選取 [建立]。
- 在事件中樞指定資料的 [序列化] 類型,以及作業將用來連線到事件中樞的 [驗證方法]。 然後選取 [連線]。
- 如果連線成功,而且您有資料流量流向事件中樞執行個體,您就會立即看到兩件事:
- 在下一個步驟中,您會指定欄位和您想要計算的彙總,例如平均和計數。 您也可以指定您想要對欄位使用的群組依據以及時間範圍。 然後,您可以在 [資料預覽] 區段中驗證步驟的結果。
- 選擇您想要寫入結果的 Cosmos DB 資料庫和容器。
- 選取 [開始] 以開始串流分析作業。
若要啟動作業,您必須指定:- 作業執行時的串流單位 (SU) 數目。 SU 代表配置給作業的計算和記憶體數量。 建議您從三開始,並視需要調整。
- 輸出資料錯誤處理可讓您指定當作業的輸出至目的地因資料錯誤而失敗時所需的行為。 依預設,您的作業會重試,直到寫入作業成功為止。 您也可以選擇捨棄輸出事件。
- 選取 [開始] 後,作業會在兩分鐘內開始執行。 在 [串流分析作業] 索引標籤的 [處理資料] 區段下檢視作業。您可以探索作業計量,並視需要停止並重新啟動。
使用事件中樞異地復寫功能的考慮
Azure 事件中樞 最近啟動公開預覽版中的異地復寫功能。 這項功能與 Azure 事件中樞的異地災害復原功能不同。
當故障轉移類型為強制且復寫一致性為異步時,串流分析作業不保證輸出至 Azure 事件中樞 輸出的確切一次。
Azure 串流分析,作為 具有事件中樞輸出的產生者 ,可能會在故障轉移期間和事件中樞節流期間觀察到作業的浮水印延遲,以防主要和次要之間的複寫延遲達到設定的延遲上限。
Azure 串流分析,作為 事件中樞作為輸入的取用者 ,可能會在故障轉移期間觀察作業的浮浮水印延遲,而且可能會在故障轉移完成後略過數據或尋找重複的數據。
由於這些注意事項,建議您在事件中樞故障轉移完成之後,立即以適當的開始時間重新啟動串流分析作業。 此外,由於事件中樞異地復寫功能處於公開預覽狀態,因此目前不建議將此模式用於生產串流分析作業。 在事件中樞異地復寫功能正式推出之前,目前的串流分析行為將會改善,並可用於串流分析生產作業。
下一步
現在,您已瞭解如何使用串流分析無程式代碼編輯器來開發從事件中樞讀取的工作,並計算匯總,例如計數、平均值,並將其寫入您的 Azure Cosmos DB 資源。