Azure 事件中樞:具有原生 Apache Kafka 支援的實時數據流平臺
Azure 事件中樞是雲端中的原生資料串流服務,每秒可串流數百萬個事件,且具有低延遲,從任何來源到任何目的地。 事件中樞與 Apache Kafka 相容。 它可讓您執行現有的 Kafka 工作負載,而不需要變更任何程式碼。
企業可以使用事件中樞來內嵌和儲存串流數據。 藉由使用串流數據,企業可以取得寶貴的見解、推動即時分析,並在事件發生時回應事件。 他們可以使用此數據來增強其整體效率和客戶體驗。
事件中樞是您建置在 Azure 之上的任何事件串流解決方案的慣用事件擷取層。 它會與 Azure 內外的數據和分析服務整合,以建置完整的資料流管線,以提供下列使用案例:
- 使用 Azure 串流分析 從事件中樞處理數據,以產生即時深入解析。
- 使用 Azure 資料總管分析及探索串流資料。
- 建立您自己的雲端原生應用程式、函式或微服務,以從事件中樞串流資料執行。
- 使用內建的 Azure 架構登錄串流事件與架構驗證,以確保串流數據的品質和相容性。
主要功能
了解下列各節中 Azure 事件中樞的主要功能。
Azure 事件中樞上的 Apache Kafka
事件中樞是多通訊協定事件串流引擎,原生支援進階訊息佇列通訊協定 (AMQP)、Apache Kafka 和 HTTPS 通訊協定。 因為它支援 Apache Kafka,所以您可以將 Kafka 工作負載帶入事件中樞,而不需要進行任何程式碼變更。 您不需要設定、設定或管理自己的 Kafka 叢集,或使用非 Azure 原生的 Kafka 即服務供應項目。
事件中樞會建置為雲端原生訊息代理程序引擎。 基於這個理由,您可以執行 Kafka 工作負載,其效能更好、成本效益更高,而且沒有作業額外負荷。
如需詳細資訊,請參閱適用於 Apache Kafka 的 Azure 事件中樞。
事件中樞的結構描述登錄
事件中樞的 Azure 結構描述登錄提供集中式存放庫來管理事件串流應用程式的結構描述。 結構描述登錄隨附於每個事件中樞命名空間。 它會與您的 Kafka 應用程式或事件中樞 SDK 型應用程式整合。
架構登錄可確保事件產生者和取用者之間的數據相容性和一致性。 它可啟用架構演進、驗證和治理,並提升有效率的數據交換和互操作性。
架構登錄會與現有的 Kafka 應用程式整合,並支援多種架構格式,包括 Avro 和 JSON 架構。
如需詳細資訊,請參閱事件中樞中的 Azure 結構描述登錄。
使用串流分析即時處理串流事件
事件中樞會與 Azure 串流分析整合,以啟用即時串流處理。 使用內建的無程式碼編輯器,您可以使用拖放功能來開發串流分析作業,而不需要撰寫任何程式碼。
或者,開發人員可以使用以 SQL 為基礎的串流分析查詢語言來執行即時串流處理,並利用各種函式來分析串流資料。
如需詳細資訊,請參閱目錄 Azure 串流分析整合一節中的文章。
使用 Azure 數據總管探索串流數據
Azure 資料總管是完全受控的巨量資料分析平台,可提供高效能,並允許近乎即時的大量資料分析。 藉由整合事件中樞與 Azure 數據總管,您可以對串流數據執行近乎即時的分析與探索。
如需詳細資訊,請參閱 將數據從事件中樞內嵌至 Azure 數據總管。
Azure 函式、SDK 和 Kafka 生態系統
使用事件中樞,您可以即時擷取、緩衝、儲存及處理串流,以取得可採取動作的深入解析。 事件中樞會使用分割取用者模型。 它可讓多個應用程式同時處理資料流,並可讓您控制處理速度。 事件中樞也會與適用於無伺服器架構的 Azure Functions 整合。
廣泛的生態系統適用於業界標準的 AMQP 1.0 通訊協定。 SDK 以 .NET、JAVA、Python 和 JavaScript 等語言提供,因此您可以從事件中樞開始處理資料流。 所有支援的用戶端語言皆提供低階整合。
生態系統也可讓您與 Azure Functions、Azure Spring Apps、Kafka 連接器和其他數據分析平臺和技術整合,例如 Apache Spark 和 Apache Flink。
支援使用事件中樞模擬器進行本機開發
Azure 事件中樞 模擬器提供事件中樞的本機開發體驗。 您可以使用模擬器來針對服務進行獨立開發及測試程序代碼,而不受雲端干擾。 如需詳細資訊,請參閱 事件中樞模擬器
彈性且符合成本效益的事件串流
您可以透過事件中樞的標準、進階或專用層,體驗彈性且符合成本效益的事件串流。 這些選項符合數據串流需求,範圍從幾 MB/秒到數 GB/秒。您可以選擇適合您需求的相符專案。
可調整
使用事件中樞,您可以從以 MB 為單位的數據流開始,並將它成長為 GB 或 TB。 自動 擴充 功能是其中一個選項,可用來調整輸送量單位或處理單位的數目,以符合您的使用量需求。
支援串流大型訊息
在大部分的串流案例中,數據的特點是輕量型、通常小於 1 MB,且輸送量很高。 也有一個實例,訊息無法分割成較小的區段。 事件中樞可以容納最多 20 MB 的事件,並免費提供自助式可調整的 專用叢集 。 這項功能可讓事件中樞處理各種訊息大小,以確保不間斷的商務作業。 如需詳細資訊,請參閱使用 Azure 事件中樞內的傳送及接收訊息。
擷取串流數據以進行長期保留和批次分析
在 Azure Blob 儲存體 或 Azure Data Lake Storage 中近乎即時地擷取您的數據,以進行長期保留或微批處理。 您可以在用於衍生即時分析的相同數據流上達成此行為。 擷取事件資料的作業很快就能設定完成。
運作方式
事件中樞提供統一的事件串流平臺與時間保留緩衝區,將事件產生者與事件取用者分離。 生產者和取用者應用程式可以透過多個通訊協定執行大規模數據擷取。
下圖顯示事件中樞架構的主要元件。
事件中樞的主要功能元件包括:
- 製作人應用程式:這些應用程式可以使用事件中樞 SDK 或任何 Kafka 製作人用戶端,將資料內嵌至事件中樞。
- 命名空間:適用於一或多個事件中樞或 Kafka 主題的管理容器。 在命名空間層級處理配置串流容量、設定網路安全性及啟用異地災害復原等管理工作。
- 事件中樞/Kafka 主題:在事件中樞中,您可以將事件組織成事件中樞或 Kafka 主題。 這是僅附加分散式記錄,可組成一或多個分割區。
- 分割區:它們可用來調整事件中樞。 它們就像高速公路上的車道。 如果您需要更多串流輸送量,則可以新增更多分割區。
- 取用者應用程式:這些應用程式可以透過事件記錄檔搜尋並維護取用者位移來取用資料。 取用者可以是 Kafka 取用者用戶端或事件中樞 SDK 用戶端。
- 取用者群組:這個取用者執行個體的邏輯群組會從事件中樞或 Kafka 主題讀取資料。 其可讓多個取用者以自己的步調以及使用自己的位移,獨立讀取事件中樞中的相同串流資料。
相關內容
若要開始使用事件中樞,請參閱下列快速入門。
使用事件中樞 SDK 串串流資料 (AMQP)
您可以使用下列任何範例,使用 SDK 將數據串流至事件中樞。
使用 Apache Kafka 串流數據
您可以使用下列範例,將數據從 Kafka 應用程式串流至事件中樞。
使用結構描述登錄進行結構描述驗證
您可以使用事件中樞結構描述登錄,為您的事件串流應用程式執行結構描述驗證。