KAFKA_DATA_LOSS 錯誤類別
有些數據可能已經遺失,因為它們無法再在 Kafka 中使用;數據已由 Kafka 淘汰,或主題可能已在處理主題中的所有數據之前刪除。 如果您不希望串流查詢在這類情況下失敗,請將source選項failOnDataLoss設定為 false。 原因:
新增的分區未從偏移量零開始
新增的分區 <topicPartition>
從 <startOffset>
開始,而不是從 0 開始。
無法讀取偏移範圍
無法讀取主題分區 <topicPartition>
的 offset [<startOffset>
, <endOffset>
) 中的記錄
與消費者群組 <groupId>
。
分區的初始位移未找到
找不到分割區的初始位移 <partitions>
。 它們可能已刪除。
分區已刪除
已刪除 <partitions>
分割區。
分區已刪除且群組ID已配置
已刪除 <partitions>
分割區。
Kafka 選項 'kafka.<groupIdConfig>
' 已在此查詢上設定
不建議設定此選項。 此選項不安全,因為有多個並行操作的風險。
使用相同群組標識碼的查詢或來源會干擾彼此,因為它們是一部分
相同取用者群組的 。 重新啟動的查詢也可能受到干擾
前一次的執行具有相同的群組ID。使用者每個群組ID應該只有一個查詢。
和/或將選項 'kafka.session.timeout.ms' 設得很小,讓 Kafka
之前查詢的消費者會在某事件之前被 Kafka 群組協調器標記為失效。
重新啟動的查詢會開始執行。
分區位移已更改
分割區 <topicPartition>
位移已從 <prevOffset>
變更為 <newOffset>
。
起始偏移重置
<topicPartition>
的起始位移本來是 <offset>
,但被使用者重設為 <fetchedOffset>
。