Dataflow Gen2 暂存项目中的数据
为了提高性能和可靠性,Dataflow Gen2 使用暂存项,在数据转换期间存储中间数据。 本文提供有关什么是暂存项以及如何处理其中数据的信息。
什么是暂存项目?
暂存项目是 Dataflow Gen2 用于在数据转换期间存储数据的中间数据存储位置。 这些项目使用“DataflowsStagingLakehouse”和“DataflowsStagingWarehouse”名称。 暂存项目用于在数据转换期间存储中间数据,旨在提高性能。 创建第一个数据流并由 Dataflow Gen2 管理时,会自动创建这些项目。 这些项目在工作区中对用户隐藏,但在其他体验(如 Get Data 或 Lakehouse 资源管理器)中可见。 我们强烈建议不要直接访问或修改暂存项目中的数据,因为这样可能导致意外行为。 此外,不支持将数据本身存储在暂存项目中,这样可能导致数据丢失。
暂存项目中的数据
暂存项目不是为用户直接访问而设计的。 Dataflow Gen2 管理暂存项目中的数据,并确保数据处于一致状态。 不支持直接访问暂存项目中的数据,因为无法保证数据处于一致状态。 如果你需要访问暂存项目中的数据,可使用 Power BI、Excel 或其他数据流中的数据流连接器。
可以通过下列操作之一,强制从暂存项目中删除数据:
- 禁用数据流中的暂存并刷新(在 30 天后,我们将对数据进行垃圾回收)。
- 删除数据流(直接删除数据)。
- 删除工作区(直接删除 StagingLakehouse 和 StagingWarehouse)。