你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

如何将历史数据引入 Azure 数据资源管理器

加入 Azure 数据资源管理器时的常见方案是引入历史数据，有时称为回填。 此过程涉及将数据从现有存储系统引入表，该表是盘区的集合。

建议使用 creationTime 引入属性引入历史数据，将盘区创建时间设置为创建数据的时间。 通过将创建时间用作引入分区标准，数据可以按照缓存和保留策略老化，并使时间筛选器更高效。

默认情况下，盘区创建时间设置为引入数据的时间，这可能不会产生预期的行为。 例如，假设你有一个表，其缓存期为 30 天，保留期为 2 年。 在正常流中，生成的数据会缓存 30 天，然后移动到冷存储。 两年后，根据创建时间，一天删除一次较旧的数据。 但是，如果你引入两年的历史数据，默认情况下，数据会以创建时间标记为引入数据的时间。 这可能不会产生所需的结果，因为：

• 所有数据都进入缓存并保留 30 天，使用的缓存比预期的要多。
• 较旧的数据不会一天移除一次；因此，数据在群集中保留的时间超过必要时间，并且在两年后一次性全部移除。
• 以前在源系统中按日期分组的数据现在可能在同一盘区内一起批处理，从而导致查询效率低下。

在本文中，你将学习如何对历史数据进行分区：

• 在引入期间使用 creationTime 引入属性（推荐）

  在可能的情况下，使用 creationTime 引入属性引入历史数据，让你可以通过从文件或 blob 路径中引入数据来设置盘区创建时间。 如果文件夹结构不使用创建日期模式，建议重构文件或 blob 路径以反映创建时间。 通过使用此方法，数据将引入到具有正确创建时间的表中，并正确应用缓存和保留期。

  注意

  默认情况下，分片按其创建（引入）时间进行分区，在大多数情况下，不需要设置数据分区策略。

• 在引入后使用分区策略

  如果无法使用 creationTime 引入属性，例如，如果使用 Azure Cosmos DB 连接器引入数据但无法控制创建时间，或者无法重新构造文件夹结构，则可以重新分区引入表，以使用分区策略获得相同的效果。 但是，此方法可能需要进行一些试错来优化策略属性，并且效率比使用 creationTime 引入属性更低。 仅当无法使用 creationTime 引入属性时，我们才建议使用此方法。

先决条件

• Microsoft 帐户或 Microsoft Entra 用户标识。 无需 Azure 订阅。
• Azure 数据资源管理器群集和数据库。 创建群集和数据库。
• 一个存储帐户。
• 如需在引入期间使用 creationTime 引入属性的建议方法，请安装 LightIngest。

引入历史数据

我们强烈建议在引入期间使用 creationTime 引入属性对历史数据进行分区。 但是，如果你无法使用此方法，则可以使用分区策略在引入后对表重新分区。

引入期间（建议）

LightIngest 适用于将历史数据从现有存储系统加载到 Azure 数据资源管理器。 尽管可以使用命令行参数列表生成自己的命令，但本文演示如何通过引入向导自动生成此命令。 除创建命令外，还可使用此过程创建新表和架构映射。 此工具从数据集推断架构映射。

目标

1. 在 Azure 数据资源管理器 Web UI 的左侧菜单中，选择“查询”。

2. 右键单击要在其中引入数据的数据库，然后选择“LightIngest”。

   

   “引入数据”窗口随即打开，其中的“目标”选项卡处于选中状态。 系统会自动填充“群集”和“数据库”字段。

3. 选择目标表。 如果要将数据引入新表，请选择“新建表”然后输入表名称。

   注意

   表名称最多可包含 1024 个字符，包括空格、字母数字、连字符和下划线。 不支持特殊字符。

   

4. 选择“下一步: 源”。

Source

1. 在“选择源”下，选择“添加 URL”或“选择容器”。

   • 添加 URL 时，在“指向源的链接”下，指定容器的帐户密钥或 SAS URL。 可以手动或自动创建 SAS URL。

   • 从存储帐户选择容器时，请从下拉菜单中选择“存储订阅”、“存储帐户”和“容器”。

     

   注意

   引入支持的最大文件大小为 6 GB。 建议引入 100 MB 到 1 GB 的文件。

2. 选择“高级设置”，以使用 LightIngest 为引入过程定义其他设置。

   

3. 在“高级配置”面板中，根据下表定义 LightIngest 设置。

   

   properties	说明
   创建时间模式	指定后，可使用一种模式替代所创建盘区的引入时间属性，例如根据容器的文件夹结构应用日期。 另请参阅创建时间模式。
   Blob 名称模式	指定用于标识要引入的文件的模式。 引入与给定容器中的 blob 名称模式匹配的所有文件。 支持通配符。 建议括在双引号中。
   标记	分配给引入数据的标记。 标记可以是任意字符串。
   限制文件数量	指定可引入的文件数。 引入与 blob 名称模式匹配的第一个 n 文件，直至指定的数量。
   不等待引入完成	如果设置此属性，则在不监视引入过程的情况下将 blob 排队引入。 如果未设置，LightIngest 将继续轮询引入状态，直到引入完成。
   仅显示所选项目	列出容器中的文件，但不引入这些文件。

4. 选择“完成”，返回到“源”选项卡。

   1. 根据需要，选择“文件筛选器”筛选数据，以仅引入特定文件夹路径中的文件或带有特定文件扩展名的文件。

      

      默认情况下，会随机选择容器中的其中一个文件，用于生成表的架构。

   2. （可选）在架构定义文件下，可以指定要使用的文件。

5. 选择“下一步: 架构”以查看和编辑表列配置。

架构

“架构”选项卡提供数据的预览。

要生成 LightIngest 命令，请选择“下一步: 开始引入”。

可选：

• 通过从下拉菜单中选择所需格式来更改自动推断的数据格式。
• 更改自动推断的映射名称。 可以使用字母数字字符和下划线。 不支持空格、特殊字符和连字符。
• 使用现有表时，如果表架构与所选格式匹配，可以保留当前表架构。
• 选择“命令查看器”以查看和复制基于输入生成的自动命令。
• 编辑列。 在“部分数据预览”下，选择列下拉菜单以更改表的各个方面。

以下参数决定了你可在表中进行的更改：

• 表类型为“新”或“现有”
• 映射类型为“新”或“现有”

表类型	映射类型	可用调整
新建表	新映射	更改数据类型，重命名列，新建列，删除列，更新列，升序排序，降序排序
现有表	新映射	新建列（你随后可在其上更改数据类型、进行重命名和更新）， 更新列，升序排序，降序排序
	现有映射	升序排序，降序排序

注意

添加新列或更新列时，可更改映射转换。 有关详细信息，请参阅映射转换

引入

1. 当表、映射和 LightIngest 命令标有绿色复选标记后，选择“生成的命令”框右上角的“复制”图标以复制生成的 LightIngest 命令。

   

   注意

   如果需要，可以通过选择“下载 LightIngest”来下载 LightIngest 工具。

2. 要完成引入过程，必须使用此复制的命令运行 LightIngest。

引入后

步骤 1：准备重新分区

1. 调整保留策略以允许旧数据。 在以下示例中，将表 MyTable 的保留策略设置为 10 年。

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. 调整高速缓存策略，使所有数据都位于热缓存中以进行重新分区，因为只有热数据可以在引入后重新分区。 在以下示例中，将表 MyTable 的高速缓存设置为 10 年。

   .alter table MyTable policy caching hot = 3650d
   

   重要

   增加高速缓存策略可能会使用比正常操作更多的热缓存，并可能导致成本增加。

步骤 2：启动重新分区

1. 创建分区策略，按名为 Timestamp 的列对数据进行分区。 在以下示例中，将表 MyTable 的分区策略设置为按名为 Timestamp 的列进行分区。

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   有关分区策略属性的信息，请参阅分区属性。 对于历史引入，如何设置以下属性非常重要：

   • EffectiveDateTime 属性必须设置为早于引入开始日期才能触发重新分区。
   • RangeSize 设置为一天，以便将数据重新分区到一天的存储桶中。 但是，应将此值设置为与数据保持一致。 例如，如果每天的数据量少于几个 GB，请考虑设置更大的值。
   • 必须将 OverrideCreationTime 设置为 true，以便在将数据重新分区为日存储桶后，将盘区标记为创建时间。

2. 设置合并策略以允许合并所有盘区，包括超过 14 天的盘区。 设置此策略非常重要，因为重新分区过程会创建早于 14 天的盘区，默认情况下合并进程会将其排除。

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. 使用 .show database extents partitioning statistics 命令监视重新分区的进度。 在返回的结果中，查找要重新分区的表，并监视 PartitionedRowPercentage 列。 当 PartitionedRowPercentage 列的值为 100时，表示重新分区已完成。

步骤 3：在重新分区后进行清理

重新分区完成后，可以清理在前面的步骤中设置的策略。

1. 移除分区策略。

   .delete table MyTable policy partitioning
   

2. 移除合并策略。

   .delete table MyTable policy merge
   

3. 移除或设置高速缓存策略。

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. 移除或设置保留策略。

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

相关内容

• 在 Azure 数据资源管理器中查询数据