创建从 Blob 存储到文件系统的导入作业

项目
05/31/2024

Azure 托管 Lustre 与 Azure Blob 存储集成，以简化将数据从 Blob 容器导入文件系统的过程。可以在群集创建期间配置此集成，并且可以在创建群集后随时创建导入作业。

本文介绍如何使用 Azure 门户创建导入作业，以将数据从 Blob 容器导入现有 Azure 托管 Lustre 文件系统。

注意

将数据从 Blob 容器导入 Azure 托管 Lustre 文件系统时，只有文件名 (命名空间) 和元数据导入 Lustre 命名空间。客户端首次访问 Blob 时，将导入 Blob 的实际内容。首次访问数据时，Lustre 分层存储管理 (HSM) 功能将 Blob 内容拉取到文件系统中的相应文件时，会出现轻微延迟。此延迟仅在首次访问文件时发生。

可以选择使用 Lustre 的 lfs hsm_restore 命令从具有 sudo 功能的装载客户端预提取 Blob 的内容。若要了解详细信息，请参阅从 Blob 存储还原数据。

先决条件

现有的 Azure 托管 Lustre 文件系统 - 使用 Azure 门户、 Azure 资源管理器或 Terraform 创建一个文件系统。若要详细了解 Blob 集成，请参阅 Blob 集成先决条件。

创建导入作业

将数据从 Blob 容器导入 Azure 托管 Lustre 文件系统从创建导入作业开始。本部分介绍如何在 Azure 门户中创建、配置和启动导入作业。

注意

一次只能运行一个导入或导出作业。例如，如果导入作业正在进行中，则尝试启动另一个导入或导出作业将返回错误。

配置导入选项并启动作业

若要配置导入选项并启动作业，请执行以下步骤：

在 Azure 门户中，打开 Azure 托管 Lustre 文件系统，并导航到“设置”下的“Blob 集成”窗格。
选择“ + 创建新作业”。
从“作业类型”下拉列表中选择“导入”。
在“作业名称”字段中输入导入作业 的名称 。
为“ 冲突解决模式 ”字段选择一个值。此设置确定导入作业如何处理文件系统中的现有文件和要导入的文件之间的冲突。在此示例中，我们选择“ 跳过”。若要了解详细信息，请参阅冲突解决模式。
为 “容错”选择一个值。此设置确定导入作业如何处理导入过程中发生的错误。在此示例中，我们选择“ 允许错误”。若要了解详细信息，请参阅容错。
输入导入前缀以筛选从 Blob 存储导入的数据。 Azure 门户允许输入最多 10 个前缀。在此示例中，我们指定前缀 /data 和 /logs。若要了解详细信息，请参阅导入前缀。
配置作业后，选择“ 启动 ”以开始导入过程。

以下屏幕截图显示了 Azure 门户中的导入作业配置设置：

监视导入作业

创建导入作业后，可以监视其进度，以确保它成功完成。本部分介绍如何在 Azure 门户中监视导入作业。

若要查看作业详细信息，请执行以下步骤：

在 Azure 门户中，打开 Azure 托管 Lustre 文件系统，并导航到“设置”下的“Blob 集成”窗格。
从最近使用的作业列表中选择要监视的导入作业。
“ 作业详细信息 ”窗格显示有关作业的信息，包括作业状态、开始时间、导入的 Blob 以及导入过程中发生的任何错误或冲突。

以下屏幕截图显示了 Azure 门户中导入作业的作业详细信息：

作业完成后，可以查看日志记录容器以查看有关导入过程的详细信息，包括发生的任何错误或冲突。此信息仅在作业完成后可用。

后续步骤

有关将 Azure Blob 存储与 Azure 托管 Lustre 配合使用的详细信息，请参阅将 Azure Blob 存储与 Azure 托管 Lustre 文件系统配合使用。

通过