通过

什么是 Azure 托管 Lustre？

  • 项目

Azure Lustre 是一个托管的文件系统，为高性能计算（HPC）工作负载提供功能强大、可缩放且经济高效的存储。

以下是 Azure 托管的 Lustre 的一些主要功能和优势：

  • 加速 HPC 工作负荷：提供高性能分布式并行文件系统解决方案，非常适合需要高吞吐量、低延迟和 Lustre 协议兼容性的 HPC 工作负荷。
  • 专用的托管服务：提供 Lustre 并行文件系统的优势，而无需管理底层基础结构的复杂性。 Azure Managed Lustre 是一项完全托管的服务，可简化操作、降低设置成本，并且消除复杂的维护。
  • Azure Blob 存储集成：允许将 Azure 托管 Lustre 文件系统与 Azure Blob 存储容器连接，以实现最佳的数据放置和成本管理。 有关详细信息，请参阅 Azure Blob 存储集成。
  • Azure Kubernetes 服务（AKS）集成：允许使用与 AKS 兼容的 CSI 驱动程序容器化工作负荷。 有关详细信息，请参阅 将 Azure 托管 Lustre 与 Kubernetes 配合使用。

Lustre 是一个开源并行文件系统，可以扩展到大规模存储大小，同时提供高性能吞吐量。 Lustre 被世界上最快的超级计算机和以数据为中心的工作流用于许多类型的行业。 有关 Lustre 的详细信息，请参阅 https://www.lustre.org。

Azure 托管 Lustre 中的数据安全性

默认情况下，Azure 中存储的所有数据都使用 Azure 托管密钥进行静态加密。 如果要管理用于加密 Azure 托管 Lustre 群集中存储数据的密钥，请按照 Azure 磁盘存储服务器端加密中的说明进行操作。

即使为 Lustre 磁盘添加客户管理的密钥，Azure 托管 Lustre 文件系统中的所有信息都受托管磁盘上的虚拟机（VM）主机加密的保护。即使为 Lustre 磁盘添加客户管理的密钥也是如此。 添加客户管理的密钥可为安全需求较高的客户提供额外的安全级别。 有关详细信息，请参阅 Azure 磁盘存储的服务器端加密。

注意

Azure 托管 Lustre 不会将客户数据存储在部署服务实例的区域之外。

Azure 托管 Lustre 中的数据复原能力

Azure 托管 Lustre 文件系统使用 Azure 托管磁盘作为对象存储目标（OST）数据磁盘。

创建为“持久”文件系统类型的所有 Azure 托管 Lustre 文件系统都使用配置为本地冗余存储（LRS）的 Azure 高级 SSD（固态驱动器）磁盘。 LRS 磁盘内容在本地数据中心内复制三次，以防止驱动器和服务器机架故障。

Azure 托管 Lustre 文件系统本身还有助于通过用于存储这些磁盘上的数据的对象存储过程实现数据复原。

如果需要区域或全局数据冗余，可以将文件系统与Azure Blob 存储集成。 集成后，可以启动导出作业，将文件导出到具有不同冗余策略的Azure Blob 存储容器，以便长期存储。 为存储帐户配置Azure Blob 存储冗余。 创建存储帐户时，可以选择区域性数据冗余（ZRS）或全局数据冗余（GRS）。 若要详细了解 Azure 托管 Lustre 文件的数据冗余选项，请参阅 支持的存储帐户类型。

Azure Blob 存储集成

Azure Blob 存储与 Azure 托管 Lustre 集成，可用于指定要从 Blob 容器导入的文件以供文件系统使用。 Azure Blob 存储集成是 Lustre 分层存储管理（HSM）的应用。 无需为每个作业导入整个数据集。 相反，可以为不同的作业创建不同的文件系统，并在使用之间将数据存储在成本较低的 Azure Blob 容器中。 完成高性能计算作业后，可以将已更改的数据导出到 Azure Blob 存储，并删除 Azure 托管 Lustre 系统。

Azure 托管 Lustre 已自定义，可与 Azure Blob 存储无缝配合工作。 可以指定现有 Blob 容器，使其现有数据可从 Azure 托管 Lustre 文件系统访问。 您还可以指定一个空容器来填充数据，或者用于存储输出数据。 设置和维护是为你完成的。 只需指定要使用的 Blob 容器。

如果在创建 Lustre 文件系统时集成Azure Blob 存储，则可以使用 Lustre HSM 功能。 如果无需使用 Lustre HSM 的优势，可以直接使用客户端命令导入和导出 Azure Managed Lustre 文件系统的数据。

若要详细了解此功能，请参阅 Azure Blob 存储集成。

将 Azure 托管 Lustre 与 Kubernetes 配合使用

如果要将 Azure 托管 Lustre 存储系统与 Kubernetes 容器配合使用，可以使用适用于 Kubernetes 的 Azure Lustre 容器支持接口 （CSI） 驱动程序，该接口与 Azure Kubernetes 服务 （AKS） 兼容。 目前不支持其他类型的 Kubernetes 安装。

Kubernetes 可以简化为 Azure 托管 Lustre 工作负荷配置和部署虚拟客户端终结点，从而自动执行设置任务，例如：

  • 创建 Azure Kubernetes 服务 （AKS） 用于运行 Pod 的 Azure 虚拟机规模集。
  • 在 VM 实例上加载正确的 Lustre 客户端软件。
  • 指定 Azure 托管 Lustre 装入点，并将该信息传播到客户端 Pod。

适用于 Kubernetes 的 Azure Lustre CSI 驱动程序可以自动安装客户端软件和装载驱动器。 默认情况下，驱动程序提供 CSI 控制器插件作为部署，其中包含两个副本，CSI 节点插件作为 DaemonSet。 可以更改副本的数量。

若要详细了解此功能，请参阅 将 Azure 托管 Lustre CSI 驱动程序与 Azure Kubernetes 服务配合使用。

若要了解要使用的驱动程序版本，请参阅 兼容的 Kubernetes 版本。

相关内容