Azure 托管 Lustre 文件系统先决条件
本文介绍在创建 Azure 托管 Lustre 文件系统之前必须配置的先决条件。
- 网络先决条件
- Blob 集成先决条件 (可选)
网络先决条件
Azure Managed Lustre 文件系统存在于一个虚拟网络子网中。 该子网包含 Lustre 管理服务 (MGS),并处理与虚拟 Lustre 群集的所有客户端交互。
创建文件系统后,无法将文件系统从一个网络或子网移到另一个网络或子网。
Azure Managed Lustre 仅接受 IPv4 地址。 不支持 IPv6。
网络规模要求
你需要的子网规模取决于你创建的文件系统的大小。 下表大致估计了不同大小的 Azure Managed Lustre 文件系统的最小子网规模。
存储容量 | 建议的 CIDR 前缀值 |
---|---|
4 TiB 到 16 TiB | /27 或更大 |
20 TiB 到 40 TiB | /26 或更大 |
44 TiB 到 92 TiB | /25 或更大 |
96 TiB 到 196 TiB | /24 或更大 |
200 TiB 到 400 TiB | /23 或更大 |
其他网络大小注意事项
规划虚拟网络和子网时,请考虑到要在 Azure 托管 Lustre 子网或虚拟网络中找到的任何其他服务的要求。
如果将 Azure Kubernetes 服务 (AKS) 群集与 Azure 托管 Lustre 文件系统配合使用,则可以在文件系统所在的同一子网中找到 AKS 群集。 在这种情况下,除了 Lustre 文件系统的地址空间外,还必须为 AKS 节点和 Pod 提供足够的 IP 地址。 如果你在虚拟网络中使用多个 AKS 群集,请确保虚拟网络有足够的容量来容纳所有群集中的所有资源。 若要详细了解 Azure Managed Lustre 和 AKS 的网络策略,请参阅 AKS 子网访问。
如果计划使用另一个资源在同一虚拟网络中托管计算 VM,请在为 Azure 托管 Lustre 系统创建虚拟网络和子网之前检查该过程的要求。 在同一子网中规划多个群集时,必须使用足够大的地址空间来满足所有群集的总要求。
子网访问和权限
默认情况下,无需进行任何特定更改便可启用 Azure Managed Lustre。 如果你的环境包含受限制的网络或安全策略,则应考虑以下指导:
访问类型 | 所需的网络设置 |
---|---|
DNS 访问 | 使用默认的基于 Azure 的 DNS 服务器。 |
主机之间的访问 | 允许在 Azure Managed Lustre 子网中的主机之间进行入站和出站访问。 例如,群集部署需要访问 TCP 端口 22 (SSH)。 |
Azure 云服务访问 | 将你的网络安全组配置为允许 Azure Managed Lustre 文件系统从文件系统子网内访问 Azure 云服务。 添加具有以下属性的出站安全规则: - 端口:任意 - 协议:任意 - 源:虚拟网络 - 目标:“AzureCloud”服务标记 - 操作:允许 注意:配置 Azure 云服务还支持对 Azure 队列服务进行必要的配置。 有关详细信息,请参阅虚拟网络服务标记。 |
Lustre 网络端口访问 | 你的网络安全组必须允许在端口 988 和端口 1019-1023 上进行入站和出站访问。 其他任何服务都无法在 Lustre 客户端上保留或使用这些端口。 默认规则 65000 AllowVnetInBound 和 65000 AllowVnetOutBound 满足此要求。 |
有关为 Azure Managed Lustre 文件系统配置网络安全组的详细指导,请参阅创建和配置网络安全组。
已知限制
以下已知限制适用于 Azure 托管 Lustre 文件系统的虚拟网络设置:
- Azure 托管 Lustre 和Azure NetApp 文档资源无法共享子网。 如果你使用 Azure NetApp 文件服务,则必须在单独的子网中创建 Azure Managed Lustre 文件系统。 如果尝试在当前包含或以前包含的子网中创建 Azure 托管 Lustre 文件系统,则部署将失败,Azure NetApp 文档资源。
- 如果在客户端上使用
ypbind
守护程序来维护网络信息服务(NIS)绑定信息,则必须确保ypbind
不保留端口 988。 你可以手动调整ypbind
保留的端口,或确保你的系统启动基础结构在启动ypbind
之前启动 Lustre 客户端装载。
注意
创建 Azure Managed Lustre 文件系统后,文件系统的资源组中会显示多个新的网络接口。 它们的名称以 amlfs- 开头,以 -snic 结尾。 不要更改这些接口上的任何设置。 具体而言,对于“加速网络”设置,请保留默认值“已启用”。 在这些网络接口上禁用加速网络会降低文件系统的性能。
Blob 集成先决条件(可选)
如果你计划将 Azure Managed Lustre 文件系统与 Azure Blob 存储集成,请在创建文件系统之前完成以下先决条件。
若要详细了解 blob 集成,请参阅将 Azure Blob 存储与 Azure Managed Lustre 文件系统配合使用。
Azure 托管 Lustre 适用于启用了分层命名空间的存储帐户,以及具有非分层命名空间或平面命名空间的存储帐户。 以下细微差异适用:
- 对于启用了分层命名空间的存储帐户,Azure 托管 Lustre 从 Blob 标头读取 POSIX 属性。
- 对于未启用分层命名空间的存储帐户,Azure 托管 Lustre 从 Blob 元数据中读取 POSIX 属性。 创建与 Blob 容器内容同名的单独空文件,用于保存元数据。 此文件是 Azure 托管 Lustre 文件系统中实际数据目录的同级。
若要将 Azure Blob 存储与 Azure Managed Lustre 文件系统集成,必须在创建文件系统之前创建或配置以下资源:
存储帐户
必须创建存储帐户或使用现有存储帐户。 该存储帐户必须具有下列设置:
- 帐户类型 - 一个兼容的存储帐户类型。 若要了解详细信息,请参阅 支持的存储帐户类型。
- 访问角色 - 允许 Azure Managed Lustre 系统修改数据的角色分配。 若要了解详细信息,请参阅 “所需访问角色”。
- 访问密钥 - 存储帐户必须将存储帐户密钥访问设置设为“已启用”。
支持的存储帐户类型
以下存储帐户类型可用于 Azure Managed Lustre 文件系统:
存储帐户类型 | 冗余 |
---|---|
Standard | 本地冗余存储 (LRS)、异地冗余存储 (GRS) 区域冗余存储 (ZRS)、读取访问异地冗余存储 (RAGRS)、异地区域冗余存储 (GZRS)、读取访问异地区域冗余存储 (RA-GZRS) |
高级版 - 块 blob | LRS、ZRS |
有关存储帐户类型的详细信息,请参阅存储帐户的类型。
针对 blob 集成的访问角色
Azure Managed Lustre 需要授权才能访问你的存储帐户。 请使用 Azure 基于角色的访问控制 (Azure RBAC) 向文件系统授予对你的 Blob 存储的访问权限。
存储帐户所有者必须在创建文件系统之前添加这些角色:
重要
在创建 Azure 托管 Lustre 文件系统之前,必须添加这些角色。 如果文件系统无法访问 Blob 容器,则文件系统创建会失败。 在创建文件系统之前执行的验证无法检测容器访问权限问题。 角色设置最多可能需要五分钟才能通过 Azure 环境传播。
若要为服务主体“HPC 缓存资源提供程序”添加这些角色,请执行以下步骤:
- 导航到你的存储帐户,从左侧导航栏中选择“访问控制(IAM)”。
- 选择“添加”>“添加角色分配”,打开“添加角色分配”页面 。
- 分配角色。
- 将“HPC 缓存资源提供程序”添加到该角色。
提示
如果找不到 HPC 缓存资源提供程序,请改为搜索“storagecache”。 “storagecache 资源提供程序”是产品正式发布前的服务主体名称。
- 重复步骤 3 和步骤 4 来添加每个角色。
有关详细步骤,请参阅使用 Azure 门户分配 Azure 角色。
Blob 容器
同一存储帐户中必须有两个单独的 Blob 容器,以用于以下用途:
- 数据容器:存储帐户中的一个 Blob 容器,其中包含要在 Azure Managed Lustre 文件系统中使用的文件。
- 日志记录容器:存储帐户中的另一个容器,用于导入/导出日志。 必须将日志存储在与数据容器不同的容器中。
注意
你稍后可以从客户端向文件系统中添加文件。 但是,在创建文件系统后添加到原始 Blob 容器的文件不会导入到 Azure Managed Lustre 文件系统,除非你创建导入作业。
专用终结点(可选)
如果在 Blob 设置中使用专用终结点,为了确保 Azure 托管 Lustre 能够解析 SA 名称,必须在创建新终结点期间启用专用终结点设置 与专用 DNS 区域 集成。
- 与私人 DNS区域集成:必须设置为“是”。