何时使用 Azure 导入/导出
Azure 导入/导出服务是可用于将数据传入 Azure 存储和从其中传出的众多选项之一。 在电影制作公司的场景中,需要确保选择了符合需求的解决方案。 在本单元中,我们将更详细地探讨以下问题:何时应使用 Azure 导入/导出服务,以及何时使用其他工具可能会更适合。
脱机传输海量数据
导入/导出服务是一个脱机解决方案。 它旨在使处理的数据超过通过网络连接可传输的数据。 使用导入/导出服务时,需要负责准备和发运必要的硬件。
Microsoft 提供了 Azure Data Box 系列产品/服务,作为一个替代解决方案。 Data Box 系列产品/服务使用 Microsoft 提供的设备将数据从本地位置传输到 Azure 存储。 Data Box 设备是一个防篡改的专用网络设备。 可以将设备连接到自己的内部网络,以便将数据移动到设备。 用户将设备寄还给 Microsoft,后者将数据从设备上传到 Azure 存储。
当组织位于支持 Data Box 的区域内时,推荐使用 Azure Data Box 系列产品/服务作为处理大型导入或导出作业的解决方案。 此过程比使用导入/导出服务更简单。
联机传输海量数据
导入/导出服务不提供联机选项。 如果需要使用联机方法传输海量数据,可以使用 Azure Stack Edge 或 Azure Data Box Gateway。 Azure Stack Edge 是你在本地安装的物理网络设备。 该设备连接到云中的存储帐户。 Data Box Gateway 是一种虚拟网络设备。 这两种产品都支持从本地位置到 Azure 的数据传输。
联机传输少量数据
如果要向 Azure Blob 存储导入或从其中导出中等数量的数据,请考虑使用 AzCopy 或 Azure 存储资源管理器等其他工具。
AzCopy 是一个简单但功能强大的命令行工具,可用于将文件复制到 Azure 存储帐户或从其中复制文件。 借助 AZCopy,可以执行以下操作:
- 上传文件、下载文件以及将文件复制到 Azure Blob 存储。
- 上传文件、下载文件以及将文件复制到 Azure 文件存储。
- 在存储帐户之间复制文件。
- 在不同区域中的存储帐户之间复制文件。
可以使用 AzCopy 在网络中联机传输数据。 若要访问 AzCopy,需要提供相应的 Azure 凭据,才能访问存储帐户,或使用 SAS(共享访问签名)。
AzCopy 是使用最少投入尽可能快地复制小到中等数据量的理想工具。 对于大型数据集,网络带宽可能会限制你可以向 Azure 存储上传或从 Azure 存储下载数据的速度。 可以创建使用 AzCopy 的脚本。
Azure 存储资源管理器是一种免费工具,可用于通过图形用户界面连接到 Azure 存储并查看数据。 可以上传和下载 blob、文件和表中保存的数据。 还可以检查队列和操作排队的消息。 存储资源管理器是一种交互式工具。 它只适合移动最少量的数据,而且很难编写成脚本。
Azure 门户中提供了 Azure 存储资源管理器的一个版本。
还可以使用 Azure PowerShell 和 Azure CLI 上传和下载数据。 这些接口是程序化的,便于生成可在传输数据时包含转换、合并和筛选功能的复杂脚本化解决方案。
为作业选择适合的工具
下表总结了为数据传输操作选择最适合的工具时的注意事项:
数据集 | 网络带宽 | 要使用的解决方案 |
---|---|---|
大型数据集 | 低带宽网络或与本地存储的直接连接受组织策略的限制 | 将 Azure 导入/导出服务或 Data Box 用于导出;将 Data Box Disk 或 Data Box 用于导入(如果支持),否则使用 Azure 导入/导出服务。 |
大型数据集 | 高带宽网络:每秒 1 千兆比特 (Gbps) - 100 Gbps | 将 AZCopy 用于联机传输;或将 Azure 数据工厂、Azure Stack Edge 或 Azure Data Box Gateway 用于导入数据。 |
大型数据集 | 中等带宽网络:每秒 100 兆比特 (Mbps) - 1 Gbps | Azure 导入/导出服务或 Azure Data Box 系列产品/服务(如果支持)。 |
小型数据集:数 GB - 数 TB | 低到中等带宽网络:最多 1 Gbps | 如果只传输少量文件,请使用 Azure 存储资源管理器、Azure 门户、AZCopy 或 AZ CLI。 |