通过

Spark 中的库管理

  • 项目

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 通过此公告 了解更多信息。

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款 包含适用于 Azure 预览版中仍在测试阶段、预览阶段或尚未公开发布的功能的更多法律条款。 有关此特定预览版的信息，请参阅 AKS 预览版信息中的 Azure HDInsight。 有关问题或功能建议，请在 AskHDInsight 上提交请求并提供详细信息，同时关注我们以获取 Azure HDInsight 社区 的更多更新。

库管理的目的是使开放源代码或自定义代码可用于群集上运行的笔记本和作业。 可以从 PyPI 存储库上传 Python 库。 本文重点介绍如何在群集 UI 中管理库。 AKS 上的 Azure HDInsight 已包含群集中的许多常见库。 若要查看 AKS 群集上的 HDI 中包含的库，请查看库管理页。

安装库

可以在两种模式下安装库：

  • 集群安装
  • 限定在笔记本内

群集已安装

群集上运行的所有笔记本都可以使用群集库。 可以直接从公共存储库（如 PyPi）安装群集库。 从 Maven 存储库上传和从云存储上传自定义库都在开发计划中。

显示群集已安装库管理器页的屏幕截图。

笔记本范围

适用于 Python 和 Scala 的笔记本专用库，能够安装库并为笔记本会话创建专用环境。 这些库不会影响在同一群集上运行的其他笔记本。 笔记本级别的库不会持久化，必须为每个会话重新安装。

注意

当您需要为特定笔记本创建自定义环境时，请使用范围限定的笔记本库。

库安装模式

PyPI：通过提及安装 UI 中的库名称和版本，从开源 PyPI 存储库中提取库。

查看已安装的库

  1. 从“概述”页导航到“库管理器”。

    显示库管理器页的屏幕截图。

  2. 在 Spark 群集管理器中，单击“库管理器”。

  3. 可以从此处查看已安装库的列表。

    显示如何查看已安装库的屏幕截图。

添加程序库小工具

PyPI

  1. 在“PyPI”选项卡中，输入 包名称 和 包版本。。

  2. 单击 安装。

    显示如何安装 PyPI 的屏幕截图。

卸载软件库

如果决定不再使用库，则可以通过库管理页中的“卸载”按钮轻松删除库包。

  1. 选择并单击库名称

    显示如何选择库的屏幕截图。

  2. 在小组件中单击“卸载”

    显示如何卸载库的屏幕截图。

    注意

    • 从 Jupyter 笔记本安装的包只能从 Jupyter Notebook 中删除。
    • 从库管理器安装的包只能从库管理器中卸载。
    • 若要升级库/包，请卸载库的当前版本并重新安装所需的库版本。
    • 从 Jupyter 笔记本安装库是针对特定会话的。 它不是永久性的。
    • 由于包的大小和复杂性，安装繁重的包可能需要一些时间。