共用方式為

Spark 中的連結庫管理

  • 發行項

重要

AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。

您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品，以避免突然終止工作負載。

重要

這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關資訊，請參閱 AKS 上的 Azure HDInsight 預覽資訊。 如對問題或功能有建議，請在 AskHDInsight 上提交請求，並追蹤我們以獲得 Azure HDInsight 社群的更多更新。

圖書館管理的目的是讓開放原始碼或自定義程式碼能夠在您的叢集上運行的筆記本和作業中使用。 您可以從 PyPI 存放庫上傳 Python 連結庫。 本文著重於管理叢集 UI 中的連結庫。 AKS 上的 Azure HDInsight 已包含在叢集中的許多常用程式庫。 若要查看 AKS 叢集上的 HDI 中包含哪些連結庫，請檢閱連結庫管理頁面。

安裝函式庫

您可以透過兩種模式安裝程式庫：

  • 叢集已安裝
  • 筆記本特定範圍

已安裝叢集

在叢集上執行的所有筆記本都可以使用叢集庫。 您可以直接從公用存放庫安裝叢集連結庫，例如 PyPi。 從 Maven 存放庫上傳，從雲端存儲上傳自定義程式庫都在計畫中。

顯示叢集已安裝函式庫管理員頁面的螢幕快照。

筆記本範圍

適用於 Python 和 Scala 的筆記本範圍連結庫，可讓您安裝連結庫，並建立範圍設定為筆記本會話的環境。 這些程式庫不會影響在同一叢集上運行的其他筆記本。 筆記本範圍的函式庫不會持續存在，而且必須針對每個會話重新安裝。

注意

當您需要為特定筆記本設定自定義環境時，請使用筆記本範圍內的程式庫。

函式庫安裝模式

PyPI：藉由在安裝 UI 中提及連結庫名稱和版本，從開放原始碼 PyPI 存放庫擷取連結庫。

檢視已安裝的程式庫

  1. 從 [概觀] 頁面，瀏覽至 [庫管理員]。

    顯示程式庫管理器頁面的螢幕快照。

  2. 從 Spark Cluster Manager，點擊 [程式庫管理員]。

  3. 您可以從這裡檢視已安裝的連結庫清單。

    顯示如何檢視已安裝程式庫的螢幕快照。

新增程式庫小工具

PyPI

  1. 從 [PyPI] 索引標籤中，輸入 套件名稱 和 套件版本。。

  2. 按一下 安裝。

    顯示如何安裝 PyPI 的螢幕快照。

卸載程式庫

如果您決定不再使用連結庫，您可以透過連結庫管理頁面中的 [卸載] 按鈕輕鬆地刪除連結庫套件。

  1. 選擇並點擊資源庫名稱

    螢幕快照顯示如何選取程式庫。

  2. 點擊小工具中的 卸載

    顯示如何卸載程式庫的螢幕快照。

    注意

    • 從 Jupyter Notebook 安裝的套件只能從 Jupyter Notebook 中刪除。
    • 從連結庫管理員安裝的套件只能從連結庫管理員卸載。
    • 若要升級連結庫/套件，請卸載目前的連結庫版本，然後重新安裝必要的連結庫版本。
    • 從 Jupyter Notebook 安裝函式庫是特定於該會話的。 它不是持續性的。
    • 安裝繁重的套件可能需要一些時間，因為其大小和複雜度。