次の方法で共有

ジョブの Python スクリプト タスク

  • [アーティクル]

Python ファイルを実行するには、 Python スクリプト タスクを使用します。

Python スクリプト タスクを構成する

開始する前に、ジョブを構成しているユーザーがアクセスできる場所に Python スクリプトをアップロードする必要があります。 Databricks では、Python スクリプトに作業状態ファイルを使用することをお勧めします。 「ワークスペース ファイルとは」を参照してください。

Note

ジョブ UI には、その他の構成済みの設定に基づいてオプションが動的に表示されます。

Databricks では、DBFS ルートまたはマウントを使用してコードまたはデータを格納することをお勧めします。 代わりに、Python スクリプトをワークスペースまたはボリュームに移行したり、URI を使用してクラウド オブジェクト ストレージにアクセスしたりできます。

Python script タスクを構成するフローを開始するには:

  1. ジョブ UI の [タスク] タブに移動します。
  2. [種類] ドロップダウン メニューで、Python script を選択します。

ソースを構成する

[ソース] ドロップダウン メニューで、次のいずれかのオプションを使用して Python スクリプトの場所を選択します。

ワークスペース

[ワークスペース] を使用して、作業状態ファイルを使用して格納される Python スクリプトを構成します。

  1. [パス] フィールドをクリックします。 [Python ファイルの選択] ダイアログ ボックスが表示されます。
  2. Python スクリプトを閲覧し、クリックしてファイルを強調表示し、 [確認] をクリックします。

Note

このオプションを使用すると、Databricks Git フォルダーに格納されている Python スクリプトでタスクを構成できます。 Databricks では、[Git プロバイダー] オプションとリモート Git リポジトリを使用して、ジョブでスケジュールされたアセットをバージョン管理することをお勧めします。

DBFS/ADLS

DBFS/ADLS を使用して、ボリューム、クラウド オブジェクトの保存場所、または DBFS ルートに格納されている Python スクリプトを構成します。

Databricks では、Python スクリプトを Unity カタログ ボリュームまたはクラウド オブジェクト ストレージに格納することをお勧めします。

[パス] フィールドに、Python スクリプトの URI を入力します。 たとえば、/Volumes/path/to/script.py または abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/script.py です。

Git プロバイダー

Git プロバイダーを使用して、リモート Git リポジトリに格納されている Python スクリプトを構成します。

UI によって表示されるオプションは、他の場所で Git プロバイダーを既に構成しているかどうかによって異なります。 ジョブ内のすべてのタスクに使用できるリモート Git リポジトリは 1 つだけです。 「ジョブで Git を使用する」を参照してください。

git リファレンスを構成した後、 [パス] フィールドが表示されます。

etl/bronze/ingest.py など、Python スクリプトの相対パスを入力します。

重要

相対パスを入力するときは、先頭を / または ./ にしないでください。 たとえば、アクセスする Python コードの絶対パスが /etl/bronze/ingest.py の場合は、[パス] フィールドに「etl/bronze/ingest.py」と入力します。

コンピューティング ライブラリと依存ライブラリを構成する

  1. [コンピューティング] を使用して、スクリプトのロジックをサポートするクラスターを選択または構成します。
  2. Serverless コンピューティングを使用する場合は、[環境とライブラリ] フィールドを使用して、新しい環境を選択、編集、または追加します。 「ノートブックの依存関係をインストールする」を参照してください。
  3. その他のすべてのコンピューティング構成については、[依存関係ライブラリ] の [+ 追加] をクリックします。 [依存ライブラリの追加] ダイアログが表示されます。
    • 既存のライブラリを選択するか、新しいライブラリをアップロードできます。
    • 使用できるのは、コンピューティング構成でサポートされている場所に格納されているライブラリのみです。 「Python ライブラリのサポート」を参照してください。
    • ライブラリ ソース ごとに、ライブラリを選択またはアップロードするためのフローは異なります。 ライブラリをご参照ください。

ジョブ構成を完了する

  1. (オ省略可能) Python スクリプトに CLI 引数として渡される文字列のリストとしてパラメーターを構成します。 「タスク パラメーターを構成する」を参照してください。
  2. [タスクの保存] をクリックします。