次の方法で共有


Azure Databricks ジョブを使用して最初のワークフローを作成する

この記事では、サンプルデータセットを読み取って処理するためのタスクを調整する Azure Databricks ジョブ について説明します。 このクイック スタートでは次の作業を行います。

  1. 新しいノートブックを作成し、年ごとの赤ちゃんの人気の名前を含むサンプルデータセットを取得するコードを追加します。
  2. サンプル データセットを Unity Catalog に保存します。
  3. 新しいノートブックを作成し、Unity Catalog からデータセットを読み取るコードを追加して、年でフィルター処理し、結果を表示します。
  4. 新しいジョブを作成し、ノートブックを使用して2つのタスクを構成します。
  5. ジョブを実行し、結果を表示します。

要件

ワークスペースが Unity Catalog 対応で、サーバーレス ジョブが有効になっている場合、既定では、ジョブはサーバーレス コンピューティングで実行されます。 サーバーレス コンピューティングでジョブを実行するためにクラスター作成アクセス許可は必要ありません。

それ以外の場合、ジョブ コンピューティングを作成するためのクラスター作成アクセス許可、または汎用コンピューティング リソースへのアクセス許可が必要です。

Unity Catalog にはボリュームが必要です。 この記事では、my-volume という名前のカタログ内の default という名前のスキーマで、main という名前のボリュームを使用します。 また、Unity Catalog には次のアクセス許可が必要です。

  • READ VOLUME ボリュームの WRITE VOLUMEALL PRIVILEGES、または my-volume
  • USE SCHEMA スキーマの ALL PRIVILEGES または default
  • USE CATALOG カタログの ALL PRIVILEGES または main

これらのアクセス許可を設定するには、Databricks 管理者に確認するか、「Unity Catalog の権限とセキュリティ保護可能なオブジェクト」を参照してください。

ノートブックを作成する

データの取得と保存

サンプル データセットを取得して Unity Catalog に保存するノートブックを作成するには、次のようにします。

  1. Azure Databricks のランディング ページにアクセスし、サイドバーの [新しいアイコン][新規] をクリックし、[ノートブック] を選択します。 Databricks により、既定のフォルダーに新しい空のノートブックが作成され開かれます。 既定の言語は、最近使用した言語であり、ノートブックは、最近使用したコンピューティング リソースに自動的にアタッチされます。

  2. 必要に応じて、既定の言語を Python に変更します

  3. 次の Python コードをコピーし、ノートブックの最初のセルに貼り付けます。

    import requests
    
    response = requests.get('https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
    csvfile = response.content.decode('utf-8')
    dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)
    

フィルター処理されたデータの読み取りと表示

フィルター処理用のデータを読み取って表示するノートブックを作成するには、次のようにします。

  1. Azure Databricks のランディング ページにアクセスし、サイドバーの [新しいアイコン][新規] をクリックし、[ノートブック] を選択します。 Databricks により、既定のフォルダーに新しい空のノートブックが作成され開かれます。 既定の言語は、最近使用した言語であり、ノートブックは、最近使用したコンピューティング リソースに自動的にアタッチされます。

  2. 必要に応じて、既定の言語を Python に変更します

  3. 次の Python コードをコピーし、ノートブックの最初のセルに貼り付けます。

    babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
    babynames.createOrReplaceTempView("babynames_table")
    years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
    years.sort()
    dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
    display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))
    

ジョブの作成

  1. サイドバーの [ワークフロー] アイコン[ワークフロー] をクリックします。

  2. [ジョブの作成] ボタンをクリックします。

    [タスク] タブには、[タスクの作成] ダイアログが表示されます。

    1番目のタグ ダイアログを作成する

  3. [ジョブ名を追加] を自分のジョブ名に置き換えます。

  4. [タスク名] フィールドに、タスクの名前を入力します (たとえば、retrieve-baby-namesなど)。

  5. [種類] ドロップダウン メニューで、[ノートブック] を選択します。

  6. ファイル ブラウザーを使用して、作成した最初のノートブックを検索し、ノートブック名をクリックして、[確認] をクリックします。

  7. [タスクの作成] をクリックします。

  8. 別のタスクを追加するには、作成したタスクの下の タスクの追加 ボタン をクリックします。

  9. [タスク名] フィールドに、タスクの名前を入力します (たとえば、filter-baby-names など)。

  10. [種類] ドロップダウン メニューで、[ノートブック] を選択します。

  11. ファイル ブラウザーを使用して、作成した 2 番目のノートブックを検索し、ノートブック名をクリックして、[確認] をクリックします。

  12. [パラメーター] の下の [追加] をクリックします。 [キー] フィールドに「year」と入力します。 “” フィールドに「2014」と入力します。

  13. [タスクの作成] をクリックします。

ジョブの実行

すぐにジョブを実行するには、右上隅にある 今すぐ実行 ボタン をクリックします。 [実行] タブをクリックし、[アクティブな実行] テーブルの [今すぐ実行] をクリックして、ジョブを実行することもできます。

実行の詳細を表示する

  1. [実行] タブをクリックし、[アクティブな実行] テーブルまたは [完了した実行 (過去 60 日)] テーブルにある実行のリンクをクリックします。

  2. いずれかのタスクをクリックして、出力と詳細を確認します。 たとえば、filter-baby-names タスクをクリックすると、フィルター タスクの出力と実行の詳細が表示されます。

    名前のフィルターの結果の表示

別のパラメーターを使用して実行する

ジョブを再実行し、別の年の赤ちゃんの名前をフィルター処理するには、次のようにします。

  1. Blue Down CaretBlue Down Caret[今すぐ実行] の横にある をクリックし、[異なるパラメーターで今すぐ実行] を選択するか、[アクティブな実行] テーブルの [異なるパラメーターで今すぐ実行] をクリックします。
  2. ” フィールドに「2015」と入力します。
  3. [実行] をクリックします。