Dela via

Kör CLI (äldre)

  • Artikel

Viktigt!

Den här dokumentationen har dragits tillbaka och kanske inte uppdateras.

Den här informationen gäller för äldre Databricks CLI-versioner 0.18 och senare. Databricks rekommenderar att du använder nyare Databricks CLI version 0.205 eller senare i stället. Se Vad är Databricks CLI?. Kör för att hitta din version av Databricks CLI databricks -v.

Information om hur du migrerar från Databricks CLI version 0.18 eller senare till Databricks CLI version 0.205 eller senare finns i Databricks CLI-migrering.

Du kör Databricks-jobbet kör CLI-underkommandon genom att lägga till dem i databricks runs och Databricks-jobb cli-underkommandon genom att lägga till dem i databricks jobs. För Databricks-jobb cli-underkommandon, se Jobb CLI (äldre). Tillsammans anropar dessa underkommandon Jobb-API:et och Jobb-API 2.0.

Viktigt!

Databricks-jobbet kör CLI stöder anrop till två versioner av Rest-API:et för Databricks-jobb: versionerna 2.1 och 2.0. (Funktionen för jobbkörningar är en del av JOBB-REST-API:et.) Version 2.1 lägger till stöd för orkestrering av jobb med flera uppgifter. se Schemalägg och samordna arbetsflöden och Uppdatera från Jobb-API 2.0 till 2.1. Databricks rekommenderar att du anropar version 2.1, såvida du inte har äldre skript som förlitar sig på version 2.0 och inte kan migreras.

Om inget annat anges gäller de programmatiska beteenden som beskrivs i den här artikeln lika för versionerna 2.1 och 2.0.

Kommentar

Om du får ett 500-nivåfel när du gör jobbkörningar av CLI-begäranden rekommenderar Databricks att du försöker igen i upp till 10 minuter (med minst 30 sekunders intervall mellan återförsök).

Krav för att anropa JOBB REST API 2.1

Gör följande för att set databricks-jobbet kör CLI (och jobb CLI) för att anropa JOBB REST API 2.1:

  1. Update CLI till Version 0.16.0 eller senare.

  2. Gör något av följande:

    • Kör kommandot databricks jobs configure --version=2.1. Detta lägger till inställningen jobs-api-version = 2.1 i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla jobb kör CLI-underkommandon (och jobb CLI) anropar jobbens REST API 2.1 som standard.
    • Lägg till inställningen jobs-api-version = 2.1 manuellt i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla jobb kör CLI-underkommandon (och jobb CLI) anropar jobbens REST API 2.1 som standard.
    • Lägg till alternativet --version=2.1 (till exempel databricks runs list --version=2.1) för att instruera jobbet kör CLI att anropa JOBB REST API 2.1 endast för det anropet.

    Om du inte utför någon av föregående åtgärder anropar jobbet CLI (och jobb CLI) jobb-REST API 2.0 som standard.

Krav för att anropa JOBS REST API 2.0

Om du vill set upp Databricks-jobbet kör CLI (och jobb CLI) för att anropa JOBB REST API 2.0 gör du något av följande:

  • Använd en version av Databricks CLI under 0.16.0 eller
  • Update uppdatera CLI- till version 0.16.0 eller senare och gör sedan någon av följande:
    • Kör kommandot databricks jobs configure --version=2.0. Detta lägger till inställningen jobs-api-version = 2.0 i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla jobb kör CLI-underkommandon (och jobb CLI) anropar jobbens REST API 2.0 som standard.
    • Lägg till inställningen jobs-api-version = 2.0 manuellt i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla jobb kör CLI-underkommandon (och jobb CLI) anropar jobbens REST API 2.0 som standard.
    • Lägg till alternativet --version=2.1 (till exempel databricks runs list --version=2.0) för att instruera jobbet kör CLI att anropa JOBB REST API 2.0 endast för det anropet.

Om du inte utför någon av föregående åtgärder anropar jobbet CLI (och jobb CLI) jobb-REST API 2.0 som standard.

Underkommandon och allmän användning

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Avbryt en körning

Om du vill visa användningsdokumentationen kör du databricks runs cancel --help.

databricks runs cancel --run-id 119

{}

Get information om en körning

Om du vill visa användningsdokumentationen kör du databricks runs get --help.

Allmän användning

databricks runs get --run-id 2785782

Cli 2.1-användningsanteckningar och svarsexempel för jobb

Se Kör get i Uppdatera från jobb-API 2.0 till 2.1.

Cli 2.0-svarsexempel för jobb

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Get utdata från en körning

Om du vill visa användningsdokumentationen kör du databricks runs get-output --help.

Kommentar

När en notebook_task returnerar ett värde från ett anrop till dbutils.notebook.exit()begränsar Databricks det returnerade värdet till de första 5 MB data. Om du vill returnera ett större resultat kan du lagra jobbresultat i en molnlagringstjänst.

Allmän användning

databricks runs get-output --run-id 2785782

Cli 2.1-användningsanteckningar för jobb

Se Kör get utdata i Uppdatera från Jobb-API 2.0 till 2.1.

Cli 2.0-svarsexempel för jobb

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Get information om alla körningar

Om du vill visa användningsdokumentationen kör du databricks runs list --help.

Allmän användning

databricks runs list --output JSON

Cli 2.1-användningsanteckningar och svarsexempel för jobb

Se Kör list i Uppdatering från Jobs API 2.0 till 2.1.

Cli 2.0-svarsexempel för jobb

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Om has_more returnerar trueär information om ytterligare körningar tillgänglig. Använd alternativet --offset för att returnera information om körningar i förhållande till den senaste körningen. Om du till exempel vill returnera information som börjar med den tionde senaste körningen anger du --offset 10.

Använd alternativet --limit för att returnera information om ett fast antal körningar. Om du till exempel vill returnera information för upp till de kommande 5 körningarna anger du --limit 5. Du kan ange upp till 1 000 körningar. Om det inte anges är standardvärdet 20.

Skicka en engångskörning

Om du vill visa användningsdokumentationen kör du databricks runs submit --help.

Allmän användning

databricks runs submit --json-file submit-run.json

Jobb REST API 2.1 användningsanteckningar och exempel på begäran

Se Kör skicka i Uppdatera från Jobb API 2.0 till 2.1.

Exempel på begäran och svar för REST API 2.0 för jobb

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}