Delen via

Cli wordt uitgevoerd (verouderd)

  • Artikel

Belangrijk

Deze documentatie is buiten gebruik gesteld en wordt mogelijk niet bijgewerkt.

Deze informatie is van toepassing op verouderde Databricks CLI-versies 0.18 en lager. Databricks raadt u aan om in plaats daarvan nieuwere Databricks CLI versie 0.205 of hoger te gebruiken. Zie Wat is de Databricks CLI? Voer de opdracht uit databricks -vom uw versie van de Databricks CLI te vinden.

Als u wilt migreren van Databricks CLI versie 0.18 of lager naar Databricks CLI versie 0.205 of hoger, raadpleegt u de Cli-migratie van Databricks.

U voert de Databricks-taak CLI-subopdrachten uit door ze toe te voegen aan databricks runs en Cli-subopdrachten voor Databricks-taken door ze toe te voegen aan databricks jobs. Zie de CLI-taken (verouderd) voor Cli-subopdrachten voor Databricks-taken. Samen roepen deze subopdrachten de Jobs-API en jobs-API 2.0 aan.

Belangrijk

De Databricks-taak voert CLI uit voor aanroepen naar twee versies van de Rest API van Databricks-taken: versies 2.1 en 2.0. (Taakuitvoeringsfunctionaliteit maakt deel uit van de REST API van Jobs.) Versie 2.1 voegt ondersteuning toe voor het organiseren van taken met meerdere taken; zie Werkstromen plannen en organiseren en bijwerken van taken-API 2.0 naar 2.1. Databricks raadt u aan versie 2.1 aan te roepen, tenzij u verouderde scripts hebt die afhankelijk zijn van versie 2.0 en niet kunnen worden gemigreerd.

Tenzij anders opgegeven, gelden de programmatische gedragingen die in dit artikel worden beschreven, evenzeer voor versies 2.1 en 2.0.

Notitie

Als u een fout op 500-niveau ontvangt bij het maken van CLI-aanvragen, raadt Databricks aan om aanvragen maximaal 10 minuten opnieuw te proberen (met een interval van minimaal 30 seconden tussen nieuwe pogingen).

Vereisten voor het aanroepen van de TAKEN REST API 2.1

Ga als volgt te werk om de Databricks-taak cli (en taken-CLI) in te stellen om de REST API 2.1 van Jobs aan te roepen:

  1. Werk de CLI bij naar versie 0.16.0 of hoger.

  2. Voer een van de volgende stappen uit:

    • Voer de opdracht databricks jobs configure --version=2.1 uit. Hiermee wordt de instelling jobs-api-version = 2.1 toegevoegd aan het bestand ~/.databrickscfg op Unix, Linux of macOS of %USERPROFILE%\.databrickscfg in Windows. Met alle taak worden CLI-subopdrachten (en cli-taken) standaard de REST API 2.1 aangeroepen.
    • Voeg de instelling jobs-api-version = 2.1 handmatig toe aan het bestand ~/.databrickscfg op Unix, Linux of macOS of %USERPROFILE%\.databrickscfg in Windows. Met alle taak worden CLI-subopdrachten (en cli-taken) standaard de REST API 2.1 aangeroepen.
    • Voeg de optie --version=2.1 (bijvoorbeeld databricks runs list --version=2.1) toe om de taak de CLI uit te voeren om alleen de REST API 2.1 voor die aanroep aan te roepen.

    Als u geen van de voorgaande acties uitvoert, wordt de CLI van de taak uitgevoerd (en de CLI van taken) wordt standaard de REST API voor taken 2.0 aangeroepen.

Vereisten voor het aanroepen van de TAKEN REST API 2.0

Ga op een van de volgende manieren te werk om de Databricks-taak in te stellen om cli (en taken CLI) aan te roepen om de REST API 2.0 van Jobs aan te roepen:

  • Gebruik een versie van de Databricks CLI onder 0.16.0 of
  • Werk de CLI bij naar versie 0.16.0 of hoger en voer een van de volgende handelingen uit:
    • Voer de opdracht databricks jobs configure --version=2.0 uit. Hiermee wordt de instelling jobs-api-version = 2.0 toegevoegd aan het bestand ~/.databrickscfg op Unix, Linux of macOS of %USERPROFILE%\.databrickscfg in Windows. Met alle taak worden CLI-subopdrachten (en taken CLI)-subopdrachten voor taken standaard de REST API 2.0 aangeroepen.
    • Voeg de instelling jobs-api-version = 2.0 handmatig toe aan het bestand ~/.databrickscfg op Unix, Linux of macOS of %USERPROFILE%\.databrickscfg in Windows. Met alle taak worden CLI-subopdrachten (en taken CLI)-subopdrachten voor taken standaard de REST API 2.0 aangeroepen.
    • Voeg de optie --version=2.1 (bijvoorbeeld databricks runs list --version=2.0) toe om de taak de CLI uit te voeren om alleen de REST API 2.0 voor die aanroep aan te roepen.

Als u geen van de voorgaande acties uitvoert, wordt de CLI van de taak uitgevoerd (en de CLI van taken) wordt standaard de REST API voor taken 2.0 aangeroepen.

Subopdrachten en algemeen gebruik

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Een uitvoering annuleren

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks runs cancel --help.

databricks runs cancel --run-id 119

{}

Informatie over een uitvoering ophalen

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks runs get --help.

Algemeen gebruik

databricks runs get --run-id 2785782

Voorbeeld van cli 2.1-gebruiksnotities en antwoordtaken

Zie Uitvoeringen worden bijgewerktvan taken-API 2.0 tot en met 2.1.

Voorbeeld van cli 2.0-antwoordtaken

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

De uitvoer van een uitvoering ophalen

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks runs get-output --help.

Notitie

Wanneer een notebook_task waarde van een aanroep naar dbutils.notebook.exit()retourneert, beperkt Databricks de geretourneerde waarde tot de eerste 5 MB aan gegevens. Als u een groter resultaat wilt retourneren, kunt u taakresultaten opslaan in een cloudopslagservice.

Algemeen gebruik

databricks runs get-output --run-id 2785782

Taken CLI 2.1-gebruiksnotities

Zie Uitvoeringen krijgen uitvoer in Bijwerken van taken-API 2.0 tot en met 2.1.

Voorbeeld van cli 2.0-antwoordtaken

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Informatie over alle uitvoeringen ophalen

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks runs list --help.

Algemeen gebruik

databricks runs list --output JSON

Voorbeeld van cli 2.1-gebruiksnotities en antwoordtaken

Zie de lijst Uitvoeringen in Bijwerken van taken-API 2.0 tot en met 2.1.

Voorbeeld van cli 2.0-antwoordtaken

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Als has_more er een resultaat wordt geretourneerd, is er informatie over extra uitvoeringen truebeschikbaar. Gebruik de --offset optie om informatie over uitvoeringen te retourneren ten opzichte van de meest recente uitvoering. Als u bijvoorbeeld gegevens wilt retourneren die beginnen met de tiende meest recente uitvoering, geeft u op --offset 10.

Gebruik de --limit optie om informatie over een vast aantal uitvoeringen te retourneren. Als u bijvoorbeeld gegevens wilt retourneren voor de volgende vijf uitvoeringen, geeft u op --limit 5. U kunt maximaal 1000 uitvoeringen opgeven. Als dit niet is opgegeven, is de standaardwaarde 20.

Een eenmalige uitvoering verzenden

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks runs submit --help.

Algemeen gebruik

databricks runs submit --json-file submit-run.json

Taken REST API 2.1-gebruiksnotities en aanvraagvoorbeeld

Zie Uitvoeringen worden verzonden in Bijwerken van taken-API 2.0 naar 2.1.

Voorbeeld van REST API 2.0-aanvragen en -antwoorden voor taken

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}