Interfejs wiersza polecenia usługi Delta Live Tables (starsza wersja)

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana.

Te informacje dotyczą starszych wersji interfejsu wiersza polecenia usługi Databricks w wersji 0.18 i poniżej. Usługa Databricks zaleca użycie nowszego interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej. Zobacz Co to jest interfejs wiersza polecenia usługi Databricks?. Aby znaleźć swoją wersję interfejsu wiersza polecenia usługi Databricks, uruchom polecenie databricks -v.

Aby przeprowadzić migrację z interfejsu wiersza polecenia usługi Databricks w wersji 0.18 lub nowszej do interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej, zobacz Migracja interfejsu wiersza polecenia usługi Databricks.

Uruchamiasz podpolecenia interfejsu wiersza polecenia interfejsu wiersza polecenia funkcji Delta Live Tables usługi Databricks, dołączając je do polecenia databricks pipelines. Te podpolecenia nazywają interfejs API tabel delta Live Tables.

databricks pipelines -h

Usage: databricks pipelines [OPTIONS] COMMAND [ARGS]...

  Utility to interact with Databricks Delta Live Tables Pipelines.

Options:
  -v, --version   0.18.0
  --debug         Debug Mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  create  Creates a pipeline.
  delete  Deletes the pipeline and cancels any active updates.
  deploy  [Deprecated] This command is deprecated, use create and edit
          commands instead.  Creates or edits a pipeline specified by the
          pipeline settings.

  edit    Edits a pipeline.
  get     Gets a pipeline's current settings and status.
  list    Lists all pipelines and their statuses.
  reset   [Deprecated] Use the "start --full-refresh" command instead. Resets
          a pipeline so that data can be reprocessed from the beginning.

  run     [Deprecated] Use the "start" command instead. Starts a pipeline
          update.

  start   Starts a pipeline update.
  stop    Stops the pipeline by cancelling any active update.

Tworzenie potoku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines create --help.

Użycie

databricks pipelines create --settings create-pipeline.json

create-pipeline.json:

{
    "name": "Wikipedia pipeline (SQL)",
    "storage": "/Users/username/data",
    "clusters": [
      {
        "label": "default",
        "autoscale": {
          "min_workers": 1,
          "max_workers": 5
        }
      }
    ],
    "libraries": [
      {
        "notebook": {
          "path": "/Users/username/Delta Live Tables quickstart (SQL)"
        }
      }
    ],
    "target": "wikipedia_analysis",
    "continuous": false
}

Successfully created pipeline: https://<databricks-instance>/#joblist/pipelines/4ee6b5c2-7017-11ec-90d6-0242ac120003 with ID: 4ee6b5c2-7017-11ec-90d6-0242ac120003.

Edytowanie potoku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines edit --help.

Użycie

databricks pipelines edit --settings edit-pipeline.json

edit-pipeline.json:

{
    "id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
    "name": "Wikipedia pipeline (SQL)",
    "storage": "/Users/username/data",
    "clusters": [
        {
            "label": "default",
            "autoscale": {
                "min_workers": 1,
                "max_workers": 3
            }
        }
    ],
    "libraries": [
        {
            "notebook": {
                "path": "/Users/username/Delta Live Tables quickstart (SQL)"
            }
        }
    ],
    "target": "wikipedia_quickstart_data",
    "continuous": false
}

Successfully edited pipeline settings: https://<databricks-instance>/#joblist/pipelines/4ee6b5c2-7017-11ec-90d6-0242ac120003.

Usuwanie potoku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines delete --help.

Użycie

databricks pipelines delete --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003

Pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003 deleted

Uzyskiwanie informacji o potoku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines get --help.

Użycie

databricks pipelines get --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003

{
  "pipeline_id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
  "spec": {
    "id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
    "name": "Wikipedia pipeline (SQL)",
    "storage": "/Users/username/data",
    "clusters": [
      {
        "label": "default",
        "autoscale": {
          "min_workers": 1,
          "max_workers": 5
        }
      }
    ],
    "libraries": [
      {
        "notebook": {
          "path": "/Users/username/Delta Live Tables quickstart (SQL)"
        }
      }
    ],
    "target": "wikipedia_analysis",
    "continuous": false
  },
  "state": "IDLE",
  "name": "Wikipedia pipeline (SQL)",
  "creator_user_name": "username@databricks.com",
  "last_modified": 1641600056265
}

Wyświetlanie listy wszystkich potoków i informacji o ich stanie

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines list --help.

Użycie

databricks pipelines list

[
  {
    "pipeline_id": "8a93e1b4-7024-11ec-90d6-0242ac120003",
    "state": "IDLE",
    "name": "Retail sales pipeline (SQL)",
    "latest_updates": [
      {
        "update_id": "9df03924-7024-11ec-90d6-0242ac120003",
        "state": "COMPLETED",
        "creation_time": "2021-10-29T16:18:57.982Z"
      },
      {
        "update_id": "a57e601c-7024-11ec-90d6-0242ac120003",
        "state": "COMPLETED",
        "creation_time": "2021-10-28T18:19:30.371Z"
      }
    ],
    "creator_user_name": "user@databricks.com"
  },
  {
    "pipeline_id": "b46e2670-7024-11ec-90d6-0242ac120003",
    "state": "IDLE",
    "name": "DLT quickstart (Python)",
    "latest_updates": [
      {
        "update_id": "bcd8fa2e-7024-11ec-90d6-0242ac120003",
        "state": "COMPLETED",
        "creation_time": "2021-12-16T18:19:25.827Z"
      },
      {
        "update_id": "c2c7a2c8-7024-11ec-90d6-0242ac120003",
        "state": "COMPLETED",
        "creation_time": "2021-10-29T22:22:32.586Z"
      },
      {
        "update_id": "c88d2818-7024-11ec-90d6-0242ac120003",
        "state": "COMPLETED",
        "creation_time": "2021-10-29T22:16:18.258Z"
      }
    ],
    "creator_user_name": "user@databricks.com"
  }
]

Uruchamianie aktualizacji potoku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines start --help.

databricks pipelines start --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003

Started an update c6462e2e-beb7-4c24-a9d3-962eaa19781b for pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.

Uruchamianie aktualizacji potoku z pełnym odświeżaniem

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines start --help.

Użycie

databricks pipelines start --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003 --full-refresh

Started an update ed885d3d-4fc0-44fd-b5dd-59471c789327 with full refresh for pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.

Zatrzymywanie aktualizacji potoku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks pipelines stop --help.

Użycie

databricks pipelines stop --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003

Stopped pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.