Udostępnij za pośrednictwem

Interfejs API języka Python inżynierii funkcji i obszaru roboczego

  • Artykuł

Ta strona zawiera linki do dokumentacji interfejsu API języka Python usługi Databricks Feature Engineering and Databricks legacy Workspace Feature Store oraz informacji o pakietach klienta databricks-feature-engineering i databricks-feature-store.

Uwaga

Od wersji 0.17.0 databricks-feature-store przestarzała. Wszystkie istniejące moduły z tego pakietu są teraz dostępne w databricks-feature-engineering wersji 0.2.0 lub nowszej. Aby uzyskać informacje na temat migracji do databricks-feature-engineeringprogramu , zobacz Migrowanie do usługi databricks-feature-engineering.

Macierz zgodności

Pakiet i klient, którego należy użyć, zależą od tego, gdzie znajdują się tabele funkcji, oraz od używanej wersji usługi Databricks Runtime ML, jak pokazano w poniższej tabeli.

Aby zidentyfikować wersję pakietu wbudowaną w wersję uczenia maszynowego środowiska Databricks Runtime, zobacz macierz zgodności inżynierii funkcji.

Wersja środowiska Databricks Runtime W przypadku tabel funkcji w programie Korzystanie z pakietu Korzystanie z klienta języka Python
Databricks Runtime 14.3 ML i nowsze Unity Catalog databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML i nowsze Obszar roboczy databricks-feature-engineering FeatureStoreClient
Środowisko Databricks Runtime 14.2 ML i starsze Unity Catalog databricks-feature-engineering FeatureEngineeringClient
Środowisko Databricks Runtime 14.2 ML i starsze Obszar roboczy databricks-feature-store FeatureStoreClient

Uwaga

  • databricks-feature-engineering<=0.7.0 nie jest zgodny z mlflow>=2.18.0. Aby użyć databricks-feature-engineering z platformą MLflow w wersji 2.18.0 lub nowszej, przeprowadź uaktualnienie do wersji databricks-feature-engineering w wersji 0.8.0 lub nowszej.

Informacje o wersji

Zobacz informacje o wersji dotyczące projektowania funkcji w Databricks oraz starszego magazynu funkcji w obszarze roboczym.

Dokumentacja interfejsu API języka Python inżynierii funkcji

Zobacz dokumentację interfejsu API języka Python inżynierii funkcji.

Dokumentacja interfejsu API języka Python magazynu funkcji obszaru roboczego (przestarzałe)

Uwaga

  • Od wersji 0.17.0 databricks-feature-store przestarzała. Wszystkie istniejące moduły z tego pakietu są teraz dostępne w databricks-feature-engineering wersji 0.2.0 lub nowszej.

Aby uzyskać informacje o databricks-feature-store interfejsie API języka Python w wersji 0.17.0, zobacz Databricks in Feature Engineering Python API reference (Dokumentacja interfejsu API usługi Databricks FeatureStoreClient w języku Python inżynierii funkcji), aby zapoznać się z najnowszymi informacjami o interfejsie API magazynu funkcji obszaru roboczego.

W przypadku wersji 0.16.3 lub nowszej użyj linków w tabeli, aby pobrać lub wyświetlić dokumentację interfejsu API języka Python magazynu funkcji. Aby określić wstępnie zainstalowaną wersję środowiska Databricks Runtime ML, zobacz macierz zgodności.

Wersja Pobierz plik PDF Dokumentacja interfejsu API online
z wersji 0.3.5 do wersji 0.16.3 Pdf z dokumentacją interfejsu API języka Python w sklepie Feature Store 0.16.3 Dokumentacja interfejsu API online
wersja 0.3.5 i starsze Plik PDF z dokumentacją interfejsu API języka Python w sklepie Feature Store 0.3.5 Dokumentacja interfejsu API online jest niedostępna

Pakiet języka Python

W tej sekcji opisano sposób instalowania pakietów języka Python w celu korzystania z usługi Databricks Feature Engineering i Databricks Workspace Feature Store.

Inżynieria cech

Uwaga

  • Począwszy od wersji 0.2.0, databricks-feature-engineering zawiera moduły do pracy z tabelami funkcji w wykazie aparatu Unity i magazynie funkcji obszaru roboczego. databricks-feature-engineering poniższa wersja 0.2.0 działa tylko z tabelami funkcji w wykazie aparatu Unity.

Interfejsy API inżynierii funkcji usługi Databricks są dostępne za pośrednictwem pakietu databricks-feature-engineeringklienta języka Python. Klient jest dostępny w interfejsie PyPI i jest wstępnie zainstalowany w środowisku Databricks Runtime 13.3 LTS ML i nowszym.

Aby uzyskać informacje o wersji klienta odpowiadającej wersji środowiska uruchomieniowego, zobacz macierz zgodności.

Aby zainstalować klienta w środowisku Databricks Runtime:

%pip install databricks-feature-engineering

Aby zainstalować klienta w lokalnym środowisku języka Python:

pip install databricks-feature-engineering

Magazyn funkcji obszaru roboczego (przestarzałe)

Uwaga

  • Od wersji 0.17.0 databricks-feature-store przestarzała. Wszystkie istniejące moduły z tego pakietu są teraz dostępne w databricks-feature-engineeringwersji 0.2.0 lub nowszej.
  • Aby uzyskać więcej informacji, zobacz Migrowanie do usługi databricks-feature-engineering .

Interfejsy API magazynu funkcji usługi Databricks są dostępne za pośrednictwem pakietu databricks-feature-storeklienta języka Python. Klient jest dostępny w interfejsie PyPI i jest wstępnie zainstalowany w środowisku Databricks Runtime for Machine Learning. Aby uzyskać informacje o tym, które środowisko uruchomieniowe zawiera wersję klienta, zobacz macierz zgodności.

Aby zainstalować klienta w środowisku Databricks Runtime:

%pip install databricks-feature-store

Aby zainstalować klienta w lokalnym środowisku języka Python:

pip install databricks-feature-store

Migrowanie do databricks-feature-engineering

Aby zainstalować databricks-feature-engineering pakiet, użyj polecenia pip install databricks-feature-engineering zamiast pip install databricks-feature-store. Wszystkie moduły w programie databricks-feature-store zostały przeniesione do databricks-feature-engineeringelementu , więc nie trzeba zmieniać żadnego kodu. Instrukcje importu, takie jak from databricks.feature_store import FeatureStoreClient będą nadal działać po zainstalowaniu programu databricks-feature-engineering.

Aby pracować z tabelami funkcji w wykazie aparatu Unity, użyj polecenia FeatureEngineeringClient. Aby użyć magazynu funkcji obszaru roboczego, należy użyć polecenia FeatureStoreClient.

Obsługiwane scenariusze

W przypadku usługi Databricks, w tym środowiska Databricks Runtime i środowiska Databricks Runtime na potrzeby uczenia maszynowego, można wykonywać następujące czynności:

  • Tworzenie, odczytywanie i zapisywanie tabel funkcji.
  • Trenowanie i ocenianie modeli na danych funkcji.
  • Publikowanie tabel funkcji w sklepach online na potrzeby obsługi w czasie rzeczywistym.

Ze środowiska lokalnego lub środowiska zewnętrznego do usługi Databricks można wykonywać następujące czynności:

  • Opracowywanie kodu przy użyciu lokalnej obsługi środowiska IDE.
  • Test jednostkowy korzystający ze struktur makiety.
  • Pisanie testów integracji do uruchomienia w usłudze Databricks.

Ograniczenia

Bibliotekę klienta można uruchamiać tylko w usłudze Databricks, w tym w środowisku Databricks Runtime i Databricks Runtime for Machine Learning. Nie obsługuje wywoływania inżynierii funkcji w wykazie aparatu Unity lub interfejsach API magazynu funkcji z lokalnego środowiska ani ze środowiska innego niż Databricks.

Używanie klientów do testowania jednostkowego

Możesz zainstalować inżynierię funkcji w kliencie katalogu aparatu Unity lub klienta magazynu funkcji lokalnie, aby ułatwić uruchamianie testów jednostkowych.

Aby na przykład sprawdzić, czy metoda update_customer_features poprawnie wywołuje FeatureEngineeringClient.write_table metodę (lub dla magazynu funkcji obszaru roboczego), FeatureStoreClient.write_tablemożesz napisać:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Używanie klientów do testowania integracji

Testy integracji można uruchamiać za pomocą inżynierii funkcji w kliencie katalogu aparatu Unity lub kliencie magazynu funkcji w usłudze Databricks. Aby uzyskać szczegółowe informacje, zobacz Developer Tools and Guidance: Use CI/CD (Narzędzia deweloperskie i wskazówki: używanie ciągłej integracji/ciągłego wdrażania).