Wtyczka języka Python

Dotyczy: ✅Microsoft Fabric✅Azure Data Explorer

Wtyczka języka Python uruchamia funkcję zdefiniowaną przez użytkownika (UDF) przy użyciu skryptu języka Python. Skrypt języka Python pobiera dane tabelaryczne jako dane wejściowe i generuje dane wyjściowe tabelaryczne.

Składnia

T evaluate | [hint.distribution = ()] [hint.remote = (autosingle | localper_node | )] python(skrypt output_schema, [, script_parameters] [, spill_to_disk])

Dowiedz się więcej na temat konwencji składni.

Parametry

Nazwisko	Type	Wymagania	opis
output_schema	string	✔️	Literał type definiujący schemat wyjściowy danych tabelarycznych zwrócony przez kod języka Python. Format to: typeof(ColumnName: ColumnType[, ...]). Na przykład typeof(col1:string, col2:long). Aby rozszerzyć schemat wejściowy, użyj następującej składni: typeof(*, col1:string, col2:long).
skrypt	string	✔️	Prawidłowy skrypt języka Python do wykonania. Aby wygenerować ciągi wielowierszowe, zobacz Porady dotyczące użycia.
script_parameters	dynamic		Torba właściwości par wartości nazw, które mają zostać przekazane do skryptu języka Python jako słownika zarezerwowanego kargs . Aby uzyskać więcej informacji, zobacz Reserved Python variables (Zmienne zarezerwowane języka Python).
hint.distribution	string		Wskazówka dotycząca wykonywania wtyczki do dystrybucji między wieloma węzłami klastra. Domyślna wartość to single. single oznacza, że pojedyncze wystąpienie skryptu zostanie uruchomione na wszystkich danych zapytania. per_node oznacza, że jeśli zapytanie przed dystrybucją bloku języka Python, wystąpienie skryptu zostanie uruchomione w każdym węźle, na danych, które zawiera.
hint.remote	string		Ta wskazówka jest istotna tylko w przypadku zapytań między klastrami. Domyślna wartość to auto. auto oznacza, że serwer decyduje automatycznie, w którym klaster jest wykonywany kod języka Python. Ustawienie wartości wymusza local wykonywanie kodu w języku Python w klastrze lokalnym. Użyj go, jeśli wtyczka języka Python jest wyłączona w klastrze zdalnym.
spill_to_disk	bool		Określa alternatywną metodę serializacji tabeli wejściowej w piaskownicy języka Python. W przypadku serializacji dużych tabel ustaw ją tak, aby true przyspieszyć serializacji i znacznie zmniejszyć zużycie pamięci piaskownicy. Wartość domyślna to true.

Zarezerwowane zmienne języka Python

Następujące zmienne są zarezerwowane do interakcji między język zapytań Kusto a kodem języka Python.

• df: dane tabelaryczne wejściowe (wartości T powyżej) jako ramka pandas danych.
• kargs: wartość argumentu script_parameters jako słownik języka Python.
• resultpandas: Ramka danych utworzona przez skrypt języka Python, której wartość staje się danymi tabelarycznymi, które są wysyłane do operatora zapytania Kusto, który jest zgodny z wtyczką.

Włączanie wtyczki

Wtyczka jest domyślnie wyłączona. Przed rozpoczęciem włącz wtyczkę języka Python w bazie danych języka KQL.

Obraz piaskownicy języka Python

Aby wyświetlić listę pakietów dla różnych obrazów języka Python, zobacz Dokumentacja pakietu języka Python.

Uwaga

• Domyślnie wtyczka importuje numpy jako np i pandas jako pd. Opcjonalnie możesz zaimportować inne moduły zgodnie z potrzebami.
• Niektóre pakiety mogą być niezgodne z ograniczeniami wymuszanymi przez piaskownicę, w której jest uruchamiana wtyczka.

Używanie pozyskiwania z zasad zapytań i aktualizacji

• Użyj wtyczki w zapytaniach, które są następujące:
  • Zdefiniowane jako część zasad aktualizacji, których tabela źródłowa jest pozyskiwana do korzystania z pozyskiwania nieprzesyłania strumieniowego .
  • Uruchom polecenie w ramach polecenia pozyskiwanego z zapytania, takiego jak .set-or-append.
• Nie można użyć wtyczki w zapytaniu zdefiniowanym jako część zasad aktualizacji, których tabela źródłowa jest pozyskiwana przy użyciu pozyskiwania przesyłania strumieniowego.

Przykłady

range x from 1 to 360 step 1
| evaluate python(
//
typeof(*, fx:double),               //  Output schema: append a new fx column to original table 
```
result = df
n = df.shape[0]
g = kargs["gain"]
f = kargs["cycles"]
result["fx"] = g * np.sin(df["x"]/n*2*np.pi*f)
```
, bag_pack('gain', 100, 'cycles', 4)    //  dictionary of parameters
)
| render linechart 

Wskazówki dotyczące wydajności

• Zmniejsz wejściowy zestaw danych wtyczki do minimalnej wymaganej ilości (kolumny/wiersze).
  • Użyj filtrów w źródłowym zestawie danych, jeśli to możliwe, z językiem zapytań Kusto.
  • Aby wykonać obliczenie w podzestawie kolumn źródłowych, należy projektować tylko te kolumny przed wywołaniem wtyczki.
• Używaj hint.distribution = per_node za każdym razem, gdy logika w skry skryscie jest dystrybuowana.
  • Możesz również użyć operatora partycji do partycjonowania wejściowego zestawu danych.
• Jeśli to możliwe, użyj języka zapytań Kusto, aby zaimplementować logikę skryptu języka Python.

Porady dotyczące użycia

• Aby wygenerować ciągi wielowierszowe zawierające skrypt języka Python w edytorze zapytań, skopiuj skrypt języka Python z ulubionego edytora języka Python (Jupyter, Visual Studio Code, PyCharm itd.), wklej go w edytorze zapytań, a następnie ująć pełny skrypt między wierszami zawierającymi trzy kolejne backticks. Na przykład:

  ```
python code
```

• externaldata Użyj operatora , aby uzyskać zawartość skryptu przechowywanego w lokalizacji zewnętrznej, takiej jak usługa Azure Blob Storage.

Przykład

    let script = 
        externaldata(script:string)
        [h'https://kustoscriptsamples.blob.core.windows.net/samples/python/sample_script.py']
        with(format = raw);
    range x from 1 to 360 step 1
    | evaluate python(
        typeof(*, fx:double),
        toscalar(script), 
        bag_pack('gain', 100, 'cycles', 4))
    | render linechart 

Powiązana zawartość

Aby uzyskać więcej przykładów funkcji UDF korzystających z wtyczki języka Python, zobacz bibliotekę usługi Functions.