Příprava a obsluha funkcí

Tato stránka popisuje možnosti inženýrství funkcí a funkčního nasazení pro pracovní prostory, které jsou povolené pro katalog Unity. Pokud váš pracovní prostor není nakonfigurovaný pro katalog Unity, přečtěte si téma úložiště funkcí pracovního prostoru (starší verze).

Proč používat Databricks jako úložiště funkcí?

S platformou Databricks Data Intelligence Platform probíhá celý pracovní postup trénování modelu na jedné platformě:

• Datové kanály, které ingestují nezpracovaná data, vytvářejí tabulky funkcí, trénují modely a provádějí dávkové odvozování. Při trénování a protokolování modelu pomocí inženýrství vlastností v katalogu Unity je model zabalován s metadaty vlastností. Když použijete model pro dávkové vyhodnocování nebo online odvozování, automaticky načte hodnoty funkcí. Volající nemusí znát podrobnosti o funkcích ani zahrnovat logiku pro jejich vyhledávání či spojování při určování skóre nových dat.
• Model a funkce obsluhující koncové body, které jsou dostupné jediným kliknutím a poskytují latenci v milisekundách
• Monitorování dat a modelů

Kromě toho platforma poskytuje následující:

• Zjišťovánífunkcích Funkce můžete procházet a vyhledávat v uživatelském rozhraní Databricks.
• Zásady správného řízení. Tabulky funkcí, funkce a modely se řídí katalogem Unity. Při trénování modelu dědí oprávnění z dat, na která byla natrénována.
• Rodokmen. Když v Azure Databricks vytvoříte tabulku funkcí, uloží se a zpřístupní zdroje dat použité k vytvoření tabulky funkcí. Pro každou funkci v tabulce funkcí máte také přístup k modelům, poznámkovým blokům, úlohám a koncovým bodům, které tuto funkci používají.
• Přístup mezi pracovními prostory Tabulky funkcí, funkce a modely jsou automaticky dostupné v jakémkoli pracovním prostoru, který má přístup k katalogu.

Požadavky

• Pro katalog Unity musí být povolený váš pracovní prostor.
• Inženýrství funkcí v katalogu Unity vyžaduje Databricks Runtime 13.3 LTS nebo vyšší.

Pokud váš pracovní prostor tyto požadavky nesplňuje, přečtěte si téma úložiště funkcí pracovního prostoru (starší verze), jak používat starší úložiště funkcí pracovního prostoru.

Jak funguje příprava funkcí na Databricks?

Typický pracovní postup strojového učení s využitím přípravy funkcí v Databricks se řídí tímto způsobem:

1. Napište kód pro převod nezpracovaných dat na funkce a vytvořte datový rámec Sparku obsahující požadované funkce.
2. Vytvořte tabulku Delta v katalogu Unity. Libovolná tabulka Delta s primárním klíčem je automaticky tabulkou funkcí.
3. Trénování a protokolování modelu pomocí tabulky funkcí Když to uděláte, uloží model specifikace funkcí používaných pro trénování. Když se model používá k odvozování, automaticky spojí funkce z příslušných tabulek funkcí.
4. Registrace modelu v registru modelů

Model teď můžete použít k předpovědím nových dat. V případě dávkového použití model automaticky načte funkce, které potřebuje, z úložiště funkcí.

Pro případy využití v reálném čase publikujte atributy do online tabulky. Podporují se také online obchody třetích stran. Podívejte se na online obchody třetích stran.

V době odvozování model čte předem vypočítané funkce z online obchodu a spojí je s daty poskytnutými v požadavku klienta na koncový bod obsluhující model.

Začínáme používat přípravu funkcí – ukázkové poznámkové bloky

Pokud chcete začít, vyzkoušejte tyto ukázkové poznámkové bloky. Základní poznámkový blok vás provede postupem vytvoření tabulky funkcí, jeho použití k trénování modelu a následnému dávkovému vyhodnocování pomocí automatického vyhledávání funkcí. Seznámí vás také s uživatelským rozhraním pro přípravu funkcí a ukáže, jak ho můžete použít k vyhledávání funkcí a pochopení toho, jak se vytvářejí a používají funkce.

Ukázkový poznámkový blok katalogu Unity se základní úpravou funkcí

Získejte poznámkový blok

Ukázkový poznámkový blok taxi znázorňuje proces vytváření funkcí, jejich aktualizace a jejich použití pro trénování modelu a dávkové odvozování.

Úlohy strojového učení v ukázkovém poznámkovém bloku pro modelování funkcí (Feature Engineering) na příkladu taxislužby v katalogu Unity

Získejte poznámkový blok

Podporované datové typy

Inženýrství funkcí v katalogu Unity a starší verze úložiště funkcí ve Workspace podporují následující datové typy PySpark :

• IntegerType
• FloatType
• BooleanType
• StringType
• DoubleType
• LongType
• TimestampType
• DateType
• ShortType
• ArrayType
• BinaryType [1]
• DecimalType [1]
• MapType [1]
• StructType [2]

[1] BinaryType, DecimalTypea MapType jsou podporovány ve všech verzích zpracování funkcí v katalogu Unity a v úložišti funkcí v pracovním prostoru verze 0.3.5 nebo vyšší. [2] StructType je podporován v sadě Feature Engineering verze 0.6.0 nebo vyšší.

Datové typy uvedené výše podporují typy funkcí, které jsou běžné v aplikacích strojového učení. Příklad:

• Můžete ukládat zhuštěné vektory, tensory a vkládání jako ArrayType.
• Můžete ukládat řídké vektory, tensory a vkládání jako MapType.
• Text můžete uložit jako StringType.

Při publikování do online obchodů ArrayType a MapType funkce se ukládají ve formátu JSON.

Uživatelské rozhraní úložiště funkcí zobrazuje metadata u datových typů funkcí:

Více informací

Další informace o osvědčených postupech najdete v tématu Komplexní průvodce obchody s funkcemi.