WordTokenizingEstimator Třída
Definice
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Tokenizuje vstupní text pomocí zadaných oddělovačů.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Dědičnost
Poznámky
Charakteristiky estimátoru
| Potřebuje tento estimátor podívat se na data, aby vytrénovala jeho parametry? | No |
| Datový typ vstupního sloupce | Skalární nebo vektor textu |
| Datový typ výstupního sloupce | Vektor proměnné velikosti textu |
| Exportovatelné do ONNX | Yes |
Výsledek WordTokenizingTransformer vytvoří nový sloupec s názvem zadaným v parametrech názvu výstupního sloupce, kde se každý vstupní řetězec mapuje na vektor podřetězců získaných rozdělením vstupního řetězce podle uživatelem definovaných oddělovačů. Znak mezery je výchozím oddělovačem.
Prázdné řetězce a řetězce obsahující pouze mezery se zahodí.
Odkazy na příklady použití najdete v části Viz také.
Metody
| Fit(IDataView) |
Tokenizuje vstupní text pomocí zadaných oddělovačů. (Zděděno od TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
SchemaShape Vrátí schéma, které bude vytvořen transformátorem. Používá se pro šíření a ověřování schématu v kanálu. |
Metody rozšíření
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Připojte k řetězci estimátoru kontrolní bod ukládání do mezipaměti. Tím zajistíte, aby podřízené estimátory byly vytrénovány proti datům uloženým v mezipaměti. Před průchodem více dat je užitečné mít kontrolní bod ukládání do mezipaměti. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Vzhledem k estimátoru vraťte zalamovací objekt, který zavolá delegáta jednou Fit(IDataView) . Často je důležité, aby odhadovač vrátil informace o tom, co bylo vhodné, což je důvod, proč Fit(IDataView) metoda vrací konkrétně typ objekt, nikoli jen obecné ITransformer. Ve stejnou dobu se však často vytvářejí do kanálů s mnoha objekty, takže možná budeme muset vytvořit řetězec estimátorů, kde EstimatorChain<TLastTransformer> je odhadovač, IEstimator<TTransformer> pro který chceme získat transformátor, zakopán někde v tomto řetězci. Pro tento scénář můžeme prostřednictvím této metody připojit delegáta, který bude volána po zavolání fit. |