BpeTrainer Třída
Definice
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Školitel Bpe zodpovědný za trénování modelu Bpe.
public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainertype BpeTrainer = class
inherit TrainerPublic NotInheritable Class BpeTrainer
Inherits Trainer- Dědičnost
Konstruktory
| BpeTrainer() |
Vytvořte nový objekt BpeTrainer pomocí výchozích hodnot. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Vytvořit nový BpeTrainer objekt. |
Vlastnosti
| ContinuingSubwordPrefix |
Získá předponu, která má být použita pro každé dílčí slovo, které není začátek slova. |
| EndOfWordSuffix |
Získá příponu, která má být použita pro každé podsloví, které je konec slova. |
| InitialAlphabet |
Získá seznam znaků, které se mají zahrnout do počáteční abecedy, i když není vidět v trénovací datové sadě. Pokud řetězce obsahují více než jeden znak, zachová se pouze první znak. |
| LimitAlphabet |
Získá maximální počet různých znaků, které mají být zachovány v abecedě. |
| MinFrequency |
Získá minimální frekvenci, která by měla mít pár, aby bylo možné sloučit. |
| Progress |
Nastavte, když potřebujete nahlásit průběh během trénování. (Zděděno od Trainer) |
| SpecialTokens |
Získá seznam speciálních tokenů, o kterých by model měl vědět. |
| VocabSize |
Získá velikost konečného slovníku, včetně všech tokenů a abecedy. |
Metody
| Feed(IEnumerable<String>, Func<String,IEnumerable<String>>) |
Zpracujte vstupní sekvence a předáte výsledek do modelu. |
| Train(Model) |
Proveďte vlastní trénování a aktualizujte vstupní model pomocí nových slovníků a slučuje data. |