TokenizingByCharactersEstimator Класс
Определение
Важно!
Некоторые сведения относятся к предварительной версии продукта, в которую до выпуска могут быть внесены существенные изменения. Майкрософт не предоставляет никаких гарантий, явных или подразумеваемых, относительно приведенных здесь сведений.
public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>type TokenizingByCharactersEstimator = class
inherit TrivialEstimator<TokenizingByCharactersTransformer>Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)- Наследование
Комментарии
Характеристики оценщика
| Должен ли этот оценщик просмотреть данные для обучения его параметров? | Да |
| Тип данных входного столбца | Скалярный или вектор текста |
| Тип данных выходного столбца | Вектор переменной размера типа ключа . |
| Экспортируемый в ONNX | Да |
Оценщик маркеризирует символы путем разделения текста на последовательности символов с помощью скользящего окна. Во время обучения оценщик создает словарь пары "ключ-значение" с встречаными последовательностями символов.
В TokenizingByCharactersTransformer результате установки оценщика создается новый столбец с именем, указанным в параметрах имени выходного столбца, который содержит ключи последовательностей символов, которые были обнаружены во входных данных.
Ссылки на примеры использования см. в разделе "См. также".
Методы
| Fit(IDataView) |
IEstimator<TTransformer> TokenizingByCharactersTransformerдля . (Унаследовано от TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Возвращает схему SchemaShape , которая будет производиться преобразователем. Используется для распространения и проверки схемы в конвейере. |
Методы расширения
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Добавьте "контрольную точку кэширования" в цепочку оценщика. Это гарантирует, что подчиненные оценщики будут обучены на основе кэшированных данных. Рекомендуется использовать контрольную точку кэширования перед обучением, которые принимают несколько данных. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Учитывая оценщик, верните объект-оболочку, который будет вызывать делегат один раз Fit(IDataView) . Часто важно, чтобы оценщик возвращал сведения о том, что было положено, поэтому Fit(IDataView) метод возвращает специально типизированный объект, а не просто общий ITransformer. Однако в то же время часто IEstimator<TTransformer> формируются в конвейеры со многими объектами, поэтому нам может потребоваться создать цепочку оценщиков, где EstimatorChain<TLastTransformer> оценщик, для которого мы хотим получить преобразователь, похоронен где-то в этой цепочке. В этом сценарии мы можем подключить делегат, который будет вызываться после вызова соответствия. |