Gegevensmetrisatie in geautomatiseerde machine learning
VAN TOEPASSING OP:
Python SDK azureml v1
In dit artikel wordt uitgelegd hoe u de instellingen voor gegevensmetrisatie in Azure Machine Learning kunt aanpassen voor uw geautomatiseerde Machine Learning-experimenten (AutoML).
Functie-engineering en -featurization
Trainingsgegevens bestaan uit rijen en kolommen. Elke rij is een observatie of record en de kolommen van elke rij zijn de functies die elke record beschrijven. Normaal gesproken worden de functies die de patronen in de gegevens het beste karakteriseren, geselecteerd om voorspellende modellen te maken.
Hoewel veel van de onbewerkte gegevensvelden rechtstreeks kunnen worden gebruikt om een model te trainen, is het vaak nodig om andere (ontworpen) functies te maken die informatie bieden die beter onderscheid maakt tussen patronen in de gegevens. Dit proces wordt functie-engineering genoemd, waarbij het gebruik van domeinkennis van de gegevens wordt gebruikt om functies te maken die op hun beurt machine learning-algoritmen helpen om beter te leren.
In Azure Machine Learning worden technieken voor het schalen en normaliseren van gegevens toegepast om functie-engineering eenvoudiger te maken. Gezamenlijk worden deze technieken en deze functie-engineering featurization genoemd in geautomatiseerde machine learning-experimenten (ML).
Vereisten
In dit artikel wordt ervan uitgegaan dat u al weet hoe u een geautomatiseerd ML-experiment configureert.
Belangrijk
Voor de Python-opdrachten in dit artikel is de meest recente azureml-train-automl pakketversie vereist.
- Installeer het meest recente
azureml-train-automlpakket in uw lokale omgeving. - Zie de releaseopmerkingen voor meer informatie over het nieuwste
azureml-train-automlpakket.
Zie de volgende artikelen voor meer informatie over configuratie:
- Voor een code-first-ervaring: AutoML-training instellen met Python
- Voor een ervaring zonder code: AutoML-training zonder code instellen voor tabellaire gegevens met de gebruikersinterface van studio
Featurization configureren
In elk geautomatiseerd machine learning-experiment worden automatisch schalen en normalisatietechnieken standaard toegepast op uw gegevens. Deze technieken zijn soorten featurization die bepaalde algoritmen helpen die gevoelig zijn voor functies op verschillende schalen. U kunt meer featurization inschakelen, zoals imputatie van ontbrekende waarden, codering en transformaties.
Notitie
Stappen voor geautomatiseerde machine learning-featurisatie (zoals functienormalisatie, het verwerken van ontbrekende gegevens of het converteren van tekst naar numeriek) worden onderdeel van het onderliggende model. Wanneer u het model gebruikt voor voorspellingen, worden dezelfde featurisatiestappen die tijdens de training worden toegepast, automatisch toegepast op uw invoergegevens.
Voor experimenten die u met de Python SDK configureert, kunt u de instelling voor featurisatie in- of uitschakelen en de stappen voor het uitvoeren van functies voor uw experiment verder opgeven. Als u de Azure Machine Learning-studio gebruikt, raadpleegt u de stappen voor het inschakelen van featurization.
In de volgende tabel ziet u de geaccepteerde instellingen voor featurization in de klasse AutoMLConfig:
| Configuratie van featurization | Beschrijving |
|---|---|
"featurization": 'auto' |
Hiermee geeft u op dat, als onderdeel van voorverwerking, gegevensbeveiligings - en featurisatiestappen automatisch moeten worden uitgevoerd. Dit is de standaardinstelling. |
"featurization": 'off' |
Hiermee geeft u op dat featurization-stappen niet automatisch moeten worden uitgevoerd. |
"featurization": 'FeaturizationConfig' |
Hiermee geeft u op dat aangepaste featurization-stappen moeten worden gebruikt. Meer informatie over het aanpassen van featurization. |
Automatische featurization
De volgende tabel bevat een overzicht van technieken die automatisch worden toegepast op uw gegevens. Deze technieken worden toegepast op experimenten die zijn geconfigureerd met behulp van de SDK of de gebruikersinterface van studio. Als u dit gedrag wilt uitschakelen, stelt u "featurization": 'off' dit in uw AutoMLConfig object in.
Notitie
Als u van plan bent om uw door AutoML gemaakte modellen te exporteren naar een ONNX-model, worden alleen de functies die worden aangegeven met een sterretje ('*') ondersteund in de ONNX-indeling. Meer informatie over het converteren van modellen naar ONNX.
| Stappen voor featurisatie | Beschrijving |
|---|---|
| Hoge kardinaliteit of geen afwijkingsfuncties verwijderen* | Verwijder deze functies uit trainings- en validatiesets. Is van toepassing op functies waarbij alle waarden ontbreken, met dezelfde waarde in alle rijen of met een hoge kardinaliteit (bijvoorbeeld hashes, id's of GUID's). |
| Ontbrekende waarden invoeren* | Voor numerieke functies moet u het gemiddelde van de waarden in de kolom invoeren. Voor categorische functies moet u de meest voorkomende waarde opgeven. |
| Meer functies genereren* | Voor datum/tijd-functies: Year, Month, Day, Day of week, Day of year, Quarter, Week of the year, Hour, Minute, Second. Voor prognosetaken worden deze extra datum/tijd-functies gemaakt: ISO-jaar, Half - half jaar, Kalendermaand als tekenreeks, Week, Dag van de week als tekenreeks, Dag van kwartaal, Dag van het jaar, AM/PM (0 als uur vóór middag (12:0), 1 Anders), AM/PM als tekenreeks, Uur van de dag (basis van 12 uur) Voor tekstfuncties: termfrequentie op basis van unigrammen, bigrams en trigrammen. Meer informatie over hoe dit wordt gedaan met BERT. |
| Transformeren en coderen* | Transformeer numerieke functies met weinig unieke waarden in categorische functies. One-hot codering wordt gebruikt voor categorische functies met een lage kardinaliteit. One-hot-hash-codering wordt gebruikt voor categorische functies met hoge kardinaliteit. |
| Word-insluitingen | Een text featurizer converteert vectoren van teksttokens naar zinsvectoren met behulp van een vooraf getraind model. De insluitvector van elk woord in een document wordt samengevoegd met de rest om een documentfunctievector te produceren. |
| Clusterafstand | Hiermee traint u een k-means-clusteringmodel op alle numerieke kolommen. Produceert k nieuwe functies (één nieuwe numerieke functie per cluster) die de afstand van elke steekproef tot het zwaartepunt van elk cluster bevatten. |
In elk geautomatiseerd machine learning-experiment worden uw gegevens automatisch geschaald of genormaliseerd om algoritmen goed te laten presteren. Tijdens het trainen van modellen wordt een van de volgende schaal- of normalisatietechnieken toegepast op elk model.
| Schalen en verwerken | Beschrijving |
|---|---|
| StandardScaleWrapper | Standaardiseer functies door het gemiddelde te verwijderen en te schalen naar eenheidsvariantie. |
| MinMaxScalar | Transformeert functies door elke functie te schalen op basis van het minimum en maximum van die kolom. |
| MaxAbsScaler | Schaal elke functie op basis van de maximale absolute waarde. |
| RobustScalar | Schaalt functies op basis van hun kwantiel bereik. |
| PCA | Lineaire dimensionaliteitsvermindering met behulp van Decompositie van de gegevens om deze te projecteren op een lagere dimensionale ruimte. |
| AfgekaptSVD | Deze transformator voert lineaire dimensionaliteitsvermindering uit met behulp van afgekapte enkelvoudige waardeontleding (SVD). In tegenstelling tot PCA, centreer deze estimator de gegevens niet voordat de enkelvoudige waarde wordt gedecompositie, wat betekent dat deze efficiënt kan werken met scipy.sparse matrices. |
| SparseNormalizer | Elk voorbeeld (dat wil gezegd, elke rij van de gegevensmatrix) met ten minste één niet-nulonderdeel wordt onafhankelijk van andere monsters opnieuw geschaald, zodat de norm (l1 of l2) gelijk is aan één. |
Ingebouwde beveiligingsegels voor gegevens
Met gegevensbescherming kunt u potentiële problemen met uw gegevens identificeren (bijvoorbeeld ontbrekende waarden of onevenwichtige klassen). Ze helpen u ook corrigerende acties uit te voeren voor verbeterde resultaten.
Gegevensbeveiligingen worden toegepast:
- Voor SDK-experimenten: Wanneer de parameters
"featurization": 'auto'ofvalidation=autozijn opgegeven in uwAutoMLConfigobject - Voor studio-experimenten: Wanneer automatische featurization is ingeschakeld
U kunt de gegevensbescherming voor uw experiment bekijken:
- Door in te stellen
show_output=Truewanneer u een experiment verzendt met behulp van de SDK. - Ga in de studio naar het tabblad Gegevensbeveiliging van uw geautomatiseerde ML-uitvoering.
Statussen van gegevensbescherming
Gegevensbeveiligingen geven een van de volgende drie statussen weer:
| Toestand | Beschrijving |
|---|---|
| Geslaagd | Er zijn geen gegevensproblemen gedetecteerd en er is geen actie voor u vereist. |
| Klaar | Wijzigingen zijn toegepast op uw gegevens. We raden u aan om de corrigerende acties te bekijken die AutoML heeft uitgevoerd om ervoor te zorgen dat de wijzigingen overeenkomen met de verwachte resultaten. |
| Gewaarschuwd | Er is een gegevensprobleem gedetecteerd, maar kan niet worden opgelost. We raden u aan het probleem te herzien en op te lossen. |
Ondersteunde gegevensbeveiligingen
In de volgende tabel worden de gegevensbeveiligingen beschreven die momenteel worden ondersteund en de bijbehorende statussen die u kunt zien wanneer u uw experiment indient:
| Veiligheidsrail | Status | Voorwaarde voor trigger |
|---|---|---|
| Ontbrekende functiewaarden imputatie | Doorgegeven Gereed |
Er zijn geen ontbrekende functiewaarden gedetecteerd in uw trainingsgegevens. Meer informatie over het imputeren van ontbrekende waarden. Ontbrekende functiewaarden zijn gedetecteerd in uw trainingsgegevens en zijn toegerekend. |
| Detectie van functies voor hoge kardinaliteit | Doorgegeven Gereed |
Uw invoer is geanalyseerd en er zijn geen functies voor hoge kardinaliteit gedetecteerd. Functies voor hoge kardinaliteit zijn gedetecteerd in uw invoer en zijn verwerkt. |
| Verwerking van validatiesplitsing | Gereed | De validatieconfiguratie is ingesteld op 'auto' en de trainingsgegevens bevatten minder dan 20.000 rijen. Elke iteratie van het getrainde model is gevalideerd met behulp van kruisvalidatie. Meer informatie over validatiegegevens. De validatieconfiguratie is ingesteld op 'auto'en de trainingsgegevens bevatten meer dan 20.000 rijen. De invoergegevens zijn gesplitst in een trainingsgegevensset en een validatiegegevensset voor validatie van het model. |
| Detectie van klassenverdeling | Doorgegeven Gewaarschuwd Gereed |
Uw invoer is geanalyseerd en alle klassen worden verdeeld in uw trainingsgegevens. Een gegevensset wordt als evenwichtig beschouwd als elke klasse een goede weergave in de gegevensset heeft, zoals gemeten op aantal en verhouding van voorbeelden. Er zijn onbalansklassen gedetecteerd in uw invoer. Los het taakverdelingsprobleem op om modelvooroordelen op te lossen. Meer informatie over onevenwichtige gegevens. Er zijn onevenwichtige klassen gedetecteerd in uw invoer en de opruimende logica heeft vastgesteld dat er een balans moet worden toegepast. |
| Detectie van geheugenproblemen | Doorgegeven Gereed |
De geselecteerde waarden (horizon, vertraging, rolling window) zijn geanalyseerd en er zijn geen potentiële problemen met onvoldoende geheugen gedetecteerd. Meer informatie over configuraties voor tijdreeksprognoses. De geselecteerde waarden (horizon, vertraging, rolling window) zijn geanalyseerd en kunnen ertoe leiden dat uw experiment onvoldoende geheugen heeft. De configuraties voor vertraging of rolling-window zijn uitgeschakeld. |
| Frequentiedetectie | Doorgegeven Gereed |
De tijdreeks is geanalyseerd en alle gegevenspunten worden afgestemd op de gedetecteerde frequentie. De tijdreeks is geanalyseerd en gegevenspunten die niet overeenkomen met de gedetecteerde frequentie, zijn gedetecteerd. Deze gegevenspunten zijn verwijderd uit de gegevensset. |
| Kruisvalidatie | Gereed | Om de modellen die zijn getraind door AutoML nauwkeurig te evalueren, gebruiken we een gegevensset waarop het model niet is getraind. Als de gebruiker dus geen expliciete validatiegegevensset opgeeft, wordt een deel van de trainingsgegevensset gebruikt om dit te bereiken. Voor kleinere gegevenssets (minder dan 20.000 voorbeelden) wordt kruisvalidatie gebruikt, anders wordt één bewaringsset gesplitst van de trainingsgegevens om te fungeren als de validatiegegevensset. Daarom gebruiken we voor uw invoergegevens kruisvalidatie met 10 vouwen, als het aantal trainingsvoorbeelden minder dan 1000 is en 3 vouwen in alle andere gevallen. |
| Gegevens splitsen trainen-testen | Gereed | Om de modellen die zijn getraind door AutoML nauwkeurig te evalueren, gebruiken we een gegevensset waarop het model niet is getraind. Als de gebruiker dus geen expliciete validatiegegevensset opgeeft, wordt een deel van de trainingsgegevensset gebruikt om dit te bereiken. Voor kleinere gegevenssets (minder dan 20.000 voorbeelden) wordt kruisvalidatie gebruikt, anders wordt één bewaringsset gesplitst van de trainingsgegevens om te fungeren als de validatiegegevensset. Uw invoergegevens worden daarom gesplitst in een trainingsgegevensset en een validatiegegevensset voor bewaring. |
| Detectie van tijdreeks-id's | Doorgegeven Vast |
De gegevensset is geanalyseerd en er is geen dubbele tijdindex gedetecteerd. Er zijn meerdere tijdreeksen gevonden in de gegevensset en de tijdreeks-id's zijn automatisch gemaakt voor uw gegevensset. |
| Tijdreeksaggregatie | Doorgegeven Vast |
De frequentie van de gegevensset wordt afgestemd op de door de gebruiker opgegeven frequentie. Er is geen aggregatie uitgevoerd. De gegevens zijn samengevoegd om te voldoen aan de door de gebruiker opgegeven frequentie. |
| Verwerking van korte reeksen | Doorgegeven Vast |
Geautomatiseerde ML heeft voldoende gegevenspunten gedetecteerd voor elke reeks in de invoergegevens om door te gaan met de training. Geautomatiseerde ML heeft gedetecteerd dat sommige reeksen onvoldoende gegevenspunten bevatten om een model te trainen. Om door te gaan met trainen, zijn deze korte reeksen verwijderd of opgevuld. |
Featurization aanpassen
U kunt uw featurization-instellingen aanpassen om ervoor te zorgen dat de gegevens en functies die worden gebruikt om uw ML-model te trainen, resulteren in relevante voorspellingen.
Als u featurizations wilt aanpassen, geeft u "featurization": FeaturizationConfig dit op in uw AutoMLConfig object. Als u de Azure Machine Learning-studio voor uw experiment gebruikt, raadpleegt u het artikel instructies. Als u featurization voor taaktypen voor prognoses wilt aanpassen, raadpleegt u de instructies voor prognoses.
Ondersteunde aanpassingen zijn onder andere:
| Aanpassing | Definitie |
|---|---|
| Update van kolomdoel | Overschrijf het automatisch gedetecteerde functietype voor de opgegeven kolom. |
| Parameterupdate voor transformatieprogramma | Werk de parameters voor de opgegeven transformator bij. Ondersteunt momenteel Imputer (gemiddelde, meest frequent en mediaan) en HashOneHotEncoder. |
| Kolommen neerzetten | Hiermee geeft u kolommen die moeten worden neergezet van worden gemetraliseerd. |
| Bloktransformatoren | Hiermee geeft u bloktransformaties op die moeten worden gebruikt in het featurization-proces. |
Notitie
De functionaliteit voor neerzetkolommen is afgeschaft vanaf SDK-versie 1.19. Verwijder kolommen uit uw gegevensset als onderdeel van het opschonen van gegevens voordat u deze in uw geautomatiseerde ML-experiment gebruikt.
Maak het FeaturizationConfig object met behulp van API-aanroepen:
featurization_config = FeaturizationConfig()
featurization_config.blocked_transformers = ['LabelEncoder']
featurization_config.drop_columns = ['aspiration', 'stroke']
featurization_config.add_column_purpose('engine-size', 'Numeric')
featurization_config.add_column_purpose('body-style', 'CategoricalHash')
#default strategy mean, add transformer param for 3 columns
featurization_config.add_transformer_params('Imputer', ['engine-size'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['city-mpg'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['bore'], {"strategy": "most_frequent"})
featurization_config.add_transformer_params('HashOneHotEncoder', [], {"number_of_bits": 3})
Transparantie van featurization
Elk AutoML-model heeft automatisch featurization toegepast. Featurization omvat geautomatiseerde functie-engineering (wanneer "featurization": 'auto') en schalen en normalisatie, wat vervolgens van invloed is op het geselecteerde algoritme en de hyperparameterwaarden. AutoML ondersteunt verschillende methoden om ervoor te zorgen dat u inzicht hebt in wat er op uw model is toegepast.
Bekijk dit voorbeeld van prognose:
- Er zijn vier invoerfuncties: A (numeriek), B (numeriek), C (numeriek), D (datum/tijd).
- Numerieke functie C wordt verwijderd omdat het een id-kolom is met alle unieke waarden.
- Numerieke kenmerken A en B hebben ontbrekende waarden en worden daarom door het gemiddelde toegerekend.
- DateTime-functie D is opgenomen in 11 verschillende functies die zijn ontworpen.
Gebruik de uitvoer van uw fitted_model geautomatiseerde ML-experimentuitvoering om deze informatie op te halen.
automl_config = AutoMLConfig(…)
automl_run = experiment.submit(automl_config …)
best_run, fitted_model = automl_run.get_output()
Geautomatiseerde functie-engineering
De get_engineered_feature_names() functie retourneert een lijst met ontworpen functienamen.
Notitie
Gebruik timeseriestransformer voor task='forecasting', anders gebruikt u 'datatransformer' voor de taak 'regressie' of 'classificatie'.
fitted_model.named_steps['timeseriestransformer']. get_engineered_feature_names ()
Deze lijst bevat alle ontworpen functienamen.
['A', 'B', 'A_WASNULL', 'B_WASNULL', 'year', 'half', 'quarter', 'month', 'day', 'hour', 'am_pm', 'hour12', 'wday', 'qday', 'week']
De get_featurization_summary() functie krijgt een overzicht van alle invoerfuncties.
fitted_model.named_steps['timeseriestransformer'].get_featurization_summary()
Uitvoer
[{'RawFeatureName': 'A',
'TypeDetected': 'Numeric',
'Dropped': 'No',
'EngineeredFeatureCount': 2,
'Tranformations': ['MeanImputer', 'ImputationMarker']},
{'RawFeatureName': 'B',
'TypeDetected': 'Numeric',
'Dropped': 'No',
'EngineeredFeatureCount': 2,
'Tranformations': ['MeanImputer', 'ImputationMarker']},
{'RawFeatureName': 'C',
'TypeDetected': 'Numeric',
'Dropped': 'Yes',
'EngineeredFeatureCount': 0,
'Tranformations': []},
{'RawFeatureName': 'D',
'TypeDetected': 'DateTime',
'Dropped': 'No',
'EngineeredFeatureCount': 11,
'Tranformations': ['DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime',ateTime','DateTime','DateTime']}]
| Uitvoer | Definitie |
|---|---|
| RawFeatureName | Invoerfunctie/kolomnaam uit de opgegeven gegevensset. |
| TypeDetected | Er is een gegevenstype van de invoerfunctie gedetecteerd. |
| Gedaald | Geeft aan of de invoerfunctie is verwijderd of gebruikt. |
| EngineeringFeatureCount | Aantal functies dat wordt gegenereerd via geautomatiseerde functie-engineeringtransformaties. |
| Transformaties | Lijst met transformaties die zijn toegepast op invoerfuncties om ontworpen functies te genereren. |
Schalen en normaliseren
Als u inzicht wilt hebben in het schalen/normaliseren en het geselecteerde algoritme met de bijbehorende hyperparameterwaarden, gebruikt u fitted_model.steps.
De volgende voorbeelduitvoer wordt uitgevoerd fitted_model.steps voor een gekozen uitvoering:
[('RobustScaler',
RobustScaler(copy=True,
quantile_range=[10, 90],
with_centering=True,
with_scaling=True)),
('LogisticRegression',
LogisticRegression(C=0.18420699693267145, class_weight='balanced',
dual=False,
fit_intercept=True,
intercept_scaling=1,
max_iter=100,
multi_class='multinomial',
n_jobs=1, penalty='l2',
random_state=None,
solver='newton-cg',
tol=0.0001,
verbose=0,
warm_start=False))]
Gebruik deze helperfunctie voor meer informatie:
from pprint import pprint
def print_model(model, prefix=""):
for step in model.steps:
print(prefix + step[0])
if hasattr(step[1], 'estimators') and hasattr(step[1], 'weights'):
pprint({'estimators': list(e[0] for e in step[1].estimators), 'weights': step[1].weights})
print()
for estimator in step[1].estimators:
print_model(estimator[1], estimator[0]+ ' - ')
elif hasattr(step[1], '_base_learners') and hasattr(step[1], '_meta_learner'):
print("\nMeta Learner")
pprint(step[1]._meta_learner)
print()
for estimator in step[1]._base_learners:
print_model(estimator[1], estimator[0]+ ' - ')
else:
pprint(step[1].get_params())
print()
Deze helperfunctie retourneert de volgende uitvoer voor een bepaalde uitvoering met behulp van LogisticRegression with RobustScalar het specifieke algoritme.
RobustScaler
{'copy': True,
'quantile_range': [10, 90],
'with_centering': True,
'with_scaling': True}
LogisticRegression
{'C': 0.18420699693267145,
'class_weight': 'balanced',
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'max_iter': 100,
'multi_class': 'multinomial',
'n_jobs': 1,
'penalty': 'l2',
'random_state': None,
'solver': 'newton-cg',
'tol': 0.0001,
'verbose': 0,
'warm_start': False}
Klassekans voorspellen
Modellen die worden geproduceerd met geautomatiseerde ML hebben allemaal wrapperobjecten die functionaliteit spiegelen van hun opensource-oorsprongklasse. De meeste wrapperobjecten voor classificatiemodellen die worden geretourneerd door geautomatiseerde ML implementeren de predict_proba() functie, die een matrixachtige of sparsematrixgegevensvoorbeeld van uw functies (X-waarden) accepteert en een n-dimensionale matrix van elke steekproef en de bijbehorende klassekans retourneert.
Ervan uitgaande dat u het beste uitgevoerde en aangepaste model hebt opgehaald met behulp van dezelfde aanroepen, kunt u rechtstreeks vanuit het aangepaste model aanroepen predict_proba() , waarbij een X_test voorbeeld in de juiste indeling wordt opgegeven, afhankelijk van het modeltype.
best_run, fitted_model = automl_run.get_output()
class_prob = fitted_model.predict_proba(X_test)
Als het onderliggende model de predict_proba() functie niet ondersteunt of de indeling onjuist is, wordt er een modelklassespecifieke uitzondering gegenereerd. Zie de referentiedocumenten RandomForestClassifier en XGBoost voor voorbeelden van hoe deze functie wordt geïmplementeerd voor verschillende modeltypen.
BERT-integratie in geautomatiseerde ML
BERT wordt gebruikt in de featurization-laag van geautomatiseerde ML. Als een kolom in deze laag vrije tekst of andere typen gegevens bevat, zoals tijdstempels of eenvoudige getallen, wordt featurization dienovereenkomstig toegepast.
Het model is voor BERT afgestemd en getraind met behulp van de door de gebruiker geleverde labels. Hier worden documentinsluitingen uitgevoerd als functies naast andere functies, zoals functies op basis van tijdstempels, dag van de week.
Stappen voor het aanroepen van BERT
Als u BERT wilt aanroepen, stelt enable_dnn: True u deze in uw automl_settings en gebruikt u een GPU-rekenproces (vm_size = "STANDARD_NC6" of een hogere GPU). Als een CPU-rekenproces wordt gebruikt, schakelt AutoML in plaats van BERT de BiLSTM DNN-featurizer in.
Geautomatiseerde ML voert de volgende stappen uit voor BERT.
Voorverwerking en tokenisatie van alle tekstkolommen. De transformator is bijvoorbeeld
StringCastte vinden in het uiteindelijke overzicht van het model. In dit notebook vindt u een voorbeeld van het produceren van de overzichtssamenvatting van het model.Voeg alle tekstkolommen samen in één tekstkolom, vandaar het
StringConcatTransformerin het uiteindelijke model.Onze implementatie van BERT beperkt de totale tekstlengte van een trainingsvoorbeeld tot 128 tokens. Dat betekent dat alle tekstkolommen wanneer ze worden samengevoegd, in het ideale geval maximaal 128 tokens lang moeten zijn. Als er meerdere kolommen aanwezig zijn, moet elke kolom worden verwijderd, zodat aan deze voorwaarde wordt voldaan. Anders worden voor samengevoegde kolommen met lengte >128 tokens BERT's tokenizer-laag deze invoer afgekapt tot 128 tokens.
Als onderdeel van het opruimen van functies vergelijkt AutoML BERT met de basislijn (zak woordenfuncties) op een voorbeeld van de gegevens. Deze vergelijking bepaalt of BERT nauwkeurigheidsverbeteringen zou geven. Als BERT beter presteert dan de basislijn, gebruikt AutoML vervolgens BERT voor tekstmetralisatie voor de hele gegevens. In dat geval ziet u het
PretrainedTextDNNTransformerin het uiteindelijke model.
BERT draait over het algemeen langer dan andere featurizers. Voor betere prestaties raden we u aan om STANDARD_NC24r of STANDARD_NC24rs_V3 te gebruiken voor hun RDMA-mogelijkheden.
AutoML verdeelt BERT-training over meerdere knooppunten als deze beschikbaar zijn (maximaal acht knooppunten). U kunt dit doen in uw AutoMLConfig object door de max_concurrent_iterations parameter in te stellen op hoger dan 1.
Ondersteunde talen voor BERT in AutoML
AutoML ondersteunt momenteel ongeveer 100 talen en afhankelijk van de taal van de gegevensset kiest AutoML het juiste BERT-model. Voor Duitse gegevens gebruiken we het Duitse BERT-model. Voor Engels gebruiken we het Engelse BERT-model. Voor alle andere talen gebruiken we het meertalige BERT-model.
In de volgende code wordt het Duitse BERT-model geactiveerd, omdat de gegevenssettaal is opgegeven op deu, de drieletterige taalcode voor Duits volgens ISO-classificatie:
from azureml.automl.core.featurization import FeaturizationConfig
featurization_config = FeaturizationConfig(dataset_language='deu')
automl_settings = {
"experiment_timeout_minutes": 120,
"primary_metric": 'accuracy',
# All other settings you want to use
"featurization": featurization_config,
"enable_dnn": True, # This enables BERT DNN featurizer
"enable_voting_ensemble": False,
"enable_stack_ensemble": False
}