Gegevens voorbereiden voor het afstemmen van Hugging Face-modellen
In dit artikel wordt beschreven hoe u uw gegevens voorbereidt op het verfijnen van open source grote taalmodellen met Hugging Face Transformers en Hugging Face Datasets.
Vereisten
- Databricks Runtime voor Machine Learning 13.0 of hoger. In de voorbeelden in deze handleiding worden Hugging Face-gegevenssets gebruikt die zijn opgenomen in Databricks Runtime 13.0 ML en hoger.
- Een werkruimte waarvoor Unity Catalog is ingeschakeld. U moet ook over de volgende machtigingen beschikken om gegevens naar een Unity Catalog-volume te kunnen schrijven:
- De schrijfbevoegdheid voor het volume waarnaar u bestanden wilt uploaden.
- De USE SCHEMA bevoegdheid op het bovenliggende schema.
- Het USE CATALOG-privilege in de bovenliggende catalogus.
- Belangrijke rekenresources voor het downloaden van grote gegevenssets. Het duurt meer dan een dag voordat de grote gegevensset die in het voorbeeldnotitieblok wordt gebruikt, wordt gedownload.
Gegevens laden vanuit knuffelend gezicht
Hugging Face Datasets is een Hugging Face-bibliotheek voor het openen en delen van gegevenssets voor audio-, computer vision- en NLP-taken (Natural Language Processing). Met Hugging Face datasets kunt u gegevens laden vanaf verschillende plaatsen. De datasets bibliotheek bevat hulpprogramma's voor het lezen van gegevenssets uit de Hugging Face Hub. Er zijn veel gegevenssets die kunnen worden gedownload en leesbaar vanuit de Hugging Face Hub met behulp van de load_dataset functie. Meer informatie over het laden van gegevens met Hugging Face Datasets vindt u in de documentatie over Hugging Face.
from datasets import load_dataset
dataset = load_dataset("imdb")
Sommige gegevenssets in de Hugging Face Hub bieden de grootten van gegevens die worden gedownload en gegenereerd wanneer load_dataset ze worden aangeroepen. U kunt de load_dataset_builder grootten kennen voordat u de gegevensset downloadt met load_dataset.
from datasets import load_dataset_builder
from psutil._common import bytes2human
def print_dataset_size_if_provided(*args, **kwargs):
dataset_builder = load_dataset_builder(*args, **kwargs)
if dataset_builder.info.download_size and dataset_builder.info.dataset_size:
print(f'download_size={bytes2human(dataset_builder.info.download_size)}, dataset_size={bytes2human(dataset_builder.info.dataset_size)}')
else:
print('Dataset size is not provided by uploader')
print_dataset_size_if_provided("imdb")
Zie het notebook Best practices voor het downloaden van gegevenssets van Hugging Face voor hulp bij het downloaden en voorbereiden van gegevenssets in Azure Databricks voor verschillende grootten van gegevens.
Uw training- en evaluatiegegevens opmaken
Als u uw eigen gegevens wilt gebruiken voor het verfijnen van modellen, moet u eerst uw training- en evaluatiegegevens opmaken in Spark DataFrames. Laad vervolgens de DataFrames met behulp van de hugging Face-bibliotheek datasets .
Begin met het opmaken van uw trainingsgegevens in een tabel die voldoet aan de verwachtingen van de trainer. Voor tekstclassificatie is dit een tabel met twee kolommen: een tekstkolom en een kolom met labels.
Voor het afstemmen moet u een model opgeven. Met de AutoClasses-bibliotheek voor Face Transformer hugging kunt u eenvoudig modellen en configuratie-instellingen laden, waaronder een breed scala aan voor verwerking van Auto Models natuurlijke taal.
Zo biedt transformers Hugging Face AutoModelForSequenceClassification bijvoorbeeld als modellaadprogramma voor tekstclassificatie, waarin gehele id's als categorielabels worden verwacht. Als u echter een DataFrame met tekenreekslabels hebt, moet u ook toewijzingen opgeven tussen de labels voor gehele getallen en tekenreekslabels bij het maken van het model. U kunt deze informatie als volgt verzamelen:
labels = df.select(df.label).groupBy(df.label).count().collect()
id2label = {index: row.label for (index, row) in enumerate(labels)}
label2id = {row.label: index for (index, row) in enumerate(labels)}
Maak vervolgens de gehele id's als een labelkolom met een Pandas UDF:
from pyspark.sql.functions import pandas_udf
import pandas as pd
@pandas_udf('integer')
def replace_labels_with_ids(labels: pd.Series) -> pd.Series:
return labels.apply(lambda x: label2id[x])
df_id_labels = df.select(replace_labels_with_ids(df.label).alias('label'), df.text)
Een hugging Face-gegevensset laden vanuit een Spark DataFrame
Het knuffelen van Face datasets ondersteunt het laden van Spark DataFrames met behulp van datasets.Dataset.from_spark. Zie de documentatie over Hugging Face voor meer informatie over de methode from_spark().
Als u bijvoorbeeld dataframes hebt train_df , test_df kunt u gegevenssets maken voor elk met de volgende code:
import datasets
train_dataset = datasets.Dataset.from_spark(train_df, cache_dir="/Volumes/main/default/my-volume/train")
test_dataset = datasets.Dataset.from_spark(test_df, cache_dir="/Volumes/main/default/my-volume/test")
Dataset.from_spark slaat de gegevensset op in de cache. In dit voorbeeld worden modeltrainingen voor het stuurprogramma beschreven, zodat er gegevens beschikbaar moeten worden gesteld. Omdat cache-materialisatie wordt geparallelliseerd met Behulp van Spark, moet de opgegeven cache_dir functie ook toegankelijk zijn voor alle werkrollen. Om aan deze beperkingen te voldoen, moet cache_dir een Unity Catalog-volumepad zijn.
Toegang tot het volume kan worden beheerd met Unity Catalog.
Als uw gegevensset groot is, kan het schrijven naar Unity Catalog lang duren. Als u het proces wilt versnellen, kunt u de parameter working_dir gebruiken om Hugging Face te laten datasets de gegevensset naar een tijdelijke locatie op schijf te schrijven en deze vervolgens naar Unity Catalog te verplaatsen. Als u bijvoorbeeld de SSD wilt gebruiken als een tijdelijke locatie:
import datasets
dataset = datasets.Dataset.from_spark(
train_df,
cache_dir="/Volumes/main/default/my-volume/train",
working_dir="/local_disk0/tmp/train",
)
Caching voor gegevenssets
De cache is een van de manieren om datasets de efficiëntie te verbeteren. Alle gedownloade en verwerkte gegevenssets worden opgeslagen, dus wanneer de gebruiker de tussenliggende gegevenssets moet gebruiken, worden ze rechtstreeks vanuit de cache opnieuw geladen.
De standaardcachemap van gegevenssets is ~/.cache/huggingface/datasets. Wanneer een cluster wordt beëindigd, gaan de cachegegevens ook verloren. Om het cachebestand te behouden bij beëindiging van een cluster, raadt Databricks aan de cachelocatie te wijzigen in een Unity Catalog-volumepad door de omgevingsvariabele HF_DATASETS_CACHEin te stellen:
import os
os.environ["HF_DATASETS_CACHE"] = "/Volumes/main/default/my-volume/"
Een model verfijnen
Wanneer uw gegevens klaar zijn, kunt u deze gebruiken om een Hugging Face-model af te stemmen.
Notebook: Gegevenssets downloaden van Hugging Face
Dit voorbeeldnotebook bevat aanbevolen procedures voor het gebruik van de functie Hugging Face load_dataset om gegevenssets te downloaden en voor te bereiden op Azure Databricks voor verschillende grootten van gegevens.