De oplossingsarchitectuur verkennen

Voltooid

Voordat u aan de slag gaat, gaan we de architectuur verkennen om inzicht te krijgen in alle vereisten. Door een model in productie te brengen, moet u uw oplossing schalen en samenwerken met andere teams. Samen met de data scientists, data engineers en het infrastructuurteam hebt u besloten om de volgende aanpak te gebruiken:

• Alle gegevens worden opgeslagen in een Azure Blob Storage, die wordt beheerd door de data engineer.
• Het infrastructuurteam maakt de benodigde Azure-resources, zoals de Azure Machine Learning-werkruimte.
• De data scientist richt zich op de interne lus: het ontwikkelen en trainen van het model.
• De machine learning-engineer neemt het getrainde model en implementeert het in de buitenste lus.

Samen met het grotere team hebt u een architectuur ontworpen om machine learning-bewerkingen (MLOps) te bereiken.

Notitie

Het diagram is een vereenvoudigde weergave van een MLOps-architectuur. Als u een gedetailleerdere architectuur wilt bekijken, bekijkt u de verschillende use cases in de MLOps-oplossingsversneller (v2).

Het belangrijkste doel van de MLOps-architectuur is het maken van een robuuste en reproduceerbare oplossing. De architectuur kan als volgende worden bereikt:

1. Installatie: Maak alle benodigde Azure-resources voor de oplossing.
2. Modelontwikkeling (interne lus): de gegevens verkennen en verwerken om het model te trainen en te evalueren.
3. Continue integratie: het model verpakken en registreren.
4. Modelimplementatie (outer loop): implementeer het model.
5. Continue implementatie: test het model en promoot het naar de productieomgeving.
6. Bewaking: model- en eindpuntprestaties bewaken.

Op dit moment in uw project wordt de Azure Machine Learning-werkruimte gemaakt, worden de gegevens opgeslagen in een Azure Blob Storage en heeft het data science-team het model getraind.

U wilt overstappen van de binnenste lus en modelontwikkeling naar de buitenste lus door het model in productie te implementeren. Daarom moet u de uitvoer van het data science-team converteren naar een robuuste en reproduceerbare pijplijn in Azure Machine Learning.

Door ervoor te zorgen dat alle code wordt opgeslagen als scripts en het uitvoeren van de scripts als Azure Machine Learning-taken, is het eenvoudiger om modeltraining te automatiseren en het model in de toekomst opnieuw te trainen.

Het data science-team werkt aan modelontwikkeling. Ze geven u een Jupyter-notebook, dat de volgende taken bevat:

1. De gegevens lezen en verkennen.
2. Functie-engineering uitvoeren.
3. Train het model.
4. Evalueer het model.

Als onderdeel van de installatie heeft het infrastructuurteam het volgende gemaakt:

5. Een Azure Machine Learning-ontwikkelwerkruimte (dev) die kan worden gebruikt door het data science-team voor verkenning en experimenten.
6. Een gegevensasset in de werkruimte, die verwijst naar een map in Azure Blob Storage die de gegevens bevat.
7. Rekenresources die nodig zijn om notebooks en scripts uit te voeren.

Uw eerste taak naar MLOps is het converteren van het werk van de gegevenswetenschappers, zodat u de modelontwikkeling eenvoudig kunt automatiseren. Terwijl het data science-team in een Jupyter-notebook werkte, moet u scripts gebruiken en uitvoeren met behulp van Azure Machine Learning-taken. De invoer van de taak is de gegevensasset die is gemaakt door het infrastructuurteam, dat verwijst naar de gegevens die zich in Azure Blob Storage bevinden, die is verbonden met de Azure Machine Learning-werkruimte.