Operationele uitmuntendheid voor data lakehouse
De architectuurprincipes van de operationele uitmuntendheid pijler hebben betrekking op alle operationele processen die het lakehouse actief houden. Operationele uitmuntendheid heeft betrekking op de mogelijkheid om het lakehouse efficiënt te bedienen en bespreekt hoe het lakehouse werkt, beheert en bewaakt om bedrijfswaarde te leveren.
Principes van operationele uitmuntendheid
Build- en releaseprocessen optimaliseren
Gebruik best practices voor software-engineering in uw hele lakehouse-omgeving. Bouw en release met behulp van pijplijnen voor continue integratie en continue levering voor zowel DevOps als MLOps.
Implementaties en workloads automatiseren
Het automatiseren van implementaties en workloads voor lakehouse helpt deze processen te standaardiseren, menselijke fouten te elimineren, de productiviteit te verbeteren en meer herhaalbaarheid te bieden. Dit omvat het gebruik van 'configuratie als code' om configuratiedrift te voorkomen en 'infrastructuur als code' om het inrichten van alle vereiste lakehouse- en cloudservices te automatiseren.
Voor ML moeten processen automatisering stimuleren: niet elke stap van een proces kan of moet worden geautomatiseerd. Mensen bepalen nog steeds de zakelijke vragen en sommige modellen hebben altijd menselijk toezicht nodig voordat ze worden gebruikt. Daarom is het ontwikkelingsproces primair en moet elke module in het proces indien nodig worden geautomatiseerd. Dit maakt incrementele opbouw van automatisering en aanpassing mogelijk.
bewaking, waarschuwingen en logboekregistratie instellen
Workloads in de lakehouse zijn doorgaans geïntegreerd met Databricks-platformservices en externe cloudservices, bijvoorbeeld als gegevensbronnen of -doelen. Geslaagde uitvoering kan alleen optreden als elke service in de uitvoeringsketen goed functioneert. Als dit niet het geval is, zijn bewaking, waarschuwingen en logboekregistratie belangrijk om problemen te detecteren en bij te houden en het gedrag van het systeem te begrijpen.
Capaciteit en quota beheren
Voor elke service die wordt gestart in een cloud, moet u rekening houden met limieten, zoals toegangsfrequentielimieten, het aantal exemplaren, het aantal gebruikers en de geheugenvereisten. Voordat u een oplossing ontwerpt, moeten deze limieten worden begrepen.