Efektivita výkonu pro data lakehouse
Tento článek se zabývá architektonickými principy pilíře efektivity výkonu, který odkazuje na schopnost systému přizpůsobit se změnám zatížení.
Principy efektivity výkonu
Použití bezserverových architektur
Bezserverové architektury nevyžadují, aby zákazníci provozují a udržovali výpočetní infrastrukturu v cloudu. To eliminuje provozní režii při správě cloudové infrastruktury a snižuje náklady na transakce, protože spravované služby pracují v cloudovém měřítku. Poskytují také okamžitou dostupnost, okamžité zabezpečení a vyžadují minimální konfiguraci nebo správu.
Navrhnout pracovní zátěže pro výkon
U opakujících se úloh, jako jsou datové inženýrské toky, by výkon nikdy neměl být až druhořadý. Data musí být:
- Efektivní čtení z paměti objektu.
- Efektivně transformováno.
- Efektivně publikováno k efektivnímu využití.
Většina kanálů nebo vzorců spotřeby navíc používá řetězec systémů. Aby bylo dosaženo nejlepšího možného výkonu, musí být celý řetězec považován za nejlepší a vybraný pro dosažení nejlepšího výkonu.
Provést testování výkonu v rámci vývoje
Každá vývojová úloha musí projít průběžným testováním výkonu. Testy zajišťují, že jakákoli změna základu kódu nemá nepříznivý vliv na výkon úlohy. Vytvořte pravidelný plán pro spouštění testů. Test spusťte jako součást naplánované události nebo jako součást kanálu buildu kontinuální integrace.
Stanovte standardní hodnoty výkonu a určete aktuální efektivitu úloh a podpůrné infrastruktury. Měření výkonu podle směrných plánů může poskytovat strategie pro zlepšení a určit, jestli aplikace splňuje obchodní cíle.
Identifikujte kritické body, které můžou mít vliv na výkon. Příčinou těchto kritických bodů můžou být chyby kódu nebo chybná konfigurace služby. Úzká místa se obvykle při nárůstu zatížení stávají horšími.
Monitorování výkonu
Ujistěte se, že prostředky a služby zůstanou přístupné a že výkon splňuje očekávání uživatelů nebo požadavky na úlohy. Monitorování vám může pomoct identifikovat kritické body nebo nedostatečné prostředky, optimalizovat konfigurace a zjišťovat chyby kanálu nebo úloh.