Cvičení: Ochrana, monitorování a ladění migrované databáze

  • 20 min

Pracujete jako vývojář databáze pro organizaci AdventureWorks. AdventureWorks prodává jízdní kola a jízdní díly přímo koncovým spotřebitelům a distributorům po dobu více než deset let. Jejich systémy ukládají informace do databáze, kterou jste dříve migrovali do Služby Azure Database for PostgreSQL.

Po provedení migrace chcete zajistit, že systém funguje dobře. Rozhodnete se použít nástroje Azure, které jsou k dispozici pro monitorování serveru. Pokud chcete zmírnit možnost pomalé doby odezvy způsobené kolizemi a latencí, rozhodnete se implementovat replikaci pro čtení. Potřebujete monitorovat výsledný systém a porovnat výsledky s architekturou flexibilního serveru.

V tomto cvičení provedete následující úlohy:

  1. Nakonfigurujte metriky Azure pro službu Azure Database for PostgreSQL.
  2. Spusťte ukázkovou aplikaci, která simuluje více uživatelů dotazující se na databázi.
  3. Prohlédněte si metriky.

Nastavení prostředí

Spuštěním těchto příkazů Azure CLI v Cloud Shellu vytvořte databázi Azure database for PostgreSQL s kopií databáze adventureworks. Poslední příkazy vytisknou název serveru.

SERVERNAME="adventureworks$((10000 + RANDOM % 99999))"
PUBLICIP=$(wget http://ipecho.net/plain -O - -q)
git clone https://github.com/MicrosoftLearning/DP-070-Migrate-Open-Source-Workloads-to-Azure.git workshop

az postgres server create \
    --resource-group <rgn>[sandbox resource group name]</rgn> \
    --name $SERVERNAME \
    --location westus \
    --admin-user awadmin \
    --admin-password Pa55w.rdDemo \
    --version 10 \
    --storage-size 5120

az postgres db create \
    --name azureadventureworks \
    --server-name $SERVERNAME \
    --resource-group <rgn>[sandbox resource group name]</rgn>

az postgres server firewall-rule create \
    --resource-group <rgn>[sandbox resource group name]</rgn> \
    --server $SERVERNAME \
    --name AllowMyIP \
    --start-ip-address $PUBLICIP --end-ip-address $PUBLICIP

PGPASSWORD=Pa55w.rdDemo psql -h $SERVERNAME.postgres.database.azure.com -U awadmin@$SERVERNAME -d postgres -f workshop/migration_samples/setup/postgresql/adventureworks/create_user.sql

PGPASSWORD=Pa55w.rd psql -h $SERVERNAME.postgres.database.azure.com -U azureuser@$SERVERNAME -d azureadventureworks -f workshop/migration_samples/setup/postgresql/adventureworks/adventureworks.sql 2> /dev/null

echo "Your PostgreSQL server name is:\n"
echo $SERVERNAME.postgres.database.azure.com

Konfigurace metrik Azure pro službu Azure Database for PostgreSQL

  1. Ve webovém prohlížeči otevřete novou kartu a přejděte na web Azure Portal.

  2. Na webu Azure Portal vyberte Všechny prostředky.

  3. Vyberte název serveru Azure Database for PostgreSQL počínaje adventureworks.

  4. V oblasti Monitorování vyberte Metriky.

  5. Na stránce grafu přidejte následující metriku:

    Vlastnost Hodnota
    Obor adventureworks[nnn]
    Obor názvů metriky Standardní metriky serveru PostgreSQL
    Metrika Aktivní Připojení iony
    Agregace Průměrná

    Tato metrika zobrazuje průměrný počet připojení provedených k serveru každou minutu.

  6. Vyberte Přidat metriku a přidejte následující metriku:

    Vlastnost Hodnota
    Obor adventureworks[nnn]
    Obor názvů metriky Standardní metriky serveru PostgreSQL
    Metrika Procento procesoru
    Agregace Průměrná

  7. Vyberte Přidat metriku a přidejte následující metriku:

    Vlastnost Hodnota
    Obor adventureworks[nnn]
    Obor názvů metriky Standardní metriky serveru PostgreSQL
    Metrika Procento paměti
    Agregace Průměrná

  8. Vyberte Přidat metriku a přidejte následující metriku:

    Vlastnost Hodnota
    Obor adventureworks[nnn]
    Obor názvů metriky Standardní metriky serveru PostgreSQL
    Metrika Procento vstupně-výstupních operací
    Agregace Průměrná

    Tyto poslední tři metriky ukazují, jak testovací aplikace spotřebovává prostředky.

  9. Nastavte časový rozsah grafu na Posledních 30 minut.

  10. Vyberte Připnout na řídicí panel a pak vyberte Připnout.

Spuštění ukázkové aplikace, která simuluje více uživatelů dotazující se na databázi

  1. Na webu Azure Portal na stránce vašeho serveru Azure Database for PostgreSQL v části Nastavení vyberte Připojení ionOvé řetězce. Zkopírujte do schránky připojovací řetězec pro ADO.NET.

  2. Přejděte do složky ~/workshop/migration_samples/code/postgresql/AdventureWorksSoakTest .

    cd ~/workshop/migration_samples/code/postgresql/AdventureWorksSoakTest

  3. Otevřete soubor App.config pomocí editoru kódu:

    code App.config

  4. Nahraďte hodnotu Database azureadventureworks a nahraďte ConectionString0 připojovací řetězec ze schránky. Změňte ID uživatele na azureuser@adventureworks[nnn] a nastavte heslo na Pa55w.rd. Dokončený soubor by měl vypadat podobně jako v následujícím příkladu:

    <?xml version="1.0" encoding="utf-8" ?>
<configuration>
    <appSettings>
        <add key="ConnectionString0" value="Server=adventureworks101.postgres.database.azure.com;Database=azureadventureworks;Port=5432;User Id=azureuser@adventureworks101;Password=Pa55w.rd;Ssl Mode=Require;" />
        <add key="ConnectionString1" value="INSERT CONNECTION STRING HERE" />
        <add key="ConnectionString2" value="INSERT CONNECTION STRING HERE" />
        <add key="NumClients" value="100" />
        <add key="NumReplicas" value="1"/>
    </appSettings>
</configuration>

    Poznámka:

    Prozatím ignorujte nastavení Připojení ionString1 a Připojení ionString2. Tyto položky budete aktualizovat později v testovacím prostředí.

  5. Uložte změny a zavřete editor.

  6. Na příkazovém řádku Cloud Shellu spusťte následující příkaz, který sestaví a spustí aplikaci:

    dotnet run

    Když se aplikace spustí, vytvoří několik vláken, přičemž každé vlákno simuluje uživatele. Vlákna provádějí smyčku se spuštěnou řadou dotazů. Zobrazí se například zprávy, které se zobrazují níže:

    Client 48 : SELECT * FROM purchasing.vendor
Response time: 630 ms

Client 48 : SELECT * FROM sales.specialoffer
Response time: 702 ms

Client 43 : SELECT * FROM purchasing.vendor
Response time: 190 ms

Client 57 : SELECT * FROM sales.salesorderdetail
Client 68 : SELECT * FROM production.vproductanddescription
Response time: 51960 ms

Client 55 : SELECT * FROM production.vproductanddescription
Response time: 160212 ms

Client 59 : SELECT * FROM person.person
Response time: 186026 ms

Response time: 2191 ms

Client 37 : SELECT * FROM person.person
Response time: 168710 ms

    Během provádění dalších kroků nechte aplikaci spuštěnou.

Zobrazení metrik

  1. Vraťte se na Azure Portal.

  2. V levém podokně vyberte Řídicí panel.

    Měl by se zobrazit graf zobrazující metriky pro vaši službu Azure Database for PostgreSQL.

  3. Výběrem grafu ho otevřete v podokně Metriky .

  4. Nechte aplikaci běžet několik minut (čím déle je to lepší). Po uplynutí času by se metriky v grafu měly podobat vzoru znázorněnému na následujícím obrázku:

    Image showing the metrics gathered while the sample app is running

    Tento graf zvýrazňuje následující body:

    • Procesor běží v plné kapacitě; Využití dosahuje velmi rychle 100 %.
    • Pomalu roste počet připojení. Ukázková aplikace je navržená tak, aby spustila 101 klientů v rychlém sledu, ale server se může vypořádat pouze s otevřením několika připojení najednou. Počet připojení přidaných v jednotlivých "krocích" v grafu se zmenšuje a čas mezi "kroky" se zvyšuje. Po přibližně 45 minutách byl systém schopný navázat pouze 70 klientských připojení.
    • Využití paměti se v průběhu času konzistentně zvyšuje.
    • Využití vstupně-výstupních operací se blíží nule. Všechna data požadovaná klientskými aplikacemi jsou aktuálně uložená v mezipaměti.

    Pokud aplikaci necháte dostatečně dlouhou, zobrazí se připojení, která začínají selhávat, s chybovými zprávami zobrazenými na následujícím obrázku.

    Image showing the connection errors that can occur when the server has insufficient resources available

  5. V Cloud Shellu stisknutím klávesy Enter aplikaci zastavte.

Konfigurace serveru pro shromažďování dat o výkonu dotazů

  1. Na webu Azure Portal na stránce vašeho serveru Azure Database for PostgreSQL v části Nastavení vyberte Parametry serveru.

  2. Na stránce Parametry serveru nastavte následující parametry na hodnoty uvedené v následující tabulce.

    Parametr Hodnota
    pg_qs.max_query_text_length 6000
    pg_qs.query_capture_mode ALL
    pg_qs.replace_parameter_placeholders NA
    pg_qs.retention_period_in_days 7
    pg_qs.track_utility NA
    pg_stat_statements.track ALL
    pgms_wait_sampling.history_period 100
    pgms_wait_sampling.query_capture_mode ALL

  3. Zvolte Uložit.

Prozkoumání dotazů spuštěných aplikací pomocí úložiště dotazů

  1. Vraťte se do Cloud Shellu a restartujte ukázkovou aplikaci:

    dotnet run

    Než budete pokračovat, nechte aplikaci běžet po dobu 5 minut nebo tak.

  2. Nechte aplikaci spuštěnou a přepněte na web Azure Portal.

  3. Na stránce vašeho serveru Azure Database for PostgreSQL v části Inteligentní výkon vyberte Query Performance Insight.

  4. Na stránce Query Performance Insight na kartě Dlouhotrvající dotazy nastavte počet dotazů na hodnotu 10, nastavte hodnotu Vybráno na průměr a nastavte časové období na posledních 6 hodin.

  5. Nad grafem vyberte Lupa (ikona lupy se znaménkem +) několikrát, abyste se vrátili k nejnovějším datům.

    V závislosti na tom, jak dlouho necháte aplikaci běžet, uvidíte graf podobný následujícímu grafu. Úložiště dotazů agreguje statistiky pro dotazy každých 15 minut, takže každý pruh zobrazuje relativní čas spotřebovaný jednotlivými dotazy v každém 15minutovém období:

    Image showing the statistics for long running queries captured by using Query Store

  6. Najeďte myší na jednotlivé pruhy a zobrazte statistiky pro dotazy v daném časovém období. Tři dotazy, které systém tráví většinu času prováděním, jsou:

    SELECT * FROM sales.salesorderdetail
SELECT * FROM sales.salesorderheader
SELECT * FROM person.person

    Tyto informace jsou užitečné pro správce, který monitoruje systém. Díky přehledu o dotazech, které uživatelé a aplikace provozují, můžete porozumět úlohám, které provádějí, a případně poskytnout vývojářům aplikací doporučení, jak mohou zlepšit svůj kód. Je třeba, aby aplikace načetla všech 121 000+ řádků z tabulky sales.salesorderdetail ?

Prozkoumání všech čekání, ke kterým dochází, pomocí úložiště dotazů

  1. Vyberte kartu Statistika čekání.

  2. Nastavte časové období na posledních 6 hodin, nastavte seskupit podle na Událost a nastavte maximální počet skupin na 5.

    Stejně jako na kartě Dlouhotrvající dotazy se data agregují každých 15 minut. Tabulka pod grafem ukazuje, že systém byl předmětem dvou typů událostí čekání:

    • Klient: ClientWrite. K této události čekání dochází, když server zapisuje data (výsledky) zpět do klienta. Nezoznačuje čekání vzniklé při zápisu do databáze.
    • Klient: ClientRead. K této události čekání dochází v případě, že server čeká na čtení dat (dotazování požadavků nebo jiných příkazů) z klienta. Není spojený s časem stráveným čtením z databáze.

    Image showing the wait statistics captured by using Query Store

    Poznámka:

    Čtení a zápisy do databáze jsou označené vstupně-výstupními událostmi místo událostí klienta. Ukázková aplikace nečeká žádné vstupně-výstupní operace, protože všechna data, která vyžaduje, jsou uložená v mezipaměti po prvním čtení. Pokud metriky ukázaly, že paměť je nízká, pravděpodobně se začnou objevovat události čekání vstupně-výstupních operací.

  3. Vraťte se do Cloud Shellu a stisknutím klávesy Enter zastavte ukázkovou aplikaci.

Přidání replik do služby Azure Database for PostgreSQL

  1. Na webu Azure Portal na stránce vašeho serveru Azure Database for PostgreSQL v části Nastavení vyberte Replikace.

  2. Na stránce Replikace vyberte + Přidat repliku.

  3. Na stránce serveru PostgreSQL zadejte do pole Název serveru adventureworks[nnn]-replica1 a pak vyberte OK.

  4. Po vytvoření první repliky (bude trvat několik minut), zopakujte předchozí krok a přidejte další repliku s názvem adventureworks[nnn]-replica2.

  5. Než budete pokračovat, počkejte, až se stav obou replik změní z nasazení do dostupné .

    Image showing the Replication page for Azure Database for PostgreSQL. Two replicas have been added.

Konfigurace replik pro povolení klientského přístupu

  1. Vyberte název repliky adventureworks[nnn]-replica1 . Přejdete na stránku pro stránku Azure Database for PostgreSQL pro tuto repliku.
  2. V části Nastavení vyberte zabezpečení Připojení.
  3. Na stránce zabezpečení Připojení ion nastavte Možnost Povolit přístup ke službám Azure na ZAPNUTO a pak vyberte Uložit. Toto nastavení umožňuje aplikacím, které spouštíte pomocí Cloud Shellu, přístup k serveru.
  4. Po uložení nastavení opakujte předchozí kroky a povolte službám Azure přístup k replikě adventureworks[nnn]-replica2 .

Restartujte každý server.

Poznámka:

Konfigurace replikace nevyžaduje restartování serveru. Účelem této úlohy je vymazat paměť a všechna nadbytečná připojení z každého serveru, aby byly metriky shromážděné při opětovném spuštění aplikace čisté.

  1. Přejděte na stránku pro server adventureworks[nnn].
  2. Na stránce Přehled vyberte Restartovat.
  3. V dialogovém okně Restartovat server vyberte Ano.
  4. Než budete pokračovat, počkejte, než se server restartuje.
  5. Podle stejného postupu restartujte servery adventureworks[nnn]-replica1 a adventureworks[nnn]-replica2 .

Překonfigurujte ukázkovou aplikaci tak, aby používala repliky.

  1. V Cloud Shellu upravte soubor App.config.

    code App.config

  2. Přidejte připojovací řetězce pro nastavení Připojení ionString1 a Připojení ionString2. Tyto hodnoty by měly být stejné jako hodnoty Připojení ionString0, ale s textem adventureworks[nnn] nahrazeny adventureworks[nnn]-replica1 a adventureworks[nnn]-replica2 v elementech Server a ID uživatele.

  3. Nastavte nastavení NumReplicas na hodnotu 3.

    Soubor App.config by teď měl vypadat nějak takto:

    <configuration>
    <appSettings>
        <add key="ConnectionString0" value="Server=adventureworks101.postgres.database.azure.com;Database=azureadventureworks;Port=5432;User Id=azureuser@adventureworks101;Password=Pa55w.rd;Ssl Mode=Require;" />
        <add key="ConnectionString1" value="Server=adventureworks101-replica1.postgres.database.azure.com;Database=azureadventureworks;Port=5432;User Id=azureuser@adventureworks101-replica1;Password=Pa55w.rd;Ssl Mode=Require;" />
        <add key="ConnectionString2" value="Server=adventureworks101-replica2.postgres.database.azure.com;Database=azureadventureworks;Port=5432;User Id=azureuser@adventureworks101-replica2;Password=Pa55w.rd;Ssl Mode=Require;" />
        <add key="NumClients" value="100" />
        <add key="NumReplicas" value="3"/>
    </appSettings>
</configuration>

  4. Uložte soubor a zavřete editor.

  5. Spusťte aplikaci znovu:

    dotnet run

    Aplikace se spustí jako předtím. Tentokrát se však požadavky distribuují napříč třemi servery.

  6. Než budete pokračovat, nechte aplikaci běžet několik minut.

Monitorování aplikace a sledování rozdílů v metrikách výkonu

  1. Nechte aplikaci spuštěnou a vraťte se na web Azure Portal.

  2. V levém podokně vyberte Řídicí panel.

  3. Výběrem grafu ho otevřete v podokně Metriky .

    Nezapomeňte, že tento graf zobrazuje metriky pro server adventureworks*[nnn]*, ale ne repliky. Zatížení každé repliky by mělo být velmi stejné.

    Ukázkový graf znázorňuje metriky shromážděné pro aplikaci za 30 minut od spuštění. Graf ukazuje, že využití procesoru bylo stále vysoké, ale využití paměti bylo nižší. Systém navíc po přibližně 25 minutách navazoval připojení pro více než 30 připojení. Nemusí to vypadat jako příznivé porovnání s předchozí konfigurací, která podporovala 70 připojení po 45 minutách. Úloha se ale teď rozprostřela mezi tři servery, které fungovaly na stejné úrovni a všechna 101 připojení byla vytvořena. Systém navíc dokázal pokračovat v provozu, aniž by hlásil selhání připojení.

    Image showing the metrics for the Azure Database for PostgreSQL server while running the application, after replication was configured

    Problém s využitím procesoru můžete vyřešit vertikálním navýšením kapacity na vyšší cenovou úroveň s větším počtem jader procesoru. Ukázkový systém použitý v tomto testovacím prostředí běží s cenovou úrovní Basic se 2 jádry. Přechod na cenovou úroveň Pro obecné účely vám poskytne až 64 jader.

  4. Vraťte se do Cloud Shellu a stisknutím klávesy Enter aplikaci zastavte.

Teď jste viděli, jak monitorovat aktivitu serveru pomocí nástrojů dostupných na webu Azure Portal. Dozvěděli jste se také, jak nakonfigurovat replikaci a jak vytváření replik jen pro čtení dokáže distribuovat úlohy ve scénářích s daty náročnými na čtení.