Migrowanie danych do konta NoSQL w usłudze Azure Cosmos DB przy użyciu narzędzia Striim

DOTYCZY: NoSQL

Obraz Striim w witrynie Azure Marketplace oferuje ciągłe przenoszenie danych w czasie rzeczywistym z magazynów danych i baz danych na platformę Azure. Podczas przenoszenia danych można wykonywać denormalizację liniową, transformację danych, włączyć analizę w czasie rzeczywistym i scenariusze raportowania danych. Możesz łatwo rozpocząć pracę z rozwiązaniem Striim, aby stale przenosić dane przedsiębiorstwa do usługi Azure Cosmos DB for NoSQL. Platforma Azure oferuje ofertę platformy handlowej, która ułatwia wdrażanie rozwiązania Striim i migrowanie danych do usługi Azure Cosmos DB.

W tym artykule pokazano, jak używać narzędzia Striim do migrowania danych z bazy danych Oracle do konta usługi Azure Cosmos DB for NoSQL.

Wymagania wstępne

• Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

• Baza danych Oracle działająca lokalnie z niektórymi danymi.

Wdrażanie rozwiązania striim marketplace

1. Zaloguj się w witrynie Azure Portal.

2. Wybierz pozycję Utwórz zasób i wyszukaj ciąg Striim w witrynie Azure Marketplace. Wybierz pierwszą opcję i utwórz.

   

3. Następnie wprowadź właściwości konfiguracji wystąpienia Striim. Środowisko Striim jest wdrażane na maszynie wirtualnej. W okienku Podstawowe wprowadź nazwę użytkownika maszyny wirtualnej, hasło maszyny wirtualnej (to hasło jest używane do SSH na maszynie wirtualnej). Wybierz szczegóły subskrypcji, grupy zasobów i lokalizacji, w których chcesz wdrożyć rozwiązanie Striim. Po zakończeniu wybierz przycisk OK.

   

4. W okienku Ustawienia klastra Striim wybierz typ wdrożenia Striim i rozmiar maszyny wirtualnej.

   Ustawienie	Wartość	Opis
   Typ wdrożenia Striim	Autonomiczne	Rozwiązanie Striim może być uruchamiane w typach wdrożenia autonomicznego lub klastra. Tryb autonomiczny wdroży serwer Striim na jednej maszynie wirtualnej i można wybrać rozmiar maszyn wirtualnych w zależności od woluminu danych. Tryb klastra wdroży serwer Striim na co najmniej dwóch maszynach wirtualnych z wybranym rozmiarem. Środowiska klastra z ponad 2 węzłami oferują automatyczną wysoką dostępność i tryb failover. W tym samouczku możesz wybrać opcję Autonomiczna. Użyj domyślnej maszyny wirtualnej o rozmiarze "Standard_F4s".
   Nazwa klastra Striim	<Striim_cluster_Name>	Nazwa klastra Striim.
   Hasło klastra Striim	<Striim_cluster_password>	Hasło dla klastra.

   Po wypełnieniu formularza wybierz przycisk OK , aby kontynuować.

5. W okienku Ustawienia dostępu Striim skonfiguruj publiczny adres IP (wybierz wartości domyślne), nazwę domeny striim, hasło administratora, którego chcesz użyć do logowania się do interfejsu użytkownika Striim. Skonfiguruj sieć wirtualną i podsieć (wybierz wartości domyślne). Po wypełnieniu szczegółów wybierz przycisk OK , aby kontynuować.

   

6. Platforma Azure zweryfikuje wdrożenie i upewni się, że wszystko wygląda dobrze; Ukończenie walidacji trwa kilka minut. Po zakończeniu walidacji wybierz przycisk OK.

7. Na koniec przejrzyj warunki użytkowania i wybierz pozycję Utwórz , aby utworzyć wystąpienie usługi Striim.

Konfigurowanie źródłowej bazy danych

W tej sekcji skonfigurujesz bazę danych Oracle jako źródło przenoszenia danych. Serwer Striim jest dostarczany ze sterownikiem Oracle JDBC używanym do nawiązywania połączenia z bazą danych Oracle. Aby odczytać zmiany ze źródłowej bazy danych Oracle, możesz użyć interfejsów API LogMiner lub XStream. Sterownik Oracle JDBC jest obecny w ścieżce klasy Java striim do odczytu, zapisu lub utrwalania danych z bazy danych Oracle.

Konfigurowanie docelowej bazy danych

W tej sekcji skonfigurujesz konto usługi Azure Cosmos DB for NoSQL jako cel przenoszenia danych.

1. Utwórz konto usługi Azure Cosmos DB for NoSQL przy użyciu witryny Azure Portal.

2. Przejdź do okienka Eksplorator danych na koncie usługi Azure Cosmos DB. Wybierz pozycję Nowy kontener , aby utworzyć nowy kontener. Załóżmy, że migrujesz produkty i zamówienia danych z bazy danych Oracle do usługi Azure Cosmos DB. Utwórz nową bazę danych o nazwie StriimDemo z kontenerem o nazwie Orders. Aprowizacja kontenera przy użyciu 1000 jednostek RU (w tym przykładzie użyto 1000 jednostek RU, ale należy użyć szacowanej przepływności dla obciążenia) i /ORDER_ID jako klucza partycji. Te wartości będą się różnić w zależności od danych źródłowych.

   

Konfigurowanie przepływu danych oracle do usługi Azure Cosmos DB

1. Przejdź do wystąpienia narzędzia Striim wdrożonego w witrynie Azure Portal. Wybierz przycisk Połącz na górnym pasku menu i na karcie SSH skopiuj adres URL w polu Logowanie przy użyciu konta lokalnego maszyny wirtualnej.

   

2. Otwórz nowe okno terminalu i uruchom polecenie SSH skopiowane z witryny Azure Portal. W tym artykule użyto terminalu w systemie MacOS. Możesz postępować zgodnie z podobnymi instrukcjami przy użyciu klienta SSH na maszynie z systemem Windows. Po wyświetleniu monitu wpisz tak , aby kontynuować, a następnie wprowadź hasło ustawione dla maszyny wirtualnej w poprzednim kroku.

   

3. W tym samym oknie terminalu uruchom ponownie serwer Striim, wykonując następujące polecenia:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Uruchomienie striim potrwa minutę. Jeśli chcesz zobaczyć stan, uruchom następujące polecenie:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teraz wróć do platformy Azure i skopiuj publiczny adres IP maszyny wirtualnej Striim.

   

6. Aby przejść do internetowego interfejsu użytkownika aplikacji Striim, otwórz nową kartę w przeglądarce i skopiuj publiczny adres IP, a następnie: 9080. Zaloguj się przy użyciu nazwy użytkownika administratora wraz z hasłem administratora określonym w witrynie Azure Portal.

   

7. Teraz pojawisz się na stronie głównej Striim. Istnieją trzy różne okienka — Pulpity nawigacyjne, Aplikacje i ŹródłoPrzegląd. Okienko Pulpity nawigacyjne umożliwia przenoszenie danych w czasie rzeczywistym i wizualizowanie ich. Okienko Aplikacje zawiera potoki danych przesyłania strumieniowego lub przepływy danych. Po prawej stronie znajduje się element SourcePreview, w którym można wyświetlić podgląd danych przed przeniesieniem.

8. Wybierz okienko Aplikacje. Na razie skoncentrujemy się na tym okienku. Istnieje wiele przykładowych aplikacji, których można użyć do zapoznania się z artykułem Striim, jednak w tym artykule utworzysz własne. Wybierz przycisk Dodaj aplikację w prawym górnym rogu.

   

9. Istnieje kilka różnych sposobów tworzenia aplikacji Striim. Wybierz pozycję Rozpocznij od szablonu , aby rozpocząć od istniejącego szablonu.

   

10. W polu Szablony wyszukiwania wpisz "Cosmos" i wybierz pozycję Cel: Azure Cosmos DB, a następnie wybierz pozycję Oracle CDC do usługi Azure Cosmos DB.

    

11. Na następnej stronie nadaj aplikacji nazwę. Możesz podać nazwę, taką jak oraToCosmosDB , a następnie wybrać pozycję Zapisz.

12. Następnie wprowadź konfigurację źródłową wystąpienia Oracle. Wprowadź wartość pola Nazwa źródła. Nazwa źródłowa jest tylko konwencją nazewnictwa aplikacji Striim. Można użyć czegoś takiego jak src_onPremOracle. Wprowadź wartości pozostałych parametrów źródłowych URL, Nazwa użytkownika, Hasło, wybierz pozycję LogMiner jako czytelnik, aby odczytać dane z oracle. Wybierz przycisk Dalej, aby kontynuować.

    

13. Narzędzie Striim sprawdzi środowisko i upewnij się, że może nawiązać połączenie ze źródłowym wystąpieniem Oracle, mieć odpowiednie uprawnienia i że usługa CDC została prawidłowo skonfigurowana. Po zweryfikowaniu wszystkich wartości wybierz pozycję Dalej.

    

14. Wybierz tabele z bazy danych Oracle, którą chcesz zmigrować. Na przykład wybierzmy tabelę Orders (Zamówienia), a następnie wybierz pozycję Next (Dalej).

    

15. Po wybraniu tabeli źródłowej można wykonywać bardziej skomplikowane operacje, takie jak mapowanie i filtrowanie. W takim przypadku utworzysz replikę tabeli źródłowej w usłudze Azure Cosmos DB. W związku z tym wybierz przycisk Dalej , aby skonfigurować element docelowy

16. Teraz skonfigurujmy element docelowy:

    • Nazwa docelowa — podaj przyjazną nazwę elementu docelowego.
    • Dane wejściowe z — z listy rozwijanej wybierz strumień wejściowy z utworzonego w źródłowej konfiguracji Oracle.
    • Kolekcje — wprowadź docelowe właściwości konfiguracji usługi Azure Cosmos DB. Składnia kolekcji to SourceSchema.SourceTable, TargetDatabase.TargetContainer. W tym przykładzie wartość to "SYSTEM". ORDERS, StriimDemo.Orders".
    • AccessKey — klucz podstawowy konta usługi Azure Cosmos DB.
    • ServiceEndpoint — identyfikator URI konta usługi Azure Cosmos DB, który można znaleźć w sekcji Klucze w witrynie Azure Portal.

    Wybierz pozycję Zapisz i dalej.

    

17. Następnie dotrzesz do projektanta przepływu, w którym możesz przeciągać i upuszczać łączniki skrzynki w celu utworzenia aplikacji przesyłania strumieniowego. W tym momencie nie wprowadzisz żadnych modyfikacji przepływu. dlatego wdróż aplikację, wybierając przycisk Wdróż aplikację.

    

18. W oknie wdrażania możesz określić, czy chcesz uruchomić niektóre części aplikacji w określonych częściach topologii wdrożenia. Ponieważ działamy w prostej topologii wdrażania za pośrednictwem platformy Azure, użyjemy opcji domyślnej.

    

19. Po wdrożeniu możesz wyświetlić podgląd strumienia, aby zobaczyć przepływ danych. Wybierz ikonę fali i obok niej gałkę oczną. Wybierz przycisk Deployed (Wdrożone) na górnym pasku menu, a następnie wybierz pozycję Start App (Uruchom aplikację).

    

20. Za pomocą czytnika CDC(Change Data Capture) funkcja Striim pobierze tylko nowe zmiany w bazie danych. Jeśli masz dane przepływające przez tabele źródłowe, zobaczysz je. Jednak ponieważ jest to tabela demonstracyjna, źródło nie jest połączone z żadną aplikacją. Jeśli używasz przykładowego generatora danych, możesz wstawić łańcuch zdarzeń do bazy danych Oracle.

21. Zobaczysz dane przepływające przez platformę Striim. Funkcja Striim pobiera również wszystkie metadane skojarzone z tabelą, co jest przydatne do monitorowania danych i upewnienia się, że dane ląduje w odpowiednim miejscu docelowym.

    

22. Na koniec zalogujmy się do platformy Azure i przejdźmy do konta usługi Azure Cosmos DB. Odśwież Eksplorator danych i zobaczysz, że dane dotarły.

    

Korzystając z rozwiązania Striim na platformie Azure, można stale migrować dane do usługi Azure Cosmos DB z różnych źródeł, takich jak Oracle, Cassandra, MongoDB i różne inne do usługi Azure Cosmos DB. Aby dowiedzieć się więcej, odwiedź witrynę internetową Striim, pobierz bezpłatną 30-dniową wersję próbną rozwiązania Striim i wszelkie problemy podczas konfigurowania ścieżki migracji za pomocą narzędzia Striim, prześlij wniosek o pomoc techniczną.

Następne kroki

• Próbujesz zaplanować pojemność migracji do usługi Azure Cosmos DB?

  • Jeśli wiesz, ile rdzeni wirtualnych i serwerów znajduje się w istniejącym klastrze bazy danych, przeczytaj o szacowaniu jednostek żądań przy użyciu rdzeni wirtualnych lub procesorów wirtualnych
  • Jeśli znasz typowe stawki żądań dla bieżącego obciążenia bazy danych, przeczytaj o szacowaniu jednostek żądań przy użyciu planisty pojemności usługi Azure Cosmos DB

• Jeśli migrujesz dane do usługi Azure Cosmos DB for NoSQL, zobacz , jak migrować dane do interfejsu API dla konta Cassandra przy użyciu rozwiązania Striim

• Monitorowanie i debugowanie danych za pomocą metryk usługi Azure Cosmos DB