Migrieren von Daten in ein Azure Cosmos DB for Apache Cassandra-Konto mithilfe von Striim

GILT FÜR: Cassandra

Das Striim-Image aus dem Azure Marketplace ermöglicht fortlaufende Echtzeitdatenverschiebungen aus Data Warehouses und Datenbanken zu Azure. Im Zuge der Datenverschiebung können Sie eine Inline-Denormalisierung und Datentransformationen durchführen sowie die Erstellung von Echtzeitanalysen und Datenberichten ermöglichen. Mit Striim lassen sich Unternehmensdaten ganz einfach fortlaufend in Azure Cosmos DB for Apache Cassandra verschieben. Über das im Azure Marketplace verfügbare Angebot können Sie Striim mühelos bereitstellen und Daten zu Azure Cosmos DB migrieren.

In diesem Artikel wird gezeigt, wie Sie Daten mithilfe von Striim aus einer Oracle-Datenbank in ein Azure Cosmos DB for Apache Cassandra-Konto migrieren.

Voraussetzungen

• Wenn Sie kein Azure-Abonnement besitzen, erstellen Sie ein kostenloses Konto, bevor Sie beginnen.

• Eine lokal ausgeführte Oracle-Datenbank mit einigen Daten

Bereitstellen der Striim-Lösung aus dem Marketplace

1. Melden Sie sich beim Azure-Portal an.

2. Klicken Sie im Azure-Portal auf Ressource erstellen, und suchen Sie im Azure Marketplace nach Striim. Wählen Sie die erste Option und anschließend Erstellen aus.

   

3. Geben Sie als Nächstes die Konfigurationseigenschaften der Striim-Instanz ein. Die Striim-Umgebung wird auf einem virtuellen Computer bereitgestellt. Geben Sie im Bereich Grundlagen unter Benutzername des virtuellen Computers den VM-Benutzernamen und unter Kennwort des virtuellen Computers das VM-Kennwort ein. (Dieses Kennwort wird verwendet, um eine SSH-Verbindung mit dem virtuellen Computer herzustellen.) Wählen Sie Ihr Abonnement, Ihre Ressourcengruppe und den Standort aus, an dem Striim bereitgestellt werden soll. Wählen Sie anschließend OK aus.

   

4. Wählen Sie im Bereich Striim Cluster settings (Einstellungen für den Striim-Cluster) die Art der Striim-Bereitstellung und die VM-Größe aus.

   Einstellung	Wert	BESCHREIBUNG
   Art der Striim-Bereitstellung	Eigenständig	Mögliche Bereitstellungstypen für Striim sind Eigenständig und Cluster. Im eigenständigen Modus wird der Striim-Server auf einem einzelnen virtuellen Computer bereitgestellt, und Sie können die Größe der VMs abhängig von Ihrem Datenvolumen auswählen. Im Clustermodus wird der Striim-Server auf zwei oder mehr virtuellen Computern mit der gewählten Größe bereitgestellt. Clusterumgebungen mit mehr als zwei Knoten bieten automatische Hochverfügbarkeit und Failoverfunktionen. In diesem Tutorial können Sie die eigenständige Option auswählen. Verwenden Sie die standardmäßige VM-Größe „Standard_F4s“.
   Name des Striim-Clusters	<Striim_cluster_Name>	Der Name des Striim-Clusters.
   Kennwort des Striim-Clusters	<Striim_cluster_password>	Das Kennwort für den Cluster.

   Wenn Sie das Formular ausgefüllt haben, klicken Sie auf OK.

5. Konfigurieren Sie im Bereich Striim access settings (Striim-Zugriffseinstellungen) Werte für Öffentliche IP-Adresse (wählen Sie die Standardwerte aus), Domain name for Striim (Domänenname für Striim) und Administratorkennwort für die Anmeldung bei der Striim-Benutzeroberfläche. Konfigurieren Sie ein VNET und ein Subnetz. (Wählen Sie die Standardwerte aus.) Wählen Sie anschließend OK aus, um den Vorgang fortzusetzen.

   

6. Azure überprüft die Bereitstellung, um sicherzustellen, dass alles ordnungsgemäß konfiguriert wurde. Das dauert ein paar Minuten. Wählen Sie nach Abschluss der Validierung OK aus.

7. Lesen Sie abschließend die Nutzungsbedingungen, und wählen Sie Erstellen aus, um Ihre Striim-Instanz zu erstellen.

Konfigurieren der Quelldatenbank

In diesem Abschnitt konfigurieren Sie die Oracle-Datenbank als Quelle für die Datenverschiebung. Der Striim-Server enthält den Oracle JDBC-Treiber, der zum Herstellen einer Verbindung mit Oracle verwendet wird. Änderungen können entweder mit LogMiner oder mithilfe der XStream-APIs aus der Oracle-Quelldatenbank gelesen werden. Der Oracle JDBC-Treiber befindet sich im Java-Klassenpfad von Striim, um Daten aus der Oracle-Datenbank lesen, schreiben oder dauerhaft speichern zu können.

Konfigurieren der Zieldatenbank

In diesem Abschnitt konfigurieren Sie das Azure Cosmos DB for Apache Cassandra-Konto als Ziel der Datenverschiebung.

1. Erstellen Sie im Azure-Portal ein Azure Cosmos DB for Apache Cassandra-Konto.

2. Navigieren Sie in Ihrem Azure Cosmos DB-Konto zum Bereich Daten-Explorer. Wählen Sie Neue Tabelle aus, um einen neuen Container zu erstellen. Gehen Sie davon aus, dass Sie Produkt- und Auftragsdaten aus der Oracle-Datenbank zu Azure Cosmos DB migrieren. Erstellen Sie einen neuen Keyspace namens striimdemo mit dem Container „Orders“. Stellen Sie den Container mit 1.000 RUs sowie mit /ORDER_ID als Primärschlüssel bereit. (In diesem Beispiel werden 1.000 RUs verwendet, Sie sollten allerdings den voraussichtlichen Durchsatz für Ihre Workload verwenden). Diese Werte unterscheiden sich abhängig von Ihren Quelldaten.

   

Konfigurieren des Datenflusses von Oracle zu Azure Cosmos DB

1. Navigieren Sie zu der Striim-Instanz, die Sie über das Azure-Portal bereitgestellt haben. Wählen Sie auf der oberen Menüleiste die Schaltfläche Verbinden aus, und kopieren Sie auf der Registerkarte SSH die URL im Feld Mit lokalem VM-Konto anmelden.

   

2. Öffnen Sie ein neues Terminalfenster, und führen Sie den aus dem Azure-Portal kopierten SSH-Befehl aus. In diesem Artikel wird ein macOS-Terminal verwendet. Die Vorgehensweise über einen SSH-Client auf einem Windows-Computer ist jedoch ähnlich. Geben Sie bei entsprechender Aufforderung yes (Ja) und anschließend das Kennwort ein, das Sie im vorherigen Schritt für den virtuellen Computer festgelegt haben.

   

3. Starten Sie den Striim-Server über das gleiche Terminalfenster mithilfe der folgenden Befehle neu:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Der Startvorgang von Striim dauert etwas. Wenn Sie den Status anzeigen möchten, können Sie den folgenden Befehl ausführen:

   tail -f /opt/striim/logs/striim-node.log
   

5. Navigieren Sie nun wieder zu Azure, und kopieren Sie die öffentliche IP-Adresse Ihres virtuellen Striim-Computers.

   

6. Öffnen Sie in einem Browser eine neue Registerkarte, kopieren Sie die öffentliche IP-Adresse, und hängen Sie Folgendes an, um zur Webbenutzeroberfläche von Striim zu navigieren: 9080. Melden Sie sich mit dem Benutzernamen admin und dem Administratorkennwort an, das Sie im Azure-Portal angegeben haben.

   

7. Daraufhin wird die Startseite von Striim angezeigt. Dort stehen drei Bereiche zur Verfügung: Dashboards, Apps und SourcePreview (Quellvorschau). Im Bereich „Dashboards“ können Sie Daten in Echtzeit verschieben und visualisieren. Der Bereich „Apps“ enthält Ihre Streamingdatenpipelines (oder Datenflüsse). Rechts auf der Seite befindet sich „SourcePreview“ (Quellvorschau). In diesem Bereich können Sie vor dem Verschieben eine Vorschau Ihrer Daten anzeigen.

8. Wir beschäftigen uns zunächst mit dem Bereich Apps. Wählen Sie daher diesen Bereich aus. Es gibt eine Reihe von Beispiel-Apps, die Sie verwenden können, um sich mit Striim vertraut zu machen. In diesem Artikel erstellen wir jedoch eine eigene App. Wählen Sie in der rechten oberen Ecke die Schaltfläche Add App (App hinzufügen) aus.

   

9. Striim-Anwendungen können auf unterschiedliche Weise erstellt werden. Wählen Sie für dieses Szenario die Option Start from Scratch (Von Grund auf neu erstellen) aus.

   

10. Geben Sie einen Anzeigenamen für Ihre Anwendung an (beispielsweise oraToCosmosDB), und wählen Sie Save (Speichern) aus.

    

11. Im daraufhin angezeigten Datenflussdesigner können Sie vorgefertigte Connectors per Drag & Drop platzieren, um Ihre Streaminganwendungen zu erstellen. Geben Sie auf der Suchleiste den Suchbegriff Oracle ein, und platzieren Sie die Quelle Oracle CDC per Drag & Drop auf der App-Canvas.

    

12. Geben Sie die Quellkonfigurationseigenschaften Ihrer Oracle-Instanz ein. Der Quellname ist lediglich eine Namenskonvention für die Striim-Anwendung. Sie können einen Namen wie etwa src_onPremOracle verwenden. Geben Sie auch andere Details wie Adaptertyp, Verbindungs-URL, Benutzername, Kennwort und Tabellenname ein. Wählen Sie Save (Speichern) aus, um den Vorgang fortzusetzen.

    

13. Klicken Sie nun auf das Wellensymbol des Streams, um die Verbindung mit der Azure Cosmos DB-Zielinstanz herzustellen.

    

14. Stellen Sie vor dem Konfigurieren des Ziels sicher, dass Sie der Java-Umgebung von Striim ein Baltimore-Stammzertifikat hinzugefügt haben.

15. Geben Sie die Konfigurationseigenschaften Ihrer Azure Cosmos DB-Zielinstanz ein, und wählen Sie Save (Speichern) aus, um den Vorgang fortzusetzen. Dies sind die wichtigsten Parameter:

    • Adapter: Verwenden Sie DatabaseWriter. Zum Schreiben von Daten in Azure Cosmos DB for Apache Cassandra ist DatabaseWriter erforderlich. Der Cassandra-Treiber 3.6.0 ist mit Striim gebündelt. Wenn DatabaseWriter die Anzahl der für Ihren Azure Cosmos DB-Container bereitgestellten RUs überschreitet, stürzt die Anwendung ab.

    • Verbindungs-URL: Geben Sie Ihre JDBC-Verbindungs-URL für Azure Cosmos DB an. Das Format der URL ist jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true.

    • Username (Benutzername): Geben Sie den Namen Ihres Azure Cosmos DB-Kontos an.

    • Password (Kennwort): Geben Sie den Primärschlüssel Ihres Azure Cosmos DB-Kontos an.

    • Tables (Tabellen): Zieltabellen müssen über Primärschlüssel verfügen. Primärschlüssel können nicht aktualisiert werden.

    

    

16. Als Nächstes führen wir die Striim-Anwendung aus. Wählen Sie auf der oberen Menüleiste die Option Created (Erstellt) und anschließend Deploy App (App bereitstellen) aus. Im Bereitstellungsfenster können Sie angeben, ob bestimmte Teile der Anwendung auf bestimmten Komponenten Ihrer Bereitstellungstopologie ausgeführt werden sollen. Da wir hier eine einfache Azure-basierte Bereitstellungstopologie verwenden, behalten wir die Standardoption bei.

    

17. Als Nächstes sehen wir uns eine Vorschau des Streams an, um den Datenfluss in Striim zu beobachten. Klicken Sie auf das Wellensymbol und anschließend auf das daneben angezeigte Augensymbol. Nach der Bereitstellung können Sie eine Vorschau des Streams anzeigen, um den Datenfluss zu beobachten. Wählen Sie das Wellensymbol und anschließend das daneben angezeigte Augensymbol aus. Wählen Sie auf der oberen Menüleiste die Schaltfläche Deployed (Bereitgestellt) und anschließend Start App (App starten) aus.

    

18. Durch die Verwendung eines Readers vom Typ CDC (Change Data Capture) erfasst Striim nur neue Änderungen für die Datenbank. Daten, die Ihre Quelltabellen durchlaufen, werden angezeigt. Da es sich hierbei allerdings um eine Beispieltabelle handelt, ist die Quelle nicht mit einer Anwendung verbunden. Wenn Sie einen Beispieldatengenerator verwenden, können Sie eine Kette von Ereignissen in Ihre Oracle-Datenbank einfügen.

19. Daraufhin sehen Sie, wie Daten die Striim-Plattform durchlaufen. Striim erfasst auch alle Metadaten, die Ihrer Tabelle zugeordnet sind. Dies ist hilfreich, um die Daten zu überwachen und sicherzustellen, dass die Daten das richtige Ziel erreichen.

    

20. Melden Sie sich abschließend bei Azure an, und navigieren Sie zu Ihrem Azure Cosmos DB-Konto. Aktualisieren Sie den Daten-Explorer. Daraufhin sehen Sie, dass Ihre Daten eingegangen sind.

Durch Verwendung der Striim-Lösung in Azure können Sie Daten fortlaufend aus verschiedenen Quellen zu Azure Cosmos DB migrieren – etwa aus Oracle, Cassandra, MongoDB und aus verschiedenen anderen Quellen. Weitere Informationen finden Sie auf der Striim-Website. Laden Sie eine kostenlose 30-Tage-Testversion von Striim herunter, und stellen Sie im Fall von Problemen bei der Einrichtung des Migrationspfads mit Striim eine Supportanfrage.

Nächste Schritte

• Informationen zum Migrieren von Daten in Azure Cosmos DB for NoSQL finden Sie unter Migrieren von Daten in das API für Cassandra-Konto mithilfe von Striim.

• Überwachen und Debuggen mit Metriken in Azure Cosmos DB