Dela via

Migrera data till Azure Cosmos DB för Apache Cassandra-konto med Striim

  • Artikel

GÄLLER FÖR: Kassandra

Striim-avbildningen på Azure Marketplace erbjuder kontinuerlig dataflytt i realtid från informationslager och databaser till Azure. När du flyttar data kan du utföra in-line avnormalisering, datatransformering, aktivera realtidsanalys och datarapporteringsscenarier. Det är enkelt att komma igång med Striim för att kontinuerligt flytta företagsdata till Azure Cosmos DB för Apache Cassandra. Azure tillhandahåller ett marketplace-erbjudande som gör det enkelt att distribuera Striim och migrera data till Azure Cosmos DB.

Den här artikeln visar hur du använder Striim för att migrera data från en Oracle-databas till ett Azure Cosmos DB för Apache Cassandra-konto.

Förutsättningar

Distribuera lösningen för Striim Marketplace

  1. Logga in på Azure-portalen.

  2. Välj Skapa en resurs och sök efter Striim på Azure Marketplace. Välj det första alternativet och Skapa.

    Hitta Striim Marketplace-objekt

  3. Ange sedan konfigurationsegenskaperna för Striim-instansen. Striim-miljön distribueras på en virtuell dator. I fönstret Grundläggande anger du användarnamnet för den virtuella datorn, lösenordet för den virtuella datorn (det här lösenordet används för att SSH till den virtuella datorn). Välj din prenumeration, resursgrupp och platsinformation där du vill distribuera Striim. När du är klar väljer du OK.

    Konfigurera grundläggande inställningar för Striim

  4. I fönstret Striim-klusterinställningar väljer du typen av Striim-distribution och storleken på den virtuella datorn.

    Inställning Värde beskrivning
    Striim-distributionstyp Fristående Striim kan köras i en fristående distributionstyp eller klusterdistributionstyper . Fristående läge distribuerar Striim-servern på en enda virtuell dator och du kan välja storleken på de virtuella datorerna beroende på din datavolym. Klusterläget distribuerar Striim-servern på två eller flera virtuella datorer med den valda storleken. Klustermiljöer med fler än 2 noder erbjuder automatisk hög tillgänglighet och redundans.

    I den här självstudien kan du välja fristående alternativ. Använd den virtuella datorn med standardstorleken "Standard_F4s".
    Namnet på Striim-klustret <Striim_cluster_Name> Namnet på Striim-klustret.
    Striim-klusterlösenord <Striim_cluster_password> Lösenord för klustret.

    När du har fyllt i formuläret väljer du OK för att fortsätta.

  5. I fönstret Striim-åtkomstinställningar konfigurerar du den offentliga IP-adressen (välj standardvärdena), Domännamn för Striim, administratörslösenord som du vill använda för att logga in på Striim-användargränssnittet. Konfigurera ett VNET och undernät (välj standardvärdena). När du har fyllt i informationen väljer du OK för att fortsätta.

    Inställningar för Striim-åtkomst

  6. Azure verifierar distributionen och ser till att allt ser bra ut. validering tar några minuter att slutföra. När valideringen har slutförts väljer du OK.

  7. Granska slutligen användningsvillkoren och välj Skapa för att skapa din Striim-instans.

Konfigurera källdatabasen

I det här avsnittet konfigurerar du Oracle-databasen som källa för dataflytt. Striim-servern levereras med Oracle JDBC-drivrutinen som används för att ansluta till Oracle. Om du vill läsa ändringar från oracle-källdatabasen kan du antingen använda LogMiner eller XStream-API:erna. Oracle JDBC-drivrutinen finns i Striims Java-klasssökväg för att läsa, skriva eller spara data från Oracle-databasen.

Konfigurera måldatabas

I det här avsnittet konfigurerar du Azure Cosmos DB för Apache Cassandra-kontot som mål för dataflytt.

  1. Skapa ett Azure Cosmos DB för Apache Cassandra-konto med hjälp av Azure Portal.

  2. Gå till fönstret Datautforskaren i ditt Azure Cosmos DB-konto. Välj Ny tabell för att skapa en ny container. Anta att du migrerar produkter och beställer data från Oracle-databasen till Azure Cosmos DB. Skapa ett nytt nyckelområde med namnet StriimDemo med en ordercontainer. Etablera containern med 1 000 RU:er (i det här exemplet används 1 000 RU:er, men du bör använda dataflödet som uppskattas för din arbetsbelastning) och /ORDER_ID som primärnyckel. Dessa värden varierar beroende på dina källdata.

    Skapa API för Cassandra-konto

Konfigurera Oracle till Azure Cosmos DB-dataflöde

  1. Gå till den Striim-instans som du distribuerade i Azure Portal. Välj knappen Anslut i den övre menyraden och kopiera URL:en i fältet Inloggning med lokalt konto för virtuell dator från fliken SSH.

    Hämta SSH-URL:en

  2. Öppna ett nytt terminalfönster och kör SSH-kommandot som du kopierade från Azure Portal. Den här artikeln använder terminalen i en macOS. Du kan följa liknande instruktioner med hjälp av en SSH-klient på en Windows-dator. När du uppmanas till det skriver du ja för att fortsätta och anger lösenordet som du har angett för den virtuella datorn i föregående steg.

    Ansluta till en virtuell Striim-dator

  3. Starta om Striim-servern från samma terminalfönster genom att köra följande kommandon:

    systemctl stop striim-node
systemctl stop striim-dbms
systemctl start striim-dbms
systemctl start striim-node

  4. Det tar en minut att starta Striim. Om du vill se statusen kör du följande kommando:

    tail -f /opt/striim/logs/striim-node.log

  5. Gå nu tillbaka till Azure och kopiera den offentliga IP-adressen för den virtuella Striim-datorn.

    Kopiera IP-adress för virtuell Striim-dator

  6. Om du vill navigera till Striims webbgränssnitt öppnar du en ny flik i en webbläsare och kopierar den offentliga IP-adressen följt av: 9080. Logga in med hjälp av administratörsanvändarnamnet, tillsammans med det administratörslösenord som du angav i Azure Portal.

    Logga in på Striim

  7. Nu kommer du till Striims startsida. Det finns tre olika fönster – instrumentpaneler, appar och SourcePreview. I fönstret Instrumentpaneler kan du flytta data i realtid och visualisera dem. Fönstret Appar innehåller dina strömmande datapipelines eller dataflöden. Till höger på sidan finns SourcePreview där du kan förhandsgranska dina data innan du flyttar dem.

  8. Välj fönstret Appar . Nu fokuserar vi på det här fönstret. Det finns en mängd olika exempelappar som du kan använda för att lära dig mer om Striim, men i den här artikeln skapar du våra egna. Välj knappen Lägg till app i det övre högra hörnet.

    Lägg till Striim-appen

  9. Det finns några olika sätt att skapa Striim-program. Välj Starta från början för det här scenariot.

    Starta appen från grunden

  10. Ge programmet ett eget namn, ungefär som oraToCosmosDB och välj Spara.

    Skapa ett nytt program

  11. Du kommer till Flow Designer, där du kan dra och hoppa ur boxanslutningarna för att skapa dina strömmande program. Skriv Oracle i sökfältet, dra och släpp Oracle CDC-källan på apparbetsytan.

    Oracle CDC-källa

  12. Ange källkonfigurationsegenskaperna för oracle-instansen. Källnamnet är bara en namngivningskonvention för Striim-programmet. Du kan använda ett namn som src_onPremOracle. Ange även annan information som adaptertyp, anslutnings-URL, användarnamn, lösenord, tabellnamn. Välj Spara för att fortsätta.

    Konfigurera källparametrar

  13. Klicka nu på vågikonen för strömmen för att ansluta Azure Cosmos DB-målinstansen.

    Ansluta till målet

  14. Innan du konfigurerar målet måste du ha lagt till ett Baltimore-rotcertifikat i Striims Java-miljö.

  15. Ange konfigurationsegenskaperna för din Azure Cosmos DB-målinstans och välj Spara för att fortsätta. Här är de viktigaste parametrarna att notera:

    • Adapter – Använd DatabaseWriter. När du skriver till Azure Cosmos DB för Apache Cassandra krävs DatabaseWriter. Cassandra-drivrutinen 3.6.0 paketeras med Striim. Om DatabaseWriter överskrider antalet RU:er som har etablerats i din Azure Cosmos DB-container kraschar programmet.

    • Anslutnings-URL – Ange din Azure Cosmos DB JDBC-anslutnings-URL. URL:en är i formatet jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Användarnamn – Ange ditt Azure Cosmos DB-kontonamn.

    • Lösenord – Ange den primära nyckeln för ditt Azure Cosmos DB-konto.

    • Tabeller – Måltabeller måste ha primära nycklar och primära nycklar kan inte uppdateras.

    Skärmbild som visar de konfigurerbara målegenskaperna.

    Konfigurera målegenskaper

  16. Nu ska vi köra Striim-programmet. I den övre menyraden väljer du Skapad och sedan Distribuera app. I distributionsfönstret kan du ange om du vill köra vissa delar av programmet på specifika delar av distributionstopologin. Eftersom vi kör i en enkel distributionstopologi via Azure använder vi standardalternativet.

    Distribuera appen

  17. Nu ska vi gå vidare och förhandsgranska strömmen för att se data som flödar genom Striim. Klicka på vågikonen och klicka på ögonikonen bredvid den. När du har distribuerat kan du förhandsgranska strömmen för att se data som flödar igenom. Välj vågikonen och ögongloben bredvid den. Välj knappen Distribuerad i den översta menyraden och välj Starta app.

    Starta appen

  18. Genom att använda en CDC-läsare (Change Data Capture) hämtar Striim endast nya ändringar i databasen. Om du har data som flödar genom dina källtabeller ser du dem. Men eftersom det här är en exempeltabell är källan som inte är ansluten till något program. Om du använder en exempeldatagenerator kan du infoga en händelsekedja i Oracle-databasen.

  19. Du ser data som flödar genom Striim-plattformen. Striim hämtar även alla metadata som är associerade med tabellen, vilket är användbart för att övervaka data och se till att data hamnar på rätt mål.

    Konfigurera CDC-pipelinen

  20. Slutligen loggar vi in på Azure och går till ditt Azure Cosmos DB-konto. Uppdatera Datautforskaren så kan du se att data har anlänt.

Genom att använda Striim-lösningen i Azure kan du kontinuerligt migrera data till Azure Cosmos DB från olika källor som Oracle, Cassandra, MongoDB och olika andra till Azure Cosmos DB. Mer information finns på Striims webbplats, ladda ned en kostnadsfri 30-dagars utvärderingsversion av Striim och för eventuella problem när du konfigurerar migreringssökvägen med Striim kan du skicka en supportbegäran.

Nästa steg