Delta-taulukoihin yhdistäminen Azure Data Lake Storagessa

Muodosta yhteys Delta-taulukossa oleviin tietoihin ja tuo ne Dynamics 365 Customer Insights - Dataan.

Tärkeitä syitä muodostaa yhteys Delta-muodossa tallennettuihin tietoihin:

• Tuo Delta-muotoillut tiedot suoraan, jolloin säästyy aikaa ja vaivaa.
• Eliminoi laskenta- ja tallennuskustannukset, jotka liittyvät Lakehouse-tietojen muuntamiseen ja tallentamiseen.
• Paranna automaattisesti tietojen käsittelyn luotettavuutta Customer Insights - Datassa Delta-versioinnin mukaan.

Tuetut Databricks-ominaisuudet ja -versiot

Customer Insights - Data tukee Databricks-ominaisuuksia, joiden minReaderVersion on 2 tai vanhempi. Databricks-ominaisuuksia, jotka vaativat vähintään Databricks-lukijan version 3, ei tueta. Taulukossa näkyvät tuetut Databricks-ominaisuudet sekä ominaisuudet, joita ei tueta.

Tuetut ominaisuudet	Ominaisuudet, joita ei tueta
Perustoiminnot	Poistovektorit
Muutostietojen syöte	Liquid-klusterointi
Tarkista rajoitteet	Taulukon ominaisuudet – kirjoitus
Sarakkeiden yhdistämismääritys	TimestampNTZ
Luo sarakkeet	Tyypin laajentaminen
Käyttäjätietojen sarakkeet	Variantti
Rivin seuranta
Taulukon ominaisuudet – luku
UniForm

Lisätietoja: Miten Databricks hallitsee Delta Lake -ominaisuuksien yhteensopivuutta?.

edellytykset

• Azure Data Lake Storagen on oltava samassa vuokraajassa ja samalla Azure-alueella kuin Customer Insights - Data.

• Jos haluat muodostaa yhteyden palomuurien suojaamaan tallennustilaan, määritä Azure yksityiset linkit.

• Customer Insights - Data -päänimellä on oltava Storage Blob Data Contributor -oikeudet tallennustilin käyttöön. Lisätietoja on kohdassa Tallennustilin käyttöön tarvittavien oikeuksien myöntäminen palvelun päänimelle.

• Käyttäjä, joka määrittää tai päivittää tietolähteen, tarvitsee vähintään Storage Blob Data Reader -käyttöoikeudet Azure Data Lake Storage -tiliin.

• Online-palveluihin tallennetut tiedot voivat olla tallennettu eri sijaintiin kuin missä tietoja käsitellään ja mihin ne tallennetaan. Tuomalla verkkopalveluun tallennetut tiedot tai muodostamalla niihin yhteyden hyväksyt, että tiedot voidaan siirtää. Lisätietoja on Microsoftin luottamuskeskuksessa.

• Customer Insights - Data tukee Databricks-lukijan versiota 2. Delta-taulukkoja, jotka käyttävät vähintään Databricks-readerin versiota 3 vaativia ominaisuuksia, ei tueta. Lisätietoja: Tuetut Databricks-ominaisuudet.

• Delta-taulukoiden on oltava varastosäilön kansiossa. Ne eivät voi olla säilön juurihakemistossa. Esimerkki:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Azure Data Lake Storage -tietojen on oltava Delta-taulukoissa. Customer Insights - Data perustuu taulukon historiassa olevan versio-ominaisuuden uusimpien muutosten tunnistamiseen kasvattavaa käsittelyä varten.

Muodosta yhteys Delta-tietoihin Azure Data Lake Storagesta

1. Valitse Tiedot>Tietolähteet.

2. Valitse Lisää tietolähde.

3. Valitse Azure Data Lake Storage -taulukot.

   

4. Syötä Tietolähteen nimi ja valinnainen Kuvaus. Nimi yksilöi tietolähteen ja siihen viitataan myöhemmissä prosesseissa. Tätä nimeä ei voi muuttaa tietolähteen luomisen jälkeen.

5. Valitse jokin seuraavista Yhdistä omaan tallennustilaan seuraavasti: -vaihtoehtoista.

   • Azure-tilaus: Valitse ensin Tilaus sekä sen jälkeen Resurssiryhmä ja Tallennustili.
   • Azure-resurssi: Anna resurssitunnus.

6. Valitse sen säilön nimi, joka sisältää tietojen kansion.

7. Jos tietoja halutaan käsitellä tallennustililtä Azuren yksityisen linkin kautta, valitse myös Ota yksityinen linkki käyttöön. Lisätietoja on kohdassa Yksityiset linkit.

8. Siirry kansioon, joka sisältää tiedot Delta-taulukoissa, ja valitse se. Valitse sitten Seuraava. Käytettävissä olevien taulukoiden luettelo tulee näkyviin.

9. Valitse taulukot, jotka haluat sisällyttää.

10. Jos valituille taulukoille ei ole määritetty perusavainta, Pakollinen näkyy Perusavain-asetuksena. Toimi seuraavasti kyseisten taulukoiden osalta:

    1. Valitse Pakollinen. Muokkaa taulukkoa -paneeli avautuu.
    2. Valitse Perusavain. Perusavain on taulukon yksilöllinen määrite. Jotta määrite olisi kelvollinen perusavain, se ei saa sisältää arvojen kaksoiskappaleita, siitä ei saa puuttua arvoja eikä siinä saa olla tyhjiä arvoja. Merkkijono-, kokonaisluku- ja GUID-tietotyypin määritteitä tuetaan perusavaimina.
    3. Tallenna ja sulje paneeli lomake valitsemalla Sulje.

    

11. Jos haluat ottaa tietojen profiloinnin käyttöön missä tahansa sarakkeessa, valitse taulukon sarakkeiden määrä. Hallitse määritteitä -sivu avautuu.

    

    1. Valitse tietojen profilointi koko taulukkoa tai tiettyjä sarakkeita varten. Tietojen profilointi ei ole oletusarvoisesti otettu käyttöön missään taulukossa.
    2. Valitse Valmis.

12. Valitse Tallenna. Avautuvalla Tietolähteet-sivulla on näkyy uusi tietolähde, jonka tilana on Päivitetään.

    Tippi

    Tehtäville ja prosesseille on määritetty tilat. Useimmat prosessit riippuvat muista alkuvaiheen prosesseista, kuten tietolähteistä ja tietojen profiloinnin päivityksistä.

    Valitse tila, jos haluat avata Edistymisen tiedot -ruudun ja tarkastella tehtävien edistymistä. Peruuta työ valitsemalla ruudun alareunassa Peruuta työ.

    Valitse jokaisen tehtävän alta Näytä tiedot -linkki, jos haluat lisätietoja esimerkiksi käsittelyajasta, viimeisestä käsittelypäivästä sekä tehtävään tai prosessiin liittyvistä virheistä ja varoituksia. Valitsemalla paneelin alareunassa Näytä järjestelmän tili saat muut järjestelmän prosessit näkyviin.

Tietojen lataaminen voi viedä aikaa. Kun päivitys on onnistunut, käsiteltyjä tietoja voi tarkastella Taulukot-sivulla.

Rakenteen muutosten hallinta

Kun Delta-kansion tietolähteen rakenteeseen lisätään tai siitä poistetaan sarake, järjestelmä suorittaa tietojen täydellisen päivityksen. Täyden päivityksen kaikkien tietojen käsittely kestää kauemmin kuin lisäävien päivitysten käsittely.

Sarakkeen lisääminen

Kun sarake lisätään tietolähteeseen, tiedot lisätään Customer Insights - Datassa automaattisesti tietoihin päivityksen tapahtuessa. Jos taulukolle on määritetty jo yhdistäminen, uusi sarake on lisättävä yhdistämisprosessiin.

1. Valitse Asiakastiedot-vaiheesta Valitse taulukot ja sarakkeet ja valitse uusi sarake.

2. Varmista Yhtenäinen datanäkymä -vaiheessa, että saraketta ei ole suljettu pois asiakasprofiilista. Valitse Pois jätetyt ja lisää sarake uudelleen.

3. Valitse Suorita yhdistetyn profiilin päivitykset -vaiheessa Yhdistä asiakasprofiileja ja riippuvuuksia.

Sarakkeen muuttaminen tai poistaminen

Kun sarake poistetaan tietolähteestä, järjestelmä tarkistaa, onko muissa prosesseissa riippuvuuksia. Jos sarakkeissa on riippuvuus, järjestelmä pysäyttää päivityksen ja näyttää virheen, jossa kerrotaan, että riippuvuudet on poistettava. Nämä riippuvuuden näkyvät ilmoituksessa, mikä auttaa paikantamaan ja poistamaan ne.

Rakenteen muutoksen vahvistaminen

Kun tietolähde on päivitetty, siirry Tiedot>Taulukot-sivulle. Valitse taulukko tietolähteelle ja tarkista rakenne.

Data Lake -tallennustilan aikamatkustuksen ja tietojen päivitykset

Delta Lake -tallennustilan aikamatkustus on mahdollisuus tehdä kyselyjä taulukkoversioista aikaleiman ja versionumeron avulla. Delta-kansioiden muutosten versioinnin muutokset ja Customer Insights - Data käyttää Delta-kansion versioita käsiteltävien tietojen seurannassa. Tavallisessa Delta-taulukon päivityksessä tiedot noudetaan kaikista edellisen päivityksen jälkeisistä tietotaulukkoversioista. Kun kaikki versiot ovat saatavilla, Customer Insights - Data voi käsitellä vain muutetut elementit ja tuottaa tuloksia aiempaa nopeammin. Lisätietoja matkustusajasta.

Jos esimerkiksi Customer Insights – Data on viimeksi synkronoitu Delta-kansion tietojen kanssa versiolla 23, version 23 ja mahdollisesti myöhempien versioiden odotetaan löytyvän. Jos odotettuja tietoversioita ei ole saatavilla, tietojen synkronointi epäonnistuu ja vaatii tietojen manuaalisen täydellisen päivityksen. Tietojen synkronointi voi epäonnistua, jos Delta-kansion tiedot on poistettu ja luotu sitten uudelleen. Se voi epäonnistua myös silloin, jos Customer Insights - Data ei pysty muodostamaan yhteyttä Delta-kansioihin pitkään aikaan versioiden päivittyessä.

Jotta tietojen täydellistä päivitystä ei tarvitse tehdä, keskeneräisten töiden historian pituus kannattaa pitää kohtuullisena, kuten 15 päivän pituisena.

Tietojen täydellisen päivityksen suorittaminen manuaalisesti Delta-taulukkokansiossa

Täydessä päivityksessä noudetaan kaikki Delta-muodossa olevan taulukon tiedot ja lataa ne uudelleen Delta-taulukon nollaversiosta (0). Delta-kansiorakenteen muutokset käynnistävät automaattisen täydellisen päivityksen. Voit käynnistää täydellisen päivityksen manuaalisesti alla olevien ohjeiden avulla.

1. Valitse Tiedot>Tietolähteet.

2. Valitse Azure Data Lake Delta -taulukot -tietolähde.

3. Valitse päivitettävä taulukko. Näkyviin tulee Muokkaa taulukkoa -ruutu.

   

4. Valitse Suorita kertaluontoinen täysi päivitys.

5. Suorita päivitys valitsemalla Tallenna. Avautuvalla Tietolähteet-sivulla on näkyy tietolähde, jonka tilana on Päivitetään, mutta vain valittu taulukko päivitetään.

6. Toista prosessi tarvittaessa muiden taulukkojen osalta.

Tietojen synkronoimisen virhe

Tietojen synkronointi voi epäonnistua, jos Delta-kansion tiedot on poistettu ja luotu sitten uudelleen. Se voi epäonnistua myös silloin, jos Customer Insights - Data ei pysty muodostamaan yhteyttä Delta-kansioihin pitkään aikaan versioiden päivittyessä. Minimoidaksesi vaikutukset, jotka aiheutuvat ajoittaisesta tietoputken virheestä, joka aiheuttaa täyden päivityksen tarpeen, suosittelemme, että pidät yllä kohtuullista historiaa, esimerkiksi 15 päivän ajalta.

Seuraavat vaiheet

• Tietojen yhdistämisen yleiskatsaus