Tässä artikkelissa on tietoja Microsoft Dataverse -taulukkotietojen vientiä Azure Synapse Analyticsiin ja Azure Data Lakeen koskevista usein kysytyistä kysymyksistä.
Voinko suorittaa datatiedostojen automaattisen poistamisen käytäntöjen luomisen, päivittämisen, poistamisen tai määrittämisen kaltaisia tehtäviä yhdistetyssä Azure-tallennustilassa?
Asiakkaan ei tule muokata datatiedostoja, eikä asiakastiedostoja tule sijoittaa tietokansioihin.
Huomautus
Vanhojen ja pysähtyneiden tietojen poistaminen Data Lake -tietovarastosta onnistuu rikkomatta Azure Synapse Linkiä käyttämällä toimintoa Kysele ja analysoi inkrementaalisia päivityksiä
Miten voin käyttää pöytääni suhteita?
Suhde on käytettävissä monta-moneen-suhteiden käyttämistä varten taulukkona, joka voidaan valita Lisää taulukoita -sivulla uutta linkkiä ja Hallitse taulukoita -sivulla aiemmin luotua linkkiä varten.
Huomautus
Kaikki suhdetiedot ovat Vain lisäys -tilassa oletusarvoisesti, kun ne on kirjoitettu CSV-muotoon.
Miten voin saada arvioidut kustannukset ennen Azure Synapse Linkin lisäämistä?
Azure Synapse Link on Dataversen maksuton ominaisuus. Azure Synapse Link for Dataverse käyttäminen Dataversessa ei lisää kustannuksia. Ota kuitenkin huomioon Azure-palvelun mahdolliset seuraavat kustannukset:
- Tietojen varastointi kohteessa Azure Data Lake Storage Gen2: Azure Storage Data Lake Gen2 -hinnoittelu | Microsoft Azure
- Tietojen kulutuksen kustannus (kuten Synapse Workspace): Hinnoittelu – Azure Synapse Analytics | Microsoft Azure Saat kattavat tiedot Microsoft Cost Managementista kohdasta Azuren kustannusten hallinnan suunnittelu – Microsoft Cost Management | Microsoft Learn
Mitä tapahtuu, kun sarake lisätään?
Kun taulukkoon lisätään lähteessä uusi sarake, se lisätään myös tiedoston loppuun vastaavan tiedosto-osioinnin kohteessa. Vaikka ennen uuden sarakkeen lisäämistä olemassa olleita rivejä ei näytetä uudessa sarakkeessa, uudet tai päivitetyt rivit näyttävät lisätyn sarakkeen.
Mitä tapahtuu, kun sarake poistetaan?
Kun sarake poistetaan lähteen taulukosta, saraketta ei poisteta kohteessa. Rivejä ei sen sijaan enää päivitetä ja ne merkitään tyhjäarvoisiksi samalla, kun aiemmat rivit säilytetään.
Mitä tapahtuu, jos muutan sarakkeen tietotyyppiä?
Sarakkeen tietotyypin muuttaminen on rikkova muutos. Se edellyttää linkin poistamista ja linkittämistä uudelleen.
Mitä tapahtuu, kun rivi poistetaan?
Rivin poistaminen käsitellään eri tavalla valittujen tietojen kirjoitusvaihtoehtojen mukaan:
- Kohteessa päivitys CSV-muodossa: Tämä on oletustila. Kun taulukon rivi poistetaan tässä tilassa, rivi poistetaan myös vastaavasta tieto-osiosta Azure Data Lake -tietovarastossa. Tiedot siis poistetaan pysyvästi kohteesta.
- Vain lisäis CSV-muodossa ja inkrementaalinen kansion päivitys: Tässä tilassa, kun Dataverse-taulukon rivi poistetaan, sitä ei poisteta kokonaan kohteesta. Sen sijaan rivi lisätään tiedostoon ja sen arvoksi määritetään
isDeleted=Truevastaavassa tieto-osiossa Azure Data Lake -tallennustilassa. - Delta Lake -muotoon vienti: Azure Synapse Link suorittaa pehmeän tietojen poistamisen seuraavan delta-synkronointikierroksen aikana ja tietojen poistamisen kokonaan 30 päivän jälkeen.
Miksi en näe sarakeotsikkoa viedyssä tiedostossa?
Azure Synapse Link seuraa Common Data Modelia määrittäessään tiedot ja niiden merkityksen jaettaviksi sovelluksille ja liiketoimintaprosesseille, kuten Microsoft Power Appsille, Power BI:lle, Dynamics 365:lle ja Azurelle. Metatiedot, kuten sarakeotsikko, tallennetaan jokaisessa CDM-kansiossa model.json-tiedostoon. Lisätietoja: Common Data Model ja Azure Data Lake Storage Gen2 | Microsoft Learn
Miksi Model.json-tiedosto kasvaa tai pitenee tietotyyppien osalta eikä säilytä Dataversessa tehtyjä määrityksiä?
Model.json säilyttää tietokannan pituuden sarakkeen koon mukaan. Dataversessa on tietokannan pituuskonsepti kutakin saraketta kohden. Jos luot sarakkeen, jonka koko on 200 ja myöhemmin vähennät sen kokoon 100, Dataverse sallii edelleen aiemmin luotujen tietojen käytössä olon Dataversessa. Se tekee sen säilyttämällä arvon DBLength arvona 200 ja arvon MaxLength arvona 100. Kohteessa Model.json näkyy DBLength ja jos käytät sitä jatkoprosesseihin, Dataverse-sarakkeille ei koskaan varata pienempää tilaa.
Huomautus
Muistiinpanokentät on määritetty muotoon varchar(max), ja niiden oletusarvoinen enimmäispituus 9 999.
Mitä päivämäärä- ja aikamuotoja voidaan odottaa viedyissä Dataverse-taulukoissa?
Viedyissä Dataverse-taulukoissa voi olla kolmea erilaista päivämäärä- ja aikamuotoa.
| Sarakkeen nimi | Muotoile | Tietotyyppi | Esimerkki: |
|---|---|---|---|
| SinkCreatedOn ja SinkModifiedOn | M/d/yyyy H:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | yyyy-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Kaikki muut sarakkeet | yyyy-MM-dd'T'HH:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Huomautus
CreatedOn-tietotyyppi muuttui muodosta datetime muotoon datetimeOffset 29.7.2022. Jos haluat muokata taulukolle luotua tietotyypin muotoa ennen muutosta, pudota taulukko ja lue se.
Voit valita Dataversen päivämäärä- ja aikasarakkeen käyttäytymisen, joka päivittää tietotyypin muodon. Lisätietoja. Päivämäärä ja aika -sarakkeen toimintatapa ja muoto
Miksi näkyvissä on 1.csv- tai 1_001.csv-tiedostonimi joidenkin Dataverse-taulukoiden tavallisten osioitujen päivämäärä- ja aikatiedostojen nimien sijaan?
Näin voi tapahtua, kun valitaan vain lisäys -asiantuntijatila, eikä taulukoilla ole sallittua CreatedOn-saraketta. Blob-objektit on järjestetty tiedostoiksi, kuten 1.csv ja 2.csv (käyttämällä mukautettua ositusta, koska sallittua luontipäivää ei ole määritetty). Kun mikä tahansa ositus lähestyy MaxBlockPerBlobLimit-arvon 95 prosentin rajaa, järjestelmä luo automaattisesti uuden tiedoston. Tässä se on tiedosto 1_001.csv.
Milloin kannattaa käyttää vuosittaista ja milloin kuukausikohtaista osiointistrategiaa?
Jos Dataverse-taulukoiden tietomäärä on vuositasolla suuri, kuukausiosioinnin käyttäminen on suositeltavaa. Tällä tavoin tiedostot ovat pienempiä ja suorituskyky parempi. Lisäksi, jos Dataverse-taulukoiden rivejä päivitetään usein, jakaminen useisiin pienempiin tiedostoihin auttaa parantamaan suorituskykyä paikanaikaisten päivitysskenaarioiden tapauksessa. Delta Lake -tallennustila on käytettävissä vain vuosittaisen osioinnin kanssa, koska sen suorituskyky on ylivoimainen CSV-muotoon verrattuna.
Mikä on vain lisäys -tila ja mikä ero vain lisäys- ja paikallaan-päivitystiloilla on?
Vain lisäys -tilassa lisätiedot Dataverse-taulukoista lisätään vastaavaan tiedosto-osioon Data Lake -tallennustilassa. Lisätietoja: Lisämääritysten asetukset Azure Synapse Linkissä
Milloin käytetään historiallisen muutosnäkymän Vain lisäys -tilaa?
Vain lisäys -tila on suositusvaihtoehto kirjoitettaessa Dataverse-taulukon tietoja Data Lake -tallennustilaan, etenkin jos tietomäärät ovat osioinnissa suuria usein muuttuvien tietoja vuoksi. Myös tämä yritysasiakkaiden yleisesti käyttämä suositusratkaisu. Tämän tilan voi valita käytettäväksi myös skenaarioissa, joissa tarkoitus on arvioida muutokset lisäävästi Dataversesta ja käsitellä muutokset ETL-, tekoäly- ja koneoppimisskenaarioissa. Vain lisäys -tila sisältää muutoslokin viimeisten muutosten tai samaan sijaintiin päivittämisen sijaan. Lisäksi se ottaa käyttöön useita aikasarjoja tekoälyskenaarioista, kuten historiallisiin arvoihin perustuvien ennusteiden tai ennakoinnin analyysin.
Miten voin noutaa kunkin tietueen uusimman rivin ja jättää pois poistetut rivit, kun vien tietoja vain lisäys -tilassa?
Vain liittäminen -tilassa sinun on tunnistettava uusin tietueversio, jolla on sama tunnus käyttämällä toimintoja VersionNumber ja SinkModifiedOn ja otettava sitten käyttöön isDeleted=0 uusimmassa versiossa.
Miksi kaksoiskappaleita käytetään, kun tietoja viedään vain lisäys -tilassa?
Jos Azure Synapse Link for Dataverse ei saa Vain lisäys -tilassa Azure Data Lake -tallennustilalta tietojen vahvistuksesta esimerkiksi verkkoviiveen vuoksi, Azure Synapse Link yrittää tehdä nämä skenaariot uudelleen ja vahvistaa tiedot. Jatkokulutuksesta on tehtävä kestävää tässä skenaariossa suodattamalla tiedot toimintoa SinkModifiedOn käyttäen.
Miksi Sinkmodifiedon- ja Modifiedon-sarakkeissa näkyy eroja?
Tämä on odotettavissa. Modifiedon on päivämäärä ja aika, jolloin tietuetta muutetaan Dataversessa. Sinkmodifiedon on päivämäärä ja kellonaika, jona tietuetta muokataan Data Lake -tallennustilassa.
Mitä Dataverse-taulukoita vienti ei tue?
Taulukoita, joissa ei ole käytössä muutosten seurantaa, ei tueta seuraavien järjestelmätaulukoiden lisäksi:
- Liite
- Kalenteri
- Calendarrule
Huomautus
Voit lisätä tarkistustaulukon vientiä varten käyttämällä Azure Synapse Link for Dataversea. Tarkistustaulukon vientiä tuetaan kuitenkin vain Delta Lake -profiileissa.
Käytän Delta Lakeen vientiominaisuutta. Voinko pysäyttää Apache Spark -työn tai muuttaa suoritusaikaa?
Delta Lake -muunnostyö käynnistyy, kun määritetyllä aikavälillä muutetaan tietoja. Apache Spark -poolia ei voi lopettaa eikä keskeyttää. Voit kuitenkin muokata linkin luonnin jälkeistä aikaväliä kohdassa Taulukoiden hallinta > Aikavälin lisäasetukset.
Tukeeko Azure Synapse Link valintasarakkeita?
Valintasarakkeet muodostuvat tunnuksesta ja arvosta. Valinta-arvot muuttuvat vain päätaulukossa. Jotta valintasarakkeen arvo näkyisi paremmin, on suositeltavaa liittää alkuperäiseen root-taulukkoon, jotta saat uusimman arvon.
Tukeeko Azure Synapse Link laskettuja sarakkeita?
Dataversen lasketuissa sarakkeissa vain kaavan tiedot ovat käytettävissä, ja todellinen arvo määräytyy perustaulukon sarakkeen mukaan. Laskettuja sarakkeita tuetaan vain, jos kaikki sarakkeet sijaitsevat samassa vientitaulukossa.
Mitkä Dataverse-taulukot käyttävät vain lisäys -tilaa oletusarvoisesti?
Kaikki taulukot, joilla ei ole createdOn-kenttää, synkronoidaan käyttämällä vain liitos -tilaa oletusarvoisesti. Tämä sisältää suhdetaulukot ja ActivityParty-taulukon.
Miksi näkyvissä on Polun hakemiston sisältöä ei voi luetteloida -virheilmoitus?
- Dataverse-tiedot tallennetaan yhdistettyyn tallennustilan säilöön. Tallennustilan blob-objektin tietojen osallistuja -rooli on linkitettävä tallennustilan tiliin, jotta luku- ja kyselytoiminnot voidaan suorittaa Synapse Workspacen avulla.
- Jos päätät viedä Delta Lake -muodossa olevia tietoja, CSV-tiedostosi poistetaan Delta Lake -muunnoksen jälkeen. Sinun on kyseltävä tietoja, joissa on non_partitioned-taulukkoja, Synapse Workspacen avulla.
Miksi näyttöön tulee virhesanoma - ei voi ladata kerralla, koska tiedosto on puutteellinen tai sitä ei voi lukea (Vain CSV-tiedosto)?
Dataversen tiedot voivat muuttua jatkuvasti luonti-, päivitys- ja poistotapahtumien kautta. Virheen syynä on se, että taustalla olevaa tiedostoa muutetaan, kun luet siitä tietoja. Jos taulukoissa on keskeytyksettä muutoksia, muuta kulutusputkesi käyttämään tilannevedostietoja (jaetut taulukot) kulutukseen. Lisätietoja: Palvelimettoman SQL-varannon vianmääritys
Miten Azure Synapse Linkiä voi käyttää tärkeiden tietojen arkistoinnissa?
Azure Synapse Link for Dataverse on suunniteltu analytiikkaa varten. Asiakkaiden kannattaa käyttää pitkäaikaista säilytystä arkistoinnissa. Lisätietoja: Dataversen tietojen pitkäaikaisen säilytyksen yleiskatsaus
Miksi en näe tietojen muutoksia Data Lakessa, kun tietueita on poistettu Dataversessa?
Jos suora SQL-kutsu poistaa tietueen, Azure Synapse Link for Dataverse -palvelu ei käynnisty, koska BPO.Delete-toimintoa ei kutsuta. Esimerkkiominaisuus on aiheessa Perityn käytön puhdistaminen.