Jaa

Moduuli 2: Tietojen muuntaminen tietovuon avulla Data Factoryssa

  • Artikkeli

Tässä moduulissa kestää noin 25 minuuttia luoda tietovuo, soveltaa muunnoksia ja siirtää raakatiedot Pronssi-taulukosta Gold Lakehouse -taulukkoon.

Kun edellisen moduulin raakatiedot on ladattu Pronssijärven talo -taulukkoon, voit nyt valmistella nämä tiedot ja täydentää niitä yhdistämällä ne toiseen taulukkoon, joka sisältää alennukset jokaiselle toimittajalle ja heidän matkoilleen tietyn päivän aikana. Tämä viimeinen Gold Lakehouse -taulukko on ladattu ja valmis kulutukseen.

Tietovuon ylätason vaiheet ovat seuraavat:

  • Raakatietojen noutaminen Lakehouse-taulukosta, joka on luotu Kopioi-toiminnolla moduulissa 1: Putken luominen Data Factoryavulla .
  • Muunna Lakehouse-taulukosta tuodut tiedot.
  • Muodosta yhteys CSV-tiedostoon, joka sisältää alennustietoja.
  • Muunna alennustiedot.
  • Yhdistä matkat ja alennukset -tiedot.
  • Lataa tuloskysely Gold Lakehouse -taulukkoon.

Tietojen noutaminen Lakehouse-taulukosta

  1. Valitse sivupalkista työtilasi, valitse Uusi kohde, ja luo sitten uusi tietovuo Gen2 Gen2. Näyttökuva, jossa näkyy Kankaan luonti -sivu, jossa Tietovuo Gen2 -painike on korostettuna.

  2. Valitse uudesta tietovuovalikosta Nouda tiedotja sitten Lisää....

    Näyttökuva, jossa näkyy Tietovuo-valikko, Nouda tiedot -painike korostettuna ja Lisää... -vaihtoehto korostettuna sen valikosta.

  3. Etsi ja valitse Lakehouse -liitin.

    Näyttökuva, jossa näkyy Lakehouse-tietolähteen valinta Valitse tietolähde -valikosta.

  4. Näkyviin tulee Yhdistä tietolähteeseen - -valintaikkuna. Uusi yhteys luodaan automaattisesti puolestasi tällä hetkellä kirjautuneen käyttäjän perusteella. Valitse Seuraava.

    Näyttökuva, jossa näkyvät uuden Lakehouse-tietolähteen asetusten määritykset nykyisen kirjautuneen käyttäjän kanssa ja Seuraava-painike valittuna.

  5. Valitse tiedot - -valintaikkuna tulee näkyviin. Etsi siirtymisruudun avulla lakehouse, jonka loit kohdesijainnille aiemmassa moduulissa, ja valitse Tutorial_Lakehouse -tietotaulukko.

    Näyttökuva, jossa näkyy Lakehouse-selain ja jossa on työtila, Lakehouse ja taulukko, jotka on luotu moduulin 1 Kopioi aktiviteetti avulla.

  6. (Valinnainen) Kun tiedot on täytetty pohjassa, voit määrittää sarakeprofiilin tietoja, koska tästä on hyötyä tietojen profiloimisessa. Voit ottaa käyttöön oikean muunnoksen ja kohdistaa siihen perustuvat oikeat tietoarvot.

    Voit tehdä tämän valitsemalla valintanauhan ruudusta Asetukset ja valitsemalla sitten kolme ensimmäistä vaihtoehtoa kohdasta Sarakeprofiilinja valitsemalla sitten OK.

    Näyttökuva, jossa näkyy sarakevaihtoehtojen valinta tiedoillesi.

Lakehousesta tuotujen tietojen muuntaminen

  1. Valitse tietotyyppi-kuvake toisen sarakkeen sarakeotsikosta IpepPickupDatetime, jolloin näkyviin tulee avattava valikko ja valitse tietotyyppi valikosta, jolloin sarake muunnetaan Päivämäärä/aika-Date tyypiksi. Näyttökuva, jossa näkyy Päivämäärä-tietotyypin valinta IpepPickupDatetime-sarakkeelle.

  2. (Valinnainen) - valitse valintanauhan Aloitus -välilehdessä Valitse sarakkeet --vaihtoehto Sarakkeiden hallinta ryhmässä.

    Näyttökuva, jossa näkyy Valitse sarakkeet -painike tietovuoeditorin Aloitus-välilehdellä.

  3. (Valinnainen) - Poista joidenkin tässä lueteltujen sarakkeiden valinta Valitse sarakkeet -valintaikkunassa ja valitse sitten OK.

    • lpepDropoffDatetime
    • puLocationId
    • doLocationId
    • nouto leveysaste
    • dropoffLongitude
    • rateCodeID

    Näyttökuva, jossa näkyy Valitse sarakkeet -valintaikkuna, jossa tunnistettuja sarakkeita ei ole valittu.

  4. Valitse storeAndFwdFlag sarakkeen suodatin- ja lajitteluvalikko. (Jos näet varoituksen, Luettelo on ehkä epätäydellinen, valitse Lataa lisää, jos haluat nähdä kaikki tiedot.)

    Näyttökuva, jossa näkyy sarakkeen suodatin- ja lajitteluvalintaikkuna.

  5. Valitse Y, jos haluat näyttää vain rivit, joissa alennus on otettu käyttöön, ja valitse sitten OK.

    Näyttökuva, jossa on valittuna vain Y-arvo.

  6. Valitse IpepPickupDatetime sarakkeen lajittelu- ja suodatinvalikko, valitse sitten Päivämääräsuodattimet, ja valitse Välillä...-suodatin, joka annetaan päivämäärä- ja päivämäärä- ja aikatyypeille.

    Näyttökuva, jossa näkyy Päivämääräsuodattimet-vaihtoehdon valinta sarakkeen lajittelu- ja muotoiluvalikossa.

  7. Valitse Suodata rivit -valintaikkunassa päivämäärät väliltä 1.1.2015 ja 31.1.2015 ja valitse sitten OK.

    Näyttökuva, jossa näkyy päivämäärien valinta tammikuussa 2015.

Alennustietoja sisältävään CSV-tiedostoon yhdistäminen

Kun matkojen tiedot ovat valmiina, haluamme ladata tiedot, jotka sisältävät kunkin päivän alennukset ja toimittajatunnuksen, ja valmistella tiedot ennen niiden yhdistämistä matkatietoihin.

  1. Valitse tietovuoeditorin valikon Aloitus -välilehdeltä Nouda tiedot -vaihtoehto ja valitse sitten Text/CSV.

    Näyttökuva, jossa näkyy Nouda tiedot -valikon valinta Aloitus-välilehdestä teksti/CSV korostettuna.

  2. Anna Yhdistä tietolähteeseen -valintaikkunassa seuraavat tiedot:

    • tiedostopolkua tai URL- - https://raw.githubusercontent.com/ekote/azure-architect/master/Generated-NYC-Taxi-Green-Discounts.csv
    • todentamislajin – anonyymi

    Valitse sitten Seuraava.

    Näyttökuva, joka näyttää yhteyden teksti- tai CSV-asetukset.

  3. Valitse Esikatselutiedoston tiedot -valintaikkunassa Luo.

    Näyttökuva, jossa näkyy Esikatselutiedostotiedot-valintaikkuna ja Luo-painike korostettuna.

Alennustietojen muuntaminen

  1. Kun tarkastelemme tietoja, näemme, että otsikot näyttävät olevan ensimmäisellä rivillä. Ylennä ne otsikoiksi valitsemalla taulukon pikavalikko esikatseluruudukon alueen vasemmasta yläkulmasta ja valitsemalla Käytä ensimmäistä riviä otsikkoina.

    Näyttökuva, jossa näkyy Käytä ensimmäistä riviä otsikkoina -vaihtoehto taulukon pikavalikosta.

    Muistiinpano

    Ylentämisen jälkeen näet uuden vaiheen lisättynä Käytössä olevat vaiheet -ruutu tietovuoeditorin yläreunassa sarakkeiden tietotyyppeihin.

  2. Napsauta VendorID -saraketta hiiren kakkospainikkeella ja valitse avautuvasta pikavalikosta vaihtoehto, Poista muiden sarakkeiden pivotointi. Näin voit muuntaa sarakkeet määrite–arvo-pareiksi, joissa sarakkeista tulee rivejä.

    Näyttökuva, jossa näkyy VendorID-sarakkeen pikavalikko ja Poista muiden sarakkeiden valinta korostettuna.

  3. Kun taulukon pivotointi on purettu, nimeä Attribute- ja Value --sarakkeet uudelleen kaksoisnapsauttamalla niitä ja muuttamalla Attribute muotoon Date ja Value muotoon Discount.

    Näyttökuva, jossa näkyvät taulukon sarakkeet, kun Määrite on nimetty uudelleen päivämääräksi ja arvo alennukseksi.

  4. Muuta Päivämäärä-sarakkeen tietotyyppiä valitsemalla tietotyyppivalikko sarakkeen nimen vasemmalta puolelta ja valitsemalla Date.

    Näyttökuva, jossa näkyy Päivämäärä-tietotyypin valinta Päivämäärä-sarakkeelle.

  5. Valitse Discount -sarake ja valitse sitten valikosta Muunna --välilehti. Valitse Number -sarake, ja valitse sitten alivalikosta Standard numeeriset muunnokset ja valitse Divide.

    Näyttökuva, jossa näkyy Jaa-asetus Alennus-sarakkeen tietojen muuntamiseen.

  6. Kirjoita jaa -valintaikkunan arvo 100.

    Näyttökuva, jossa näkyy Jaa-valintaikkuna, jossa on annettu arvo 100 ja OK-painike korostettuna.

Yhdistä matkat ja alennukset -tiedot

Seuraava vaihe on yhdistää molemmat taulukot yhdeksi taulukoksi, jossa on matkalle käytettävä alennus ja mukautettu kokonaissumma.

  1. Vaihda ensin Kaavionäkymä -painike, jotta näet molemmat kyselysi.

    Näyttökuva, jossa näkyy Kaavionäkymä-vaihtopainike ja molemmat tässä opetusohjelmassa luodut kyselyt.

  2. Valitse nyc_taxi-kysely ja valitse Home -välilehdestä Yhdistä -valikko ja valitse sitten Yhdistä kyselytja Sitten Yhdistä kyselyt uudeksi.

    Näyttökuva, jossa Merge-kyselyt näkyvät nyc_taxi-kyselyn uutena valintana.

  3. Valitse Merge -valintaikkunassa Generated-NYC-Taxi-Green-Discounts avattavasta Right -taulukosta merge avattavasta valikosta. Valitse sitten valintaikkunan oikeasta yläkulmasta hehkulamppukuvake, jotta näet ehdotettujen sarakkeiden yhdistämisen näiden kahden taulukon välillä.

    Näyttökuva, jossa näkyy Yhdistä-valintaikkunan määritys ja ehdotetut sarakkeiden yhdistämismääritykset.

    Valitse jompi kumpi kahdesta ehdotetusta sarakkeen yhdistämismäärityksestä yksi kerrallaan yhdistäen Toimittajatunnus- ja päivämääräsarakkeet molemmista taulukoista. Kun molemmat yhdistämismääritykset lisätään, vastaavat sarakeotsikot korostetaan kummassakin taulukossa.

  4. Näyttöön tulee viesti, jossa sinua pyydetään sallimaan useiden tietolähteiden tietojen yhdistäminen tulosten tarkastelemiseksi. Valitse OKMerge -valintaikkunassa.

    Näyttökuva, jossa näkyy pyyntö hyväksyä useiden tietolähteiden tietojen yhdistäminen, OK-painike korostettuna.

  5. Taulukkoalueella näet aluksi varoituksen, jonka mukaan arviointi peruutettiin, koska useiden lähteiden tietojen yhdistäminen voi paljastaa tietoja yhdestä lähteestä toiseen. Valitse Jatka, jos mahdollisuus tietojen paljastamiseen on ok." Näytä yhdistetyt tiedot valitsemalla Jatka.

    Näyttökuva, joka näyttää varoituksen useiden tietolähteiden tietojen yhdistämisestä Jatka-painikkeen ollessa korostettuna.

  6. Huomaa, miten uusi kysely luotiin kaavionäkymässä. Näet uuden Yhdistä kysely -suhteen kahteen aiemmin luomaasi kyselyyn. Kun tarkastelet editorin taulukkoruutua, vieritä Yhdistä kysely -sarakeluettelon oikealle puolelle, niin näet uuden sarakkeen, jossa on taulukon arvot. Tämä on "Luotu NYC Taxi-Green-Discounts" -sarake, ja sen tyyppi on [Table]. Sarakeotsikossa on kuvake, jonka kaksi nuolta ovat vastakkaiseen suuntaan, joten voit valita sarakkeita taulukosta. Poista kaikkien sarakkeiden valinta paitsi Discount, ja valitse sitten OK.

    Näyttökuva, jossa näkyy yhdistetty kysely ja sarakkeen valintavalikko, joka näytetään juuri luodulle sarakkeelle Generated-NYC-Taxi-Green-Discounts.

  7. Kun alennusarvo on nyt rivitasolla, voimme luoda uuden sarakkeen kokonaissumman laskemiseksi alennuksen jälkeen. Valitse Lisää sarake -välilehti editorin yläreunasta ja valitse Mukautettu sarake -General -ryhmästä.

    Näyttökuva, jossa Lisää sarake -välilehden Lisää mukautettu sarake -painike näkyy korostettuna Lisää sarake -välilehden Yleiset-osassa .

  8. Mukautettu sarake -valintaikkunan voit käyttää Power Query -kaavakieltä (tunnetaan myös nimillä M) määrittämään, miten uusi sarake lasketaan. Anna TotalAfterDiscount- Uusi sarakenimi, valitse -tietotyypin Tietotyyppi-ja kirjoita seuraava M-lauseke Mukautettu sarakekaava -:

    , jos [totalAmount] > 0, [totalAmount] * ( 1 -[Discount] ) muuten [totalAmount]

    Valitse sitten OK.

    Näyttökuva, jossa näkyy Mukautettu sarakkeen määritys -näyttö ja korostettuna Uusi sarakkeen nimi, Tietotyyppi ja Mukautettu sarakekaava.

  9. Valitse juuri luotu TotalAfterDiscount--sarake ja valitse sitten editori-ikkunan yläreunasta Muunna -välilehti. Valitse Numero -sarakkeesta-ryhmästä avattava pyöristys -luettelo ja valitse sitten Round....

    Näyttökuva, jossa näkyy pyöreä... -vaihtoehto editorin ikkunan Muunna-välilehdessä.

  10. Syötä Round -valintaikkunandesimaalien määrälle 2 ja valitse sitten OK.

    Näyttökuva, jossa näkyy Pyöreä-valintaikkuna, jossa näkyy 2 desimaalien määrä ja OK-painike korostettuna.

  11. Muuta ipepPickupDatetime-tietotyyppi päivämäärästä päivämääräksi/ajaksi.

    Näyttökuva, jossa näkyy Päivämäärä/aika-tietotyypin valinta IpepPickupDatetime-sarakkeelle.

  12. Laajenna lopuksi editorin oikealta puolelta kyselyasetusten ruutu, jos sitä ei ole vielä laajennettu, ja nimeä kysely uudelleen Merge -Output.

    Näyttökuva, jossa näkyy kyselyn nimeäminen uudelleen Yhdistä-toiminnosta Tulosteeksi.

Lataa tuloskysely Lakehousessa olevalle taulukolle

Kun tulostekysely on nyt täysin valmis ja tiedot ovat valmiita tulostekäyttöön, voimme määrittää kyselyn tulostekohteen.

  1. Valitse aiemmin luotu Output Merge -kysely. Valitse sitten editorissa Aloitussivun -välilehti ja valitse Lisää tietokohdeKysely -ryhmittelystä ja valitse Lakehouse kohde.

    Näyttökuva, jossa näkyy Lisää tietoja -kohdepainike, jossa Lakehouse on korostettuna.

  2. Yhdistä tietokohteeseen -valintaikkunan yhteys on jo valittuna. Jatka valitsemalla Seuraava.

  3. Siirry valitse kohde -valintaikkunan Lakehouse-kohtaan, johon haluat ladata tiedot, ja anna uudelle taulukolle nimi nyc_taxi_with_discounts. Valitse sitten uudelleen Seuraava.

    Näyttökuva, jossa näkyy Valitse kohde -valintaikkuna ja Taulukon nimi -nyc_taxi_with_discounts.

  4. Jätä Valitse kohdeasetukset -valintaikkunan oletusasetusten Korvaa päivitysmenetelmä. Tarkista, että sarakkeet on yhdistetty oikein, ja valitse Tallenna asetukset.

    Näyttökuva, jossa näkyy Valitse kohdeasetukset -valintaikkuna ja Tallenna asetukset -painike korostettuna.

  5. Vahvista pääeditorin ikkunassa, että näet tulostekohteen Kyselyasetukset --ruudussa Output -taulukolle, ja valitse sitten Julkaise.

    Tärkeä

    Kun ensimmäinen tietovuo Gen2 luodaan työtilassa, Lakehouse- ja Warehouse-kohteet valmistellaan yhdessä niihin liittyvien SQL-analytiikan päätepisteiden ja semanttisten mallien kanssa. Nämä kohteet jaetaan työtilan kaikkien tietovoiden kesken, ja niitä tarvitaan, jotta Tietovuo Gen2 toimii, eikä niitä pidä poistaa eivätkä ne ole tarkoitettu käyttäjien käytettäviksi suoraan. Kohteet ovat dataflow Gen2:n toteutustietoja. Kohteet eivät näy työtilassa, mutta ne voivat olla käytettävissä muissa käyttökokemuksissa, kuten Notebook-, SQL-päätepiste-, Lakehouse- ja Warehouse-käyttökokemuksissa. Tunnistat kohteet niiden nimen etuliitteestä. Kohteiden etuliite on "TietovuotStaging".

  6. (Valinnainen) - Työtila-sivulla voit nimetä tietovuon uudelleen valitsemalla kolme pistettä sen tietovuon nimen oikealla puolella, joka tulee näkyviin, kun olet valinnut rivin, ja valitsemalla Ominaisuudet.

    Näyttökuva, jossa näkyy Ominaisuudet-vaihtoehto valittuna tietovuon valikossa, jossa se voidaan nimetä uudelleen.

  7. Valitse tietovuon päivityskuvake, kun olet valinnut sen rivin, ja kun olet valmis, sinun pitäisi nähdä uusi Lakehouse-taulukkosi, joka on määritetty Data destination -asetuksissa.

    Näyttökuva, jossa näkyy tietovuon päivittämiseen käytettävä päivityspainike.

  8. Tarkista Lakehousesta uusi sinne ladattu taulukko.

Aiheeseen liittyvä sisältö

Tässä toisessa moduulissa, joka opasti päästä päähän -opetusohjelmaan tietojen integroinnista Data Factoryn avulla Microsoft Fabricissa, opit

  • Luo uusi tietovuo Gen2.
  • Tuomaan ja muuntamaan mallitietoja.
  • Tuo ja muunna teksti- tai CSV-tietoja.
  • Yhdistä kummankin tietolähteen tiedot uudeksi kyselyksi.
  • Muunna tietoja ja luo kyselyssä uusia sarakkeita.
  • Määritä kyselyn tulosteen kohdelähde.
  • Nimeä uusi tietovuo uudelleen ja päivitä se.

Jatka seuraavaan osioon nyt integroidaksesi tietoputken.

moduuli 3: Automatisoi ja lähetä ilmoituksia Data Factory -