Jaa

Pikaopas: Apache-ilmavuotyön luominen

  • Artikkeli

Muistiinpano

Apache Airflow -työnkulku toimii Apache Airflow'lla.
Apache Airflow on avoimen lähdekoodin ympäristö, jolla luodaan, ajoitetaan ja valvotaan monimutkaisia töitä ohjelmallisesti. Sen avulla voit määrittää joukon tehtäviä, joita kutsutaan operaattoreiksi ja jotka voidaan yhdistää suunnattuihin asyklisiin kuvaajiin (DAG), jotka edustavat tietoputkia.

Apache Airflow Job on yksinkertainen ja tehokas tapa luoda ja hallita Apache Airflow -ympäristöjä, joiden avulla voit suorittaa orkestrointitöitä suuressa mittakaavassa helposti. Tässä pikaoppaassa luomme yksinkertaisen Apache Airflow -työn, jonka avulla perehdymme Apache Airflow Jobin ympäristöön ja toimintoihin.

Edellytykset

  • Ota Apache Airflow Job käyttöön vuokraajassasi.

Muistiinpano

Koska Apache Airflow -työ on esikatselutilassa, sinun on otettava se käyttöön vuokraajan järjestelmänvalvojan kautta. Jos näet jo Apache Airflow Job -kohteen, vuokraajasi järjestelmänvalvoja on saattanut jo ottaa sen käyttöön.

  1. Siirry hallintaportaaliin -> Vuokraaja-asetukset –> Laajenna Kohdassa Microsoft Fabric -> Laajenna "Käyttäjät voivat luoda ja käyttää Apache Airflow Job (esikatselu)" -osiota.
  2. Valitse Käytä.

Näyttökuva Apache Airflow'n käyttöönottamiseksi vuokraajassa.

Apache Airflow -työn luominen

  1. Voit käyttää aiemmin luotua työtilaa tai luoda uuden työtilan.

  2. Laajenna-valikko + New -> Napsauta Lisää vaihtoehtoja –> Kohdassa Data Factory -> Valitse Apache-ilmavuotyö (esikatselu)

    Näyttökuvassa näkyy lisää vaihtoehtoja napsauttamalla.

    Näyttökuva Apache Airflow Jobin valitsemiseksi.

  3. Anna projektillesi sopiva nimi ja napsauta Luo-painiketta.

DAG-tiedoston luominen

  1. Napsauta "Uusi DAG-tiedosto" -korttia -> anna tiedostolle nimi ja napsauta "Luo"-painiketta.

    Näyttökuva DAG-tiedoston nimeksi.

  2. DAG-kattilakoodi näytetään sinulle. Voit muokata tiedostoa tarpeidesi mukaan.

    Näyttökuva esittää DAG-tiedoston kattilassa Microsoft Fabricissa.

  3. Napsauta "Tallenna-kuvake".

    Näyttökuvassa esitetään DAG-tiedoston tallentaminen Microsoft Fabricissa.

DAG:n suorittaminen

  1. Aloita napsauttamalla "Suorita DAG" -painiketta.

    Näyttökuva DAG:n suorittamiseen tietojen työnkulkujen käyttöliittymästä.

  2. Kun raportti on käynnistetty, näkyviin tulee heti ilmoitus, joka ilmaisee DAG:n olevan käynnissä.

  3. Jos haluat seurata DAG-suorituksen edistymistä, napsauta ilmoituskeskuksen Näytä tiedot -painiketta. Tämä toiminto ohjaa sinut Apache Airflow -käyttöliittymään, jossa voit kätevästi seurata DAG-suorituksen tilaa ja tietoja.

    Näyttökuva, jossa voit siirtyä ilmoituskeskuksesta Apache Airflow -käyttöliittymään.

Apache Airflow DAG -valvonta Apache Airflow -käyttöliittymässä

Tallennetut dag-tiedostot ladataan Apache Airflow -käyttöliittymään. Voit valvoa niitä napsauttamalla "Monitor in Apache Airflow" -painiketta.

Näyttökuva, joka valvoo Airflow DAG -mittaria.

Näyttökuvassa näkyy ladattu airflow-DAG.

Aiheeseen liittyvä sisältö