Vad är Azure Data Factory?
Låt oss börja med en översikt över Azure Data Factory som hjälper dig att avgöra om det är ett bra val för att organisera dina data för att skapa affärsinsikter.
Azure Data Factory är en molnbaserad tjänst för extrahering, transformering, inläsning (ETL) och dataintegrering som hjälper dig att skapa datadrivna arbetsflöden för att:
- Orkestrera dataförflyttning.
- Transformera data i stor skala.
Kommentar
Datadrivna arbetsflöden kallas även för pipelines.
Genom att använda Azure Data Factory kan du omorganisera rådata till meningsfulla datalager och datasjöar, vilket ger dig en grund för att fatta bättre affärsbeslut.
Vad är dataanalys?
Dataanalys är processen att samla in rådata och undersöka dem för att dra slutsatser av dem. Den här processen kan vara svår om data finns på flera platser, till exempel värdbaserade databaser och lokala platser.
Dricks
Rådata är data som har samlats in från en källa och inte har bearbetats. Det kallas ibland för oorganiserade data.
Azure tillhandahåller flera tekniker som du kan implementera för att hjälpa till med din organisations dataanalys, bland annat:
- Azure Synapse Analytics
- Azure Blob Storage
- Azure Data Lake Storage
- Azure Data Lake Analytics
- Azure Analysis Services
- Azure HDInsight
- Azure Databricks
- Azure Machine Learning
Du kan använda vissa eller alla dessa tjänster vid behov för att analysera organisationens data. Ingen av dessa tjänster hanterar dock dataintegrering. Med dataintegrering kan du samla in data från flera källor och sedan läsa in dessa kombinerade data till en plats som är lämplig för dataanalys. Om det behövs kan du transformera data under den här processen. Även om du kan utföra dessa uppgifter manuellt kan du överväga att använda Azure Data Factory.
Azure Data Factory-definition
Azure Data Factory är en molnbaserad dataintegreringstjänst som utformats för att tillgodose behoven i två specifika communities, enligt beskrivningen i följande tabell:
| Community | Beskrivning av communityns behov |
|---|---|
| Stordatacommunity | Den här communityn förlitar sig på tekniker för att hantera stora mängder olika data. För dem tillhandahåller Azure Data Factory ett sätt att skapa och köra pipelines i molnet. Dessa pipelines kan komma åt både molnbaserade och lokala datatjänster. Dessa pipelines fungerar vanligtvis med tekniker som Azure Synapse Analytics, Azure Blobs och Azure Data Lake. Dessutom Azure HDInsight, Azure Databricks och Azure Machine Learning. |
| Community för relationsdatalager | Den här communityn förlitar sig vanligtvis på tekniker som Microsoft SQL Server. SQL Server Integration Services (SSIS) används ofta för att skapa SSIS-paket. Azure Data Factory ger den här communityn möjlighet att köra SSIS-paket på Azure, vilket ger dem åtkomst till både molnbaserade och lokala datatjänster. |
Kommentar
Ett paket liknar en Azure Data Factory-pipeline. Varje paket definierar en process för att extrahera, läsa in, transformera eller på annat sätt arbeta med data.
Huvudpunkten är att Azure Data Factory är en enda molntjänst för dataintegrering. Den innehåller en enda uppsättning verktyg och ett gemensamt hanteringsgränssnitt för all dataintegrering som stöder alla dina datakällor, oavsett var de finns:
- Azure
- Lokal
- En offentlig molnplattform från tredje part
Så här kan Azure Data Factory hjälpa dig med dataanalys
Genom att använda Azure Data Factory kan du:
Skapa komplexa ETL-processer. Dessa processer kan transformera data visuellt med hjälp av antingen dataflöden eller beräkningstjänster, till exempel:
- Azure HDInsight Hadoop
- Azure Databricks
- Azure SQL Database
Publicera dessa transformerade data till datalager som business intelligence-appar kan använda.
I följande bild är externa datakällor anslutna till Azure Data Factory. En lagringsblob används för att mata in data, medan Azure Synapse Analytics används som lagring. Dessa element tillhandahåller orkestreringen. Analys- och visualiseringskomponenterna, Azure Analysis Service och Power BI är också anslutna till Azure Data Factory.
Dricks
Azure Data Factory tillhandahåller mer än 90 inbyggda, underhållsfria anslutningsappar.