Azure Data Factory 복사 작업을 사용하여 Fabric으로 데이터를 수집하는 방법
ADF(Azure Data Factory) 및 Azure Synapse Analytics의 Microsoft Fabric Lakehouse 커넥터를 사용하면 Microsoft Fabric Lakehouse(테이블 및 파일 모두)에 대한 읽기 및 쓰기 작업을 모두 수행할 수 있습니다. 이 커넥터는 기존 ADF 및 Synapse 파이프라인 및 매핑 데이터 흐름을 사용하여 Fabric Lakehouses와 상호 작용하는 기능을 제공합니다. 이 문서는 서비스 주체 인증을 허용하도록 Microsoft Fabric을 구성한 다음, Fabric Lakehouse에 대한 읽기 및 쓰기용 Lakehouse 커넥터를 보여 줍니다.
Microsoft Fabric Lakehouse에 대한 자세한 내용은 Lakehouse란?을 참조하세요
Azure Data Factory Lakehouse 커넥터
이제 Microsoft Fabric Lakehouse에서 읽고 쓰기 시작하려는 고객이 새로운 Lakehouse 연결된 서비스 커넥터와 두 개의 새 데이터 세트를 사용할 수 있습니다. Lakehouse 커넥터에 대한 전체 가이드는 Microsoft Fabric Lakehouse 파일(미리 보기)의 데이터 복사 및 변환을 참조하세요.
인증
Azure Data Factory의 연결된 서비스
Microsoft Fabric Lakehouse 커넥터에는 인증을 위해 SPN(서비스 주체)/앱 등록이 필요합니다. 시작하려면 새 SPN을 만들거나 기존 SPN을 사용해야 합니다. Microsoft Fabric은 특정 보안 그룹 또는 전체 조직에 대한 SPN 액세스를 허용합니다. 특정 보안 그룹이 조직에서 사용하는 옵션인 경우 Lakehouse 커넥터에 사용되는 SPN은 허용 목록에 추가된 보안 그룹에 속해야 합니다.
참고 항목
Power BI API 권한(위임됨)이 필요하지 않음
Power BI API에 액세스
Power BI 관리 포털에서 Power BI 테넌트 관리자는 서비스 주체가 Power BI API를 사용하도록 허용을 활성화해야 합니다. 보안 그룹은 서비스 주체가 Power BI API를 사용할 수 있도록 허용 설정에서 지정하거나 전체 organization에 대해 사용하도록 설정할 수 있습니다.
전체 가이드는 서비스 주체 및 애플리케이션 비밀을 사용하여 임베디드 분석 애플리케이션에 Power BI 콘텐츠 포함을 참조하세요.
참고 항목
보안 그룹을 작업 영역에 할당할 때 Azure의 권한 캐싱으로 인해 서비스 주체에 작업 영역에 대한 액세스 권한이 부여되는 것이 지연될 수 있습니다. 즉시 액세스해야 하는 경우 PowerShell을 사용하여 사용자의 권한을 강제로 새로 고칠 수 있습니다. 그렇게 하려면, 관리자 권한으로 PowerShell을 열고 다음 명령을 실행합니다.
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
작업 영역 액세스
보안 그룹이 추가되면 보안 그룹 또는 서비스 주체도 구성원, 기여자 또는 관리자로 각 작업 영역에 추가되어야 합니다. 자세한 내용은 사용자에게 작업 영역에 대한 액세스 권한 부여를 참조하세요.
데모: 인증 설정
앱 등록 서비스 주체
기존 앱 등록 서비스 주체(SPN)를 만들거나 사용합니다. Microsoft Entra ID로 애플리케이션을 등록하고 서비스 주체 만들기의 단계를 따릅니다.
참고 항목
리디렉션 URI를 할당할 필요가 없습니다.
보안 그룹
새 Microsoft Entra 보안 그룹을 만들거나 기존 그룹을 사용한 다음 SPN을 추가합니다. 기본 그룹 만들기 및 구성원 추가의 단계를 따라 Microsoft Entra ID 보안 그룹을 만드는 방법을 알아봅니다.
Power BI 관리 포털
Power BI 관리 포털에서 개발자 설정으로 이동하고 서비스 주체가 Power BI API를 사용하도록 허용을 선택한 다음, 사용하도록 설정합니다. 그런 다음 이전 단계의 보안 그룹을 추가합니다. Power BI 관리 포털 테넌트 설정의 자세한 내용은 테넌트 설정을 참조하세요.
참고 항목
사용자가 Fabric 외부 앱을 사용하여 OneLake에 저장된 데이터에 액세스할 수 있도록 설정을 확인하세요. OneLake를 통해 Fabric 외부에서 실행되는 앱이 데이터에 액세스하도록 허용을 참조하세요.
작업 영역
구성원, 기여자 또는 관리자 액세스 권한이 있는 작업 영역에 SPN 또는 서비스 그룹을 추가합니다.
Azure Data Factory: 연결된 서비스
Azure Data Factory에서 새 Microsoft Fabric Lakehouse 연결된 서비스를 만듭니다.
참고 항목
작업 영역 및 Lakehouse ID를 찾으려면 Fabric Lakehouse로 이동하여 URL에서 식별합니다. 예: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse ID>
Azure Data Factory: 데이터 세트
Microsoft Fabric Lakehouse 연결된 서비스를 참조하는 데이터 세트를 만듭니다.
참고 항목
테이블이 아직 존재하지 않고 새 테이블 이름을 수동으로 지정하는 경우 스키마 가져오기 옵션에 대해 없음을 선택합니다.
데모: ADF 파이프라인을 사용하여 Fabric Lakehouse 테이블에 쓰기
Source
새 파이프라인을 만들고 파이프라인 캔버스에 복사 작업을 추가합니다. 복사 작업의 원본 탭에서 Lakehouse 테이블로 이동할 원본 데이터 세트를 선택합니다. 이 예제에서는 ADLS(Azure Data Lake Storage) Gen2 계정에서 .csv 파일을 참조합니다.
싱크
복사 작업의 싱크 탭으로 이동하여 이전에 만든 Fabric Lakehouse 데이터 세트를 선택합니다.
파이프라인 실행
파이프라인을 실행하여 .csv 데이터를 Fabric Lakehouse 테이블로 이동시킵니다.
데모: ADF 파이프라인을 사용하여 Fabric Lakehouse 테이블에서 읽기
위의 섹션에서는 ADF를 사용하여 Fabric Lakehouse 테이블에 쓰는 방법을 설명했습니다. 이제 Fabric Lakehouse 테이블에서 읽고 비슷한 파이프라인을 사용하여 ADLS(Azure Data Lake Storage) Gen2의 Parquet 파일에 쓰겠습니다.
Source
새 파이프라인을 만들고 파이프라인 캔버스에 복사 작업을 추가합니다. 복사 작업 원본 탭에서 이전에 만든 Fabric Lakehouse 데이터 세트를 선택합니다.
싱크
복사 작업의 싱크 탭으로 이동하여 목적지 데이터 세트를 선택합니다. 이 예제에서 목적지는 Parquet 파일인 Azure Data Lake Storage(Gen2)입니다.
파이프라인 실행
파이프라인을 실행하여 Fabric Lakehouse 테이블에서 ADLS Gen2의 Parquet 파일로 데이터를 이동시킵니다.
ADLS Gen2에서 Parquet 파일 검사
이제 Fabric Lakehouse 테이블의 데이터를 ADLS Gen2에서 Parquet 파일로 사용할 수 있습니다.
요약
이 섹션에서는 Microsoft Fabric Lakehouse에 대한 서비스 주체 인증을 사용하여 Lakehouse 커넥터에 대한 요구 사항을 탐색한 다음, Azure Data Factory 파이프라인에서 Lakehouse를 읽고 쓰는 예제를 살펴보았습니다. 이 커넥터 및 기능은 Azure Data Factory 매핑 데이터 흐름, Azure Synapse Analytics 및 Azure Synapse Analytics 매핑 데이터 흐름에서도 사용할 수 있습니다.