데이터 파이프라인을 사용하여 웨어하우스에 데이터 수집
적용 대상:✅ Microsoft Fabric 내 웨어하우스
데이터 파이프라인은 그래픽 사용자 인터페이스를 통해 COPY 명령을 사용하는 작업 대신 사용할 수 있습니다. 파이프라인은 함께 데이터 수집 작업을 수행하는 활동의 논리적 그룹화입니다. 파이프라인을 사용하면 각 작업을 개별적으로 관리하는 대신 ETL(추출, 변환 및 로드) 작업을 관리할 수 있습니다.
이 자습서에서는 샘플 데이터를 Microsoft Fabric의 웨어하우스에 로드하는 새 파이프라인을 만듭니다.
참고 항목
Azure Data Factory의 일부 기능은 Microsoft Fabric에서 사용할 수 없지만 개념은 서로 교환할 수 있습니다. Azure Data Factory 및 Azure Synapse Analytics의 파이프라인과 작업에서 Azure Data Factory 및 파이프라인에 대해 자세히 알아볼 수 있습니다. 빠른 시작은 빠른 시작: 데이터를 복사하는 첫 번째 파이프라인 만들기를 참조하세요.
데이터 파이프라인 만들기
새 파이프라인을 만들려면 작업 영역으로 이동하여 +새로 만들기 버튼을 선택하고 데이터 파이프라인을 선택합니다.
새 파이프라인을 만들려면 작업 영역으로 이동하여 + 새 항목 단추를 선택하고 데이터 파이프라인선택합니다.
- 작업 공간에서 + 새 항목을 선택하고, 데이터 가져오기 섹션에서 데이터 파이프라인 카드를 찾아보세요.
- 또는 탐색 창에서 만들기
선택합니다. Data Factory 섹션에서 Data 파이프라인 카드를 찾아보세요.
새 파이프라인 대화 상자에 새 파이프라인의 이름을 입력하고 만들기를 선택합니다.
시작 옵션이 표시되는 파이프라인 캔버스 영역에 도착합니다.
복사 데이터 도우미 옵션을 선택하여 복사 도우미를 시작합니다.
데이터 복사 도우미의 첫 번째 페이지는 다양한 데이터 원본에서 사용자 고유의 데이터를 선택하거나 제공된 샘플 중 하나를 선택하여 시작하는 데 도움이 됩니다. 이 페이지 상단의 메뉴 모음에서 샘플 데이터을 선택하세요. 이 자습서에서는 COVID-19 데이터 레이크 샘플을 사용합니다. 이 옵션을 선택하고 다음을 선택합니다.
다음 페이지에서 데이터 세트, 원본 파일 형식을 선택하고 선택한 데이터 세트를 미리 볼 수 있습니다. CSV 형식인 Bing COVID-19를 선택하고 다음을 선택합니다.
다음 페이지인 데이터 대상을 사용하면 대상 작업 영역의 형식을 구성할 수 있습니다. 작업 영역의 웨어하우스에 데이터를 로드합니다. 드롭다운 목록에서 원하는 웨어하우스를 선택하고 다음을 선택합니다.
대상을 구성하는 마지막 단계는 대상 테이블에 이름을 입력하고 열 매핑을 구성하는 작업입니다. 여기에서 데이터를 새 테이블 또는 기존 테이블로 로드하거나, 스키마 및 테이블 이름을 입력하고, 열 이름을 변경하거나, 열을 제거하거나, 매핑을 변경할 수 있습니다. 기본값을 적용하거나 설정을 기본 설정으로 조정할 수 있습니다.
옵션 검토를 마쳤으면 다음을 선택합니다.
다음 페이지에서는 스테이징을 사용할 옵션이나 T-SQL COPY 명령을 사용하는 데이터 복사 작업에 대한 고급 옵션을 제공합니다. 옵션을 변경하지 않고 검토한 후 다음선택합니다.
도우미의 마지막 페이지에서는 복사 작업의 요약을 제공합니다. 즉시 데이터 전송 시작 옵션을 선택하고 저장 + 실행을 선택합니다.
새 데이터 복사 작업이 이미 구성된 파이프라인 캔버스 영역으로 전달됩니다. 파이프라인이 자동으로 실행되도록 시작합니다. 출력 창에서 파이프라인의 상태를 모니터링할 수 있습니다.
몇 초 후에 파이프라인이 완료됩니다. 웨어하우스로 돌아가서 테이블을 선택하여 데이터를 미리 확인하고 복사 작업이 완료되었음을 확인할 수 있습니다.
Microsoft Fabric의 웨어하우스에 데이터 수집에 대한 자세한 내용은 다음을 참조하세요.