다음을 통해 공유

Microsoft Fabric의 Data Factory 파이프라인에 대한 CI/CD

  • 아티클

Fabric Data Factory에서 CI/CD(지속적인 통합 및 지속적인 개발)는 코드 변경의 통합, 테스트 및 배포를 자동화하여 효율적이고 안정적인 개발을 보장합니다.

Fabric에는 현재 ALM(애플리케이션 수명 주기 관리) 팀과 공동으로 지원하는 두 가지 기능인 Git 통합 및 배포 파이프라인이 있습니다. 이러한 기능을 통해 사용자는 개별 업데이트를 사용하여 작업 영역 리소스를 가져오거나 내보낼 수 있습니다.

Fabric Data Factory CI/CD 솔루션은 ARM 템플릿 내보내기 방법론을 사용하는 전체 팩터리 업데이트가 선호되는 Azure Data Factory 모델에서 제외됩니다. 이러한 방법론의 변화를 통해 고객은 전체 공장을 중단하지 않고도 업데이트할 파이프라인을 선별적으로 선택할 수 있습니다. Git 통합(Bring Your Own Git)과 배포 파이프라인(내장 CI/CD)은 모두 단일 작업 영역을 단일 환경과 연결하는 개념을 사용합니다. 개발, 테스트 및 프로덕션과 같은 다양한 환경에 다른 작업 영역을 매핑해야 합니다.

개발자가 CI/CD를 사용하는 이유

CI/CD는 소프트웨어 배달을 자동화하는 사례이며 몇 가지 중요한 문제를 해결합니다.

  • 수동 통합 문제: CI/CD가 없으면 코드 변경 내용을 수동으로 통합하면 충돌 및 오류가 발생하여 개발 속도가 느려질 수 있습니다.
  • 개발 지연: 수동 배포는 시간이 오래 걸리고 오류가 발생하기 쉽기 때문에 새로운 기능 및 업데이트 제공이 지연됩니다.
  • 일관되지 않은 환경: 다양한 환경(개발, 테스트 및 프로덕션)에 불일치가 발생하여 디버그하기 어려운 문제가 발생할 수 있습니다.
  • 가시성 부족: CI/CD가 없으면 변경 내용을 추적하고 코드베이스의 상태를 이해하는 것이 어려울 수 있습니다.

CI/CD, Git 및 배포 파이프라인 이해

CI/CD는 연속 통합 및 지속적인 배포로 구성됩니다.

CI(연속 통합)

개발자는 Git 관리 주 분기에 자주 커밋하여 자동화된 테스트 및 통합을 위한 빌드를 트리거합니다. Git은 변경 내용을 추적하여 새 커밋을 자동으로 가져오고 테스트할 수 있도록 합니다.

CD(지속적인 배포)

배포 파이프라인 내에서 구조적 배포 단계를 통해 프로덕션 개발에 확인된 변경 내용을 배포하는 데 중점을 둡니다.

Data Factory 파이프라인과 Git 통합

Git은 개발자가 코드베이스의 변경 내용(또는 파이프라인의 경우 JSON 코드 정의)을 추적하고 다른 사용자와 공동 작업할 수 있는 버전 제어 시스템입니다. 코드 변경 내용이 저장 및 관리되는 중앙 집중식 리포지토리를 제공합니다. 현재 Git은 GitHub 또는 Azure DevOps를 통해 패브릭에서 지원됩니다. Git을 사용할 때 이해해야 할 몇 가지 주요 워크플로 필수 사항이 있습니다.

  • 주 분기: 마스터 분기라고도 하는 주 분기는 프로덕션 준비 코드를 보유합니다.
  • 기능 분기: 이러한 분기는 주 분기와 별개이며 주 분기를 변경하지 않고 격리된 개발을 허용합니다.
  • 끌어오기 요청(PR): 사용자가 통합하기 전에 변경 내용을 제안, 검토 및 논의할 수 있습니다.
  • 병합: 변경 내용이 승인될 때 발생합니다. Git은 이러한 변경 내용을 통합하여 프로젝트를 지속적으로 업데이트합니다.

Git에 대한 배포 파이프라인

배포 파이프라인은 Git과 긴밀하게 통합됩니다. 개발자가 Git 리포지토리에 코드 변경 내용을 푸시하면 CI/CD 파이프라인이 트리거됩니다. 이 통합을 통해 최신 코드 변경 내용이 항상 테스트되고 자동으로 배포됩니다.

단계 및 작업

배포 파이프라인은 각 단계 내의 여러 단계 및 작업으로 구성됩니다. 일반적으로 이러한 단계는 개발(코드 컴파일), 테스트(테스트 실행) 및 프로덕션(애플리케이션 배포)의 세 가지 환경으로 구분됩니다. 파이프라인은 이러한 단계를 진행하여 코드가 철저하게 테스트되고 제어된 방식으로 배포되도록 합니다.

자동화된 워크플로

배포 파이프라인은 코드를 빌드, 테스트 및 배포하는 전체 프로세스를 자동화합니다. 이 자동화는 사용자 오류의 위험을 줄이고, 개발 프로세스를 가속화하며, 코드 변경 내용이 일관되고 안정적으로 프로덕션에 전달되도록 합니다.

Data Factory 파이프라인에 대한 Git 통합 시작

Data Factory에서 파이프라인에 대한 Git 통합을 설정하려면 다음 단계를 수행합니다.

Git 통합을 위한 필수 구성 요소

Microsoft Fabric 작업 영역을 사용하여 Git에 액세스하려면 Fabric 및 Git 모두에 대해 다음 필수 구성 요소를 확인합니다.

1단계: Git 리포지토리에 연결

패브릭의 Data Factory 파이프라인과 Git 통합을 사용하려면 먼저 여기에 설명된 대로 Git 리포지토리에 연결해야 합니다.

  1. Fabric에 로그인하고 Git에 연결하려는 작업 영역으로 이동합니다.

  2. 작업 영역 설정을 선택합니다.

    패브릭 UI에서 작업 영역 설정을 선택할 위치를 보여 주는 스크린샷

  3. Git 통합을 선택합니다.

  4. Git 공급자를 선택합니다. 현재 Fabric은 Azure DevOps 또는 GitHub만 지원합니다. GitHub를 사용하는 경우 GitHub 계정을 연결하려면 계정 추가를 선택해야 합니다. 로그인한 후 연결을 선택하여 Fabric이 GitHub 계정에 액세스할 수 있도록 합니다.

    패브릭 작업 영역 Git 통합을 위해 GitHub 계정을 추가할 위치를 보여 주는 스크린샷

2단계: 작업 영역에 연결

Git 리포지토리에 연결한 후에는 여기에 설명된 대로 작업 영역에 연결해야 합니다.

  1. 드롭다운 메뉴에서 연결하려는 분기에 대해 다음 세부 정보를 지정합니다.

    1. Azure DevOps 분기 연결의 경우 다음 세부 정보를 지정합니다.

      • 조직: Azure DevOps 조직 이름입니다.
      • 프로젝트: Azure DevOps 프로젝트 이름입니다.
      • 리포지토리: Azure DevOps 리포지토리 이름입니다.
      • 분기: Azure DevOps 분기 이름입니다.
      • 폴더: Azure DevOps 폴더 이름입니다.

    2. GitHub 분기 연결의 경우 다음 세부 정보를 지정합니다.

      • 리포지토리 URL: GitHub 리포지토리 URL입니다.
      • 분기: GitHub 분기 이름입니다.
      • 폴더: GitHub 폴더 이름입니다.

  2. 연결 및 동기화를 선택합니다.

  3. 연결한 후 작업 영역에는 사용자가 연결된 분기, 분기의 각 항목 상태 및 마지막 동기화 시간을 볼 수 있는 소스 제어에 대한 정보가 표시됩니다.

    Git 상태 및 파이프라인에 대해 보고된 기타 세부 정보가 있는 패브릭 작업 영역을 보여 주는 스크린샷

3단계: Git에 변경 내용 커밋

Git 리포지토리 및 작업 영역에 연결한 후 여기에 설명된 대로 Git에 변경 내용을 커밋할 수 있습니다.

  1. 작업 영역으로 이동합니다.

  2. 소스 제어 아이콘을 선택합니다. 이 아이콘은 커밋되지 않은 변경 수를 보여줍니다.

    패브릭 작업 영역 UI의 소스 제어 단추 스크린샷

  3. 소스 제어판에서 변경 내용 탭을 선택합니다. 변경한 모든 항목과 새 항목, 수정됨, 충돌또는 삭제됨의 상태를 나타내는 아이콘이 있는 목록이 나타납니다.

  4. 커밋할 항목을 선택합니다. 항목을 모두 선택하려면 맨 위 확인란을 선택합니다.

  5. (선택 사항) 상자에 커밋 주석을 추가합니다.

  6. 커밋을 선택합니다.

    Git 커밋에 대한 소스 제어 대화 상자의 스크린샷.

변경 내용이 커밋되면 커밋된 항목이 목록에서 제거되고 작업 영역은 동기화된 새 커밋을 가리킵니다.

4단계: (선택 사항) Git에서 작업 영역 업데이트

  1. 작업 영역으로 이동합니다.

  2. 소스 제어 아이콘을 선택합니다.

  3. 소스 제어판에서 업데이트를 선택합니다. 마지막 업데이트 이후 Git 연결 원본에서 분기에서 변경된 모든 항목과 함께 목록이 나타납니다.

  4. 모두 업데이트를 선택합니다.

    패브릭 UI에서 소스 제어 대화 상자의 업데이트 탭을 보여 주는 스크린샷

업데이트가 성공적으로 완료되면 항목 목록이 제거되고 작업 영역이 동기화되는 새 커밋을 가리킵니다.

Git용 배포 파이프라인 시작

패브릭 작업 영역에서 Git 배포 파이프라인을 사용하려면 다음 단계를 수행합니다.

배포 파이프라인에 대한 필수 구성 요소

시작하기 전에 다음 필수 구성 요소를 설정해야 합니다.

1단계: 배포 파이프라인 만들기

  1. 작업 영역 플라이아웃에서 배포 파이프라인을 선택합니다.

    패브릭 UI의 배포 파이프라인 단추가 있는 작업 영역 플라이아웃을 보여 주는 스크린샷

  2. 파이프라인 만들기 또는 + 새 파이프라인을 선택합니다.

2단계: 파이프라인 이름 지정 및 단계 할당

  1. 배포 파이프라인 만들기 대화 상자에서 파이프라인의 이름 및 설명을 입력하고 다음을 선택합니다.

  2. 배포 파이프라인에 필요한 스테이지를 정의하여 배포 파이프라인의 구조를 설정합니다. 기본적으로 파이프라인에는 개발, 테스트 및 프로덕션의 세 단계가 있습니다.

    기본 배포 파이프라인 단계를 보여 주는 스크린샷

    상자에 새 이름을 입력하여 다른 스테이지를 추가하거나, 스테이지를 삭제하거나, 이름을 바꿀 수 있습니다. 완료되면 만들기(또는 만들기 및 계속)를 선택합니다.

    채워진 샘플 배포 파이프라인을 보여 주는 스크린샷.

3단계: 배포 파이프라인에 작업 영역 할당

파이프라인을 만든 후에는 관리하려는 콘텐츠를 파이프라인에 추가해야 합니다. 파이프라인 단계에 작업 영역을 할당하여 파이프라인에 콘텐츠를 추가합니다. 모든 단계에 작업 영역을 할당할 수 있습니다. 지침에 따라 파이프라인에 작업 영역을 할당합니다.

4단계: 빈 단계에 배포

  1. 하나의 파이프라인 단계에서 콘텐츠 작업을 마치면 다음 단계에 배포할 수 있습니다. 배포 파이프라인은 콘텐츠를 배포할 때 다음 세 가지 옵션을 제공합니다.

    • 전체 배포: 모든 콘텐츠를 대상 단계에 배포합니다.
    • 선택적 배포: 대상 단계에 배포할 콘텐츠를 선택합니다.
    • 이전 버전 배포: 이후 단계에서 파이프라인의 이전 단계로 콘텐츠를 배포합니다. 현재 역방향 배포는 대상 스테이지가 비어 있는 경우에만 가능합니다(할당된 작업 영역이 없음).

  2. 콘텐츠를 배포하는 방법을 선택한 후 배포를 검토하고 메모를 남길 수 있습니다.

5단계: 한 단계에서 다른 단계로 콘텐츠 배포

  1. 하나의 파이프라인 스테이지에 콘텐츠가 있으면 다음 스테이지 작업 영역에 콘텐츠가 있더라도 이 콘텐츠를 다음 스테이지에 배포할 수 있습니다. 페어링된 항목은 덮어씁니다. 기존 작업 영역에 콘텐츠 배포 섹션에서 이 프로세스 에 대해 자세히 알아볼 수 있습니다 .
  2. 배포 기록을 검토하여 각 스테이지에 콘텐츠가 마지막으로 배포된 시간을 확인할 수 있습니다. 배포하기 전에 두 파이프라인 간의 차이점을 검사하려면 다른 배포 단계의 콘텐츠 비교를 참조 하세요.

알려진 제한 사항

Microsoft Fabric의 Data Factory 파이프라인에 대한 CI/CD에는 다음과 같은 알려진 제한 사항이 적용됩니다.

  • 작업 영역 변수: CI/CD는 현재 작업 영역 변수를 지원하지 않습니다.
  • Git 통합 제한 지원: 현재 Fabric은 Azure DevOps 및 GitHub와의 Git 통합만 지원합니다. GitHub Git 통합에 더 많은 제한 사항이 있으므로 Azure DevOps Git 통합을 사용하는 것이 좋습니다.
  • OAuth 커넥터를 사용한 파이프라인 작업: MS Teams 및 Outlook 커넥터의 경우 더 높은 환경에 배포할 때 사용자는 각 파이프라인을 수동으로 열고 각 작업에 로그인해야 합니다. 이는 현재 제한 사항입니다.
  • 데이터 흐름을 호출하는 파이프라인: 데이터 흐름을 호출하는 파이프라인이 승격되면 이전 작업 영역의 데이터 흐름을 계속 참조합니다. 이는 잘못된 것입니다. 이 동작은 현재 배포 파이프라인에서 데이터 흐름이 지원되지 않기 때문에 발생합니다.

관련 콘텐츠