다음을 통해 공유

Azure Event Hubs의 스키마 레지스트리

  • 아티클

스키마 레지스트리는 데이터 일관성을 유지하고, 스키마 진화를 간소화하고, 상호 운용성을 향상시키고, 개발 노력을 줄이기 위해 느슨하게 결합된 이벤트 스트리밍 워크플로에서 매우 중요합니다. 스키마에 대한 중앙 집중식 리포지토리를 사용하는 대규모 분산 조직에서 운영 오버헤드가 거의 없는 매우 안정적인 데이터 처리 및 거버넌스를 보장합니다.

Azure Event Hubs의 스키마 레지스트리는 스키마 기반 이벤트 스트리밍 시나리오에서 여러 역할을 수행합니다.

  • 여러 스키마를 등록, 관리 및 발전할 수 있는 리포지토리를 제공합니다.
  • 여러 호환성 규칙을 사용하여 관리되는 스키마 진화
  • 스키마화된 모든 데이터에 대한 데이터 유효성 검사를 수행합니다.
  • 생산자 및 소비자를 위한 클라이언트 쪽 라이브러리(직렬 변환기 및 역직렬 변환기)를 제공합니다.
  • 모든 페이로드에 대한 스키마 정의 대신 스키마 ID를 전달하여 네트워크 처리량 효율성을 향상시킵니다.

참고 항목

스키마 레지스트리는 표준, 프리미엄 및 전용 계층에서 지원됩니다.

스키마 레지스트리 구성 요소

스키마 레지스트리는 Event Hubs 네임스페이스의 컨텍스트에 있지만 모든 Azure 메시징 서비스 또는 다른 메시지 또는 이벤트 브로커와 함께 사용할 수 있습니다. 스키마의 논리적 그룹 역할을 하고 다른 스키마 그룹과 독립적으로 관리할 수 있는 여러 스키마 그룹으로 구성됩니다.

Azure Event Hubs에서 스키마 레지스트리의 구성 요소를 보여 주는 다이어그램.

스키마

느슨하게 결합된 시스템에는 주로 데이터를 통해 서로 통신하는 여러 애플리케이션이 있습니다. 스키마는 이러한 생산자와 소비자 애플리케이션 간의 계약이 잘 정의되도록 데이터의 구조를 정의하는 선언적 방법으로 작동하여 대규모로 안정적인 처리를 보장합니다.

스키마 정의에는 다음이 포함됩니다.

  • 필드 - 개별 데이터 요소의 이름(이름/성, 책 제목, 주소)입니다.
  • 데이터 형식 - 각 필드에 저장할 수 있는 데이터의 종류(예: 문자열, 날짜-시간, 배열)입니다.
  • 구조 - 다른 필드(즉, 중첩된 구조체 또는 배열)의 구성입니다.

스키마는 생산자와 소비자 간의 계약을 정의합니다. Event Hubs 스키마 레지스트리에 정의된 스키마는 이벤트 데이터 외부에서 계약을 관리하는 데 도움이 되므로 페이로드 오버헤드가 제거됩니다.

스키마 형식

스키마 형식은 스키마가 구조화되고 정의된 방식을 결정하는 데 사용되며, 각 형식에는 이벤트 스트리밍에 사용할 이벤트의 구조를 정의하기 위한 특정 지침 및 구문이 요약되어 있습니다.

Avro 스키마

Avro는 압축 이진 형식을 사용하고 스키마 진화 기능을 제공하는 인기 있는 데이터 직렬화 시스템입니다.

Event Hubs 스키마 레지스트리에서 Avro 스키마 형식을 사용하는 방법에 대한 자세한 내용은 다음을 참조하세요.

JSON 스키마

JSON 스키마는 이벤트의 구조 및 데이터 형식을 정의하는 표준화된 방법입니다. JSON 스키마를 사용하면 이벤트 스트리밍에서 JSON 데이터 형식을 신뢰할 수 있고 안정적으로 사용할 수 있습니다.

Event Hubs 스키마 레지스트리에서 JSON 스키마 형식을 사용하는 방법에 대한 자세한 내용은 다음을 참조하세요.

Protobuf

프로토콜 버퍼 는 구조화된 데이터를 직렬화하기 위한 언어 중립적이고 플랫폼 중립적이며 확장 가능한 메커니즘입니다. 데이터 구조를 효율적으로 정의하고 압축된 이진 형식으로 직렬화하는 데 사용됩니다.

스키마 그룹

스키마 그룹은 비즈니스 조건에 따라 유사한 스키마의 논리적 그룹입니다. 스키마 그룹이 보유합니다.

  • 여러 스키마 정의,
  • 특정 스키마의 여러 버전 및
  • 그룹의 모든 스키마에 대한 스키마 유형 및 호환성과 관련된 메타데이터입니다.

스키마 그룹은 별도의 권한 부여 모델을 사용하여 특정 애플리케이션 또는 조직 구성 단위에 맞춰 스키마 레지스트리의 하위 집합으로 간주할 수 있습니다. 이 추가 보안 경계는 공유 서비스 모델에서 메타데이터 및 영업 비밀이 유출되지 않도록 합니다. 또한 애플리케이션 소유자는 동일한 네임스페이스를 공유하는 다른 애플리케이션과 독립적인 스키마를 관리할 수 있습니다.

스키마 진화

스키마는 생산자 및 소비자의 비즈니스 요구 사항에 따라 진화해야 합니다. Azure 스키마 레지스트리는 스키마 그룹 수준에서 호환성 모드를 도입하여 스키마 진화를 지원합니다. 스키마 그룹을 만들 때 해당 스키마 그룹에 포함하는 스키마의 호환성 모드를 지정할 수 있습니다. 스키마를 업데이트 하는 경우 변경 내용은 할당된 호환성 모드를 준수해야 하며, 이 경우에만 스키마의 새 버전을 만듭니다.

참고 항목

스키마 진화는 Avro 스키마 형식에 대해서만 지원됩니다.

Event Hubs에 대한 Azure 스키마 레지스트리는 다음과 같은 호환성 모드를 지원합니다.

이전 버전과의 호환성

이전 버전과의 호환성 모드에서는 소비자 코드가 새 버전의 스키마를 사용할 수 있지만, 이전 버전의 스키마를 사용하여 메시지를 처리할 수도 있습니다. 스키마 그룹에서 이전 버전과의 호환성 모드를 사용하면 스키마에 대해 다음과 같은 변경 작업을 수행할 수 있습니다.

  • 필드 삭제.
  • 선택적 필드 추가

이후 버전과의 호환성

다음 버전과의 호환성 모드에서는 소비자 코드가 이전 버전의 스키마를 사용할 수 있지만 새 스키마를 사용하여 메시지를 읽을 수도 있습니다. 다음 버전과의 호환성 모드를 사용 하면 스키마에 대해 다음과 같은 변경 작업을 수행할 수 있습니다.

  • 필드 추가
  • 선택적 필드 삭제

호환성 없음

None 호환성 모드를 사용하면 스키마를 업데이트할 때 스키마 레지스트리에서 호환성 검사를 수행하지 않습니다.

클라이언트 SDK

다음 라이브러리 중 하나를 사용하여 Avro 직렬 변환기를 포함할 수 있습니다. 이를 통해 스키마 레지스트리 스키마 식별자 및 Avro 인코딩 데이터가 포함된 페이로드를 직렬화 및 역직렬화할 수 있습니다.

제한

Event Hubs 한도(예: 네임스페이스의 스키마 그룹 수)는 Event Hubs 할당량 및 한도를 참조하세요.

Azure 역할 기반 액세스 제어

프로그래밍 방식으로 스키마 레지스트리에 액세스하려면 다음 단계를 수행합니다.

  1. Microsoft Entra ID에 애플리케이션 등록
  2. 네임스페이스 수준에서 다음 Azure RBAC(역할 기반 액세스 제어) 역할 중 하나에 애플리케이션의 보안 주체를 추가합니다.
역할 설명
소유자 스키마 레지스트리 그룹 및 스키마를 읽고, 쓰고, 삭제합니다.
참가자 스키마 레지스트리 그룹 및 스키마를 읽고, 쓰고, 삭제합니다.
스키마 레지스트리 판독기 스키마 레지스트리 그룹 및 스키마를 읽고 나열합니다.
스키마 레지스트리 기여자 스키마 레지스트리 그룹 및 스키마를 읽고, 쓰고, 삭제합니다.

Azure Portal을 사용하여 애플리케이션 등록을 만드는 방법에 대한 지침은 Microsoft Entra ID로 앱 등록을 참조하세요. 코드에서 사용할 클라이언트 ID(애플리케이션 ID), 테넌트 ID 및 비밀을 적어 둡니다.

다음 단계