Azure Synapse 서버리스 SQL 풀 기능 및 사용 사례 이해

  • 5분

Azure Synapse Analytics는 데이터를 대규모로 처리하고 분석하기 위해 일반적으로 사용되는 다양한 기술을 통합한 통합 분석 서비스입니다. 데이터 솔루션에 가장 널리 사용되는 기술 중 하나는 데이터를 쿼리하고 조작하기 위한 업계 표준 언어인 SQL입니다.

Azure Synapse Analytics의 서버리스 SQL 풀

Azure Synapse SQL은 두 종류의 런타임 환경을 제공하는 Azure Synapse Analytics의 분산 쿼리 시스템입니다.

  • 서버리스 SQL 풀: 주문형 SQL 쿼리 처리로, 주로 데이터 레이크의 데이터 작업에 사용됩니다.
  • 전용 SQL 풀: 엔터프라이즈 스케일의 관계형 데이터베이스 인스턴스로 데이터가 관계형 테이블로 저장되는 데이터 웨어하우스를 호스트하는 데 사용됩니다.

이 모듈에서는 데이터 레이크의 데이터를 쿼리하기 위한 쿼리당 종량제 엔드포인트를 제공하는 서버리스 SQL 풀에 초점을 맞춥니다. 서버리스 SQL 풀을 사용할 경우의 이점은 다음과 같습니다.

  • 데이터를 특수화된 저장소에 복사하거나 로드할 필요 없이 데이터를 적절히 쿼리할 수 있는 친숙한 Transact-SQL 구문입니다.
  • 가장 인기 있는 드라이버를 포함하여 광범위한 비즈니스 인텔리전스 및 임시 쿼리 도구에서의 통합 연결.
  • 대규모 데이터 및 계산 함수를 위해 빌드된 분산 쿼리 처리로 인해 쿼리 성능이 빨라집니다.
  • 기본 제공 쿼리 실행 내결함성을 통해 대규모 데이터 세트와 관련된 장기 실행 쿼리에도 높은 안정성과 성공률을 제공합니다.
  • 설정할 인프라나 유지 관리할 클러스터가 없습니다. 이 서비스에 대한 기본 제공 엔드포인트가 모든 Azure Synapse 작업 영역 내에 제공되므로 작업 영역이 만들어지는 즉시 데이터 쿼리를 시작할 수 있습니다.
  • 예약된 리소스에 대해서는 요금이 부과되지 않으며, 실행하는 쿼리에 의해 처리된 데이터에 대해서만 요금이 부과됩니다.

서버리스 SQL 풀을 사용하는 경우

서버리스 SQL 풀은 데이터 레이크에 있는 데이터를 쿼리하도록 조정되어 있으므로 관리 부담을 없앨 뿐 아니라 시스템으로 데이터를 수집하는 것에 대해 걱정할 필요가 없습니다. 이미 레이크에 있는 데이터로 쿼리를 지정하고 실행하기만 하면 됩니다.

Synapse SQL 서버리스 리소스 모델은 Azure Synapse Analytics 작업 영역에서 Always On 서버리스 SQL 엔드포인트를 사용하여 처리할 수 있는 계획되지 않거나 “한 차례 씩 발생하는(bursty)” 워크로드에 적합합니다. 서버리스 풀을 사용하면 비용을 모니터링하고 특성을 지정하기 위해 실행되는 각 쿼리의 정확한 비용을 알아야 하는 경우 유용합니다.

참고 항목

서버리스 SQL 풀은 분석 시스템이므로 애플리케이션에서 트랜잭션 데이터를 저장하는 데 사용하는 데이터베이스와 같은 OLTP 워크로드에는 권장되지 않습니다. 밀리초의 응답 시간이 필요하고 데이터 세트의 단일 행을 정확히 찾아내려는 워크로드는 서버리스 SQL 풀에 적합하지 않습니다.

서버리스 SQL 풀의 일반적인 사용 사례는 다음과 같습니다.

  • 데이터 탐색: 데이터 탐색에는 데이터 레이크를 찾아보고 데이터에 대한 초기 인사이트를 얻는 작업이 수반되며 Azure Synapse Studio를 통해 쉽게 수행할 수 있습니다. 연결된 데이터 레이크 스토리지의 파일을 찾아보고 기본 제공 서버리스 SQL 풀을 사용하여 SQL Server 테이블에서와 마찬가지로 파일 또는 폴더에서 상위 100개 행을 선택하는 SQL 스크립트를 자동으로 생성할 수 있습니다. 거기서부터 데이터가 일반 SQL Server 테이블에 있는 것처럼 데이터에 대해 프로젝션, 필터링, 그룹화 및 대부분의 작업을 적용할 수 있습니다.
  • 데이터 변환: Azure Synapse Analytics는 Synapse Spark와 함께 뛰어난 데이터 변환 기능을 제공하지만 일부 데이터 엔지니어는 SQL을 사용하여 데이터 변환을 더 쉽게 수행할 수 있습니다. 서버리스 SQL 풀을 사용하면 대화형으로 또는 자동화된 데이터 파이프라인의 일부로 SQL 기반 데이터 변환을 수행할 수 있습니다.
  • 논리 데이터 웨어하우스: 데이터 레이크에서 데이터를 처음 탐색한 후 서버리스 SQL 데이터베이스에서 테이블 및 뷰와 같은 외부 개체를 정의할 수 있습니다. 데이터는 데이터 레이크 파일에 저장된 상태로 유지되지만, SQL Server에서 호스트되는 관계형 데이터베이스에서와 마찬가지로 클라이언트 애플리케이션 및 분석 도구에서 데이터를 쿼리하는 데 사용할 수 있는 관계형 스키마에 의해 추상화됩니다.