Azure OpenAI 서비스 및 Azure Government의 기능
이 문서에서는 상용 클라우드 제품과 비교하여 Azure Government에서 Azure OpenAI를 사용할 때의 차이점을 강조 표시합니다. Azure OpenAI 서비스 설명서에서 Azure OpenAI 서비스 자체에 대해 자세히 알아보세요.
Azure OpenAI 모델
Azure OpenAI Service 모델에서 각 모델의 다양한 기능에 대해 자세히 알아보세요. BCDR(비즈니스 연속성 및 재해 복구)을 고려하는 고객의 경우 두 지역 모두에서 모든 모델/유형 조합을 사용할 수 있는 것은 아니므로 아래의 배포 유형, 지역 및 모델 가용성에 주의하여 유의하세요.
다음 섹션에서는 지역 및 배포 유형별 모델 가용성을 보여줍니다.
표준 배포 모델 가용성
| 지역 | gpt-4o, 2024-05-13 | gpt-4o-mini, 2024-07-18 | gpt-4, 1106-미리 보기 | gpt-35-turbo, 0125 | gpt-35-turbo, 1106 | text-embedding-3-large, 1 | text-embedding-ada-002, 2 |
|---|---|---|---|---|---|---|---|
| usgovarizona | ✅ | ✅ | ✅ | ✅ | - | ✅ | ✅ |
| usgovvirginia | ✅ | - | ✅ | ✅ | ✅ | - | ✅ |
이러한 모델에 대한 할당량 증가를 요청하려면 에서 https://aka.ms/AOAIGovQuota요청을 제출합니다. 해당 양식을 통해 부여되는 최대 할당량 제한은 다음과 같습니다.
| gpt-4o | gpt-4o-mini | gpt-4 | gpt-35-turbo | text-embedding-3-large | text-embedding-ada-002 |
|---|---|---|---|---|---|
| 300k | 600k | 200k | 500k | 700k | 700k |
프로비전된 배포 모델 가용성
| 지역 | gpt-4o, 2024-05-13 | gpt-4o-mini, 2024-07-18 | gpt-4, 1106-미리 보기 | gpt-35-turbo, 0125 | gpt-35-turbo, 1106 |
|---|---|---|---|---|---|
| usgovarizona | ✅ | - | - | ✅ | - |
| usgovvirginia | ✅ | - | - | ✅ | - |
[참고]
PTU(프로비전된 처리량 단위)는 Azure OpenAI의 표준 할당량과 다르며 기본적으로 Azure Government에서 사용할 수 없습니다. 이 서비스에 대해 자세히 알아보려면 Microsoft 계정 팀에 문의하세요.
Azure OpenAI 기능
Azure Government에서 Azure OpenAI와 상용 클라우드를 비교할 때는 다음과 같은 기능 차이가 있습니다.
| 기능 | 설명 |
|---|---|
| 구조적 출력 | 현재 지원되지 않습니다. |
| 예약 기반 구매 | 현재 지원되지 않습니다. |
| 일괄 처리 배포 | 현재 지원되지 않습니다. |
| 데이터 연결 | 가상 네트워크 및 프라이빗 링크가 지원됩니다. Copilot Studio에서 웹앱 또는 부조종사에 대한 배포는 지원되지 않습니다. |
| 남용 모니터링 | Azure Government에서 Azure OpenAI에 대해 남용 모니터링의 모든 기능을 사용할 수 있는 것은 아닙니다. 사용자는 제품 약관을 위반하여 서비스 사용을 감지하고 완화하기 위한 합리적인 기술 및 운영 조치를 구현할 책임이 있습니다. 자동화된 콘텐츠 분류 및 필터링은 Azure Government에 대해 기본적으로 사용하도록 설정된 상태로 유지됩니다. 수정된 콘텐츠 필터가 필요한 경우 https://aka.ms/AOAIGovModifyContentFilter에 적용합니다. |
| 데이터 스토리지 | Azure Government에는 고객 데이터를 미사용 상태로 저장하는 Azure OpenAI 기능이 현재 활성화되어 있지 않습니다. 그러나 Azure Government에서 퍼블릭 클라우드와 동일한 정책의 사용을 지원하도록 CMK(고객 관리형 키)를 계속 사용할 수 있습니다. 또한 향후 Azure Government에서 고객 데이터를 저장하는 Azure OpenAI 기능을 사용하도록 설정하면 기존 CMK 배포가 해당 데이터에 적용됩니다. Azure OpenAI 데이터 개인 정보 보호에 대해 자세히 알아보세요. |
| 규정 준수 | Azure Government 서비스 감사 범위에서 Azure Government의 Azure OpenAI 규정 준수 현재 상태 보기 |
| 서비스 끝점 | openai.azure.us |
| 주요 포털 |
|
Azure Government에서 프로비전된 배포
다음 가이드에서는 Azure Government에서 Azure OpenAI Service 리소스를 사용하여 프로비전된 배포를 설정하는 과정을 안내합니다.
필수 조건
- Azure Government 구독
- Azure OpenAI 리소스
- 프로비전된 배포에 대한 승인된 할당량 및 약정 구매
프로비전된 처리량 약정 관리
Azure Government의 Azure OpenAI의 경우 프로비저닝된 처리량 배포에는 Azure OpenAI 스튜디오의 약정 관리 보기에서 만들고 관리하는 선구매 약정이 필요합니다. 할당량 창에서 약정 관리를 선택하여 이 보기로 이동할 수 있습니다.
약정 관리 보기에서는 다음과 같은 여러 작업을 수행할 수 있습니다.
- 새 약정을 구매하거나 기존 약정을 편집합니다.
- 구독의 모든 약정을 모니터링합니다.
- 예기치 못한 청구가 발생할 수 있는 약정을 식별하고 조치를 취합니다.
| 설정 | 주의 |
|---|---|
| 리소스 선택 | 프로비전된 배포를 만들 리소스를 선택합니다. 약정을 구매한 후에는 현재 약정이 만료될 때까지 다른 리소스에서 할당량을 사용할 수 없습니다. |
| 약정 형식 선택 | 프로비전됨을 선택합니다. (프로비전됨은 프로비전된 관리와 동등합니다) |
| 현재 약정되지 않은 프로비전된 할당량 | 이 리소스에 커밋하는 데 현재 사용할 수 있는 PTU 수입니다. |
| 약정할 크기(PTU) | 약정할 PTU 수를 선택합니다. 이 숫자는 약정 기간 동안 늘릴 수 있지만 줄일 수는 없습니다. 프로비전됨 약정 형식에 값을 50씩 입력합니다. |
| 현재 기간의 약정 계층 | 약정 기간은 1개월로 설정됩니다. |
| 갱신 설정 | 현재 PTU에서 자동 갱신 낮은 CPU에서 자동 갱신 자동 갱신 안 함 |
Important
전체 기간 동안 새로운 약정 요금이 선불로 청구됩니다. 갱신 설정이 자동 갱신으로 설정된 경우 갱신 설정에 따라 각 갱신 날짜에 다시 요금이 청구됩니다.
Important
약정에 PTU를 추가하면 현재 날짜부터 기존 약정 기간 종료일까지 일할 계산된 금액으로 즉시 요금이 청구됩니다. PTU를 추가해도 약정 기간이 다시 설정되지 않습니다.
갱신 설정 변경
약정 갱신 설정은 약정 만료 날짜 이전에 언제든지 변경할 수 있습니다.
Important
리소스 아래의 배포에 리소스 약정보다 더 많은 PTU가 필요하도록 약정 만료 또는 크기 감소를 허용하는 경우 초과 PTU에 대해 시간당 초과 요금이 부과됩니다. 예를 들어, 총 500PTU의 배포와 300PTU에 대한 약정이 있는 리소스는 200PTU에 대한 시간당 초과 요금을 생성합니다.
일반적인 약정 관리 시나리오
프로비전된 처리량 사용 중단
프로비전된 처리량의 사용을 종료하고 약정 만료 후 시간당 초과분 요금을 방지하려면 다음 두 단계를 수행해야 합니다.
- 모든 약정에 대해 갱신 정책을 자동 갱신 안 함으로 설정합니다.
- 할당량을 사용하여 프로비전된 배포를 삭제합니다.
동일한 구독/지역의 새 리소스로 약정/배포 이동
Azure OpenAI Studio에서는 배포 또는 약정을 새 리소스로 직접 이동할 수 없습니다. 대신 대상 리소스에 새 배포를 만들고 트래픽을 이동해야 합니다. 이 프로세스를 수행하려면 새 리소스에 대한 새 약정 구매가 필요합니다. 약정 금액은 30일에 대해 선불로 청구되므로 겹치는 기간 동안 새 약정과의 겹침 및 "이중 청구"를 최소화하기 위해 원래 약정 만료 시에 이러한 이동을 위한 시간이 필요합니다.
이 전환을 구현하기 위해 수행할 수 있는 두 가지 방법이 있습니다.
옵션 1: 겹치지 않는 전환
이 옵션을 사용하려면 약간의 가동 중지 시간이 필요하지만 추가 할당량이 필요하지 않으며 추가 비용이 발생하지 않습니다.
| 단계 | 주의 |
|---|---|
| 만료할 기존 약정에 대한 갱신 정책 설정 | 이 작업을 수행하면 약정이 갱신되고 추가 요금이 발생하지 않습니다. |
| 기존 약정이 만료되기 전에 배포 삭제 | 가동 중지 시간은 이 시점에서 시작되며 새 배포가 생성되고 트래픽이 이동될 때까지 지속됩니다. 만료 날짜/시간에 최대한 가깝게 삭제 시간을 지정하여 이 기간을 최소화할 수 있습니다. |
| 기존 약정이 만료된 후 새 리소스에 대한 약정 만들기 | 만료 후 가능한 빨리 이 단계와 다음 단계를 실행하여 가동 중지 시간을 최소화합니다. |
| 새 리소스에 배포를 만들고 트래픽을 해당 리소스로 이동 |
옵션 2: 겹치는 전환
이 옵션은 기존 배포와 새 배포를 동시에 즉시 진행하므로 가동 중지 시간이 없습니다. 또한 이 방법을 사용하려면 새 배포를 만드는 데 할당량을 사용할 수 있어야 하며 겹치는 배포 중에 추가 비용이 발생합니다.
| 단계 | 주의 |
|---|---|
| 만료할 기존 약정에 대한 갱신 정책 설정 | 이렇게 하면 약정이 갱신되지 않으며 추가 요금도 발생하지 않습니다. |
| 기존 약정이 만료되기 전: 1. 새 리소스에 대한 약정 만들기 2. 새 배포 만들기 3. 트래픽 전환 4. 기존 배포 삭제 |
기존 약정이 만료되기 전에 모든 단계에 대해 충분한 시간을 남겨 두세요. 그렇지 않으면 옵션에 대해 초과분 요금이 생성됩니다(다음 섹션 참조). |