Azure AI Foundry 포털에서 모델을 벤치마킹하는 방법
Important
이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.
이 문서에서는 Azure AI Foundry 포털의 모델 벤치마크 도구를 사용하여 모델 및 데이터 세트 간에 벤치마크를 비교하는 방법을 알아봅니다. 또한 벤치마킹 결과를 분석하고 데이터로 벤치마킹을 수행하는 방법을 알아봅니다. 벤치마킹은 특정 사용 사례 또는 애플리케이션에 대한 요구 사항을 충족하는 모델에 대해 정보에 입각한 결정을 내리는 데 도움이 될 수 있습니다.
필수 조건
유효한 결제 방법을 사용하는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없으면 유료 Azure 계정을 만들어 시작합니다.
모델 카탈로그를 통해 모델 벤치마크에 액세스
Azure AI는 인기 있고 가장 자주 사용되는 일부 모델에 대한 모델 벤치마킹을 지원합니다. 자세한 벤치마킹 결과를 사용하여 AI Foundry 모델 카탈로그에서 직접 모델을 비교하고 선택하려면 다음 단계를 수행합니다.
- Azure AI Foundry에 로그인합니다.
- 프로젝트에 아직 없는 경우 선택합니다.
- 왼쪽 탐색 창에서 모델 카탈로그를 선택합니다.
관심 있는 모델을 선택합니다. 예를 들어 gpt-4o를 선택합니다. 이 작업을 수행하면 모델의 개요 페이지가 열립니다.
팁
모델 카탈로그에서 컬렉션 필터를 사용하고 벤치마크 결과를 선택하여 벤치마킹을 사용할 수 있는 모델을 표시할 수 있습니다. 이러한 모델에는 히스토그램처럼 보이는 벤치마크 아이콘이 있습니다.
벤치마크 탭으로 이동하여 모델에 대한 벤치마크 결과를 확인합니다.
모델 카탈로그의 홈페이지로 돌아갑니다.
모델 카탈로그 홈페이지에서 모델 비교를 선택하여 벤치마크 지원이 있는 모델을 탐색하고, 메트릭을 보고, 다양한 모델 간의 장차를 분석합니다. 이 분석을 통해 요구 사항에 가장 적합한 모델을 선택할 수 있습니다.
원하는 작업을 선택하고 AI 품질과 비용 등 관심 있는 차원을 지정하여 다양한 모델 간의 장차를 평가합니다.
목록 보기로 전환하여 각 모델에 대한 자세한 결과에 액세스할 수 있습니다.
벤치마크 결과 분석
특정 모델의 "벤치마크" 탭에 있는 경우 다음을 포함하여 벤치마크 결과를 더 잘 이해하고 해석하기 위해 광범위한 정보를 수집할 수 있습니다.
높은 수준의 집계 점수: AI 품질, 비용, 대기 시간 및 처리량에 대한 이러한 점수는 모델의 성능에 대한 빠른 개요를 제공합니다.
비교 차트: 이러한 차트는 관련 모델에 비해 모델의 상대 위치를 표시합니다.
메트릭 비교 테이블: 이 테이블은 각 메트릭에 대한 자세한 결과를 제공합니다.
기본적으로 AI Foundry는 다양한 메트릭 및 데이터 세트에 평균 인덱스를 표시하여 모델 성능에 대한 개략적인 개요를 제공합니다.
특정 메트릭 및 데이터 세트에 대한 벤치마크 결과에 액세스하려면 다음을 수행합니다.
차트에서 확장 단추를 선택합니다. 팝업 비교 차트는 자세한 정보를 표시하고 비교에 더 큰 유연성을 제공합니다.
관심 있는 메트릭을 선택하고 특정 시나리오에 따라 다른 데이터 세트를 선택합니다. 결과를 계산하는 데 사용되는 공용 데이터 세트의 메트릭 및 설명에 대한 자세한 정의는 자세히 알아보기를 선택합니다.
데이터를 사용하여 벤치마크 결과 평가
이전 섹션에서는 공용 데이터 세트를 사용하여 Microsoft에서 계산한 벤치마크 결과를 보여 줍니다. 그러나 데이터를 사용하여 동일한 메트릭 집합을 다시 생성할 수 있습니다.
모델 카드의 벤치마크 탭으로 돌아갑니다.
사용자 고유의 데이터로 사용해보기를 선택하여 데이터로 모델을 평가합니다. 데이터를 평가하면 특정 시나리오에서 모델이 수행하는 방식을 확인할 수 있습니다.
