Set 및 ai_generate_text() 대한 고려 사항

Important

이 기능은 공개 미리 보기 상태입니다.

Warning

AI 함수 ai_generate_text()는 더 이상 사용되지 않습니다. Databricks에서는 외부 모델에 ai_query를 사용하는 것이 좋습니다.

이 문서에서는 ai_generate_text() 함수 사용을 시작하기 전에 고려해야 할 사항과 set할 것들, 특히 인증 credentials를 검색하고 안전하게 저장하는 방법을 설명합니다. 기능 제한 사항과 비용 성능 고려 사항도 포함됩니다.

무엇인가요?ai_generate_text()

ai_generate_text() 함수는 SQL에서 직접 LLM(대규모 언어 모델)에 액세스할 수 있는 기본 제공 Azure Databricks SQL 함수입니다. 이 함수는 현재 OpenAI 및 Azure OpenAI 모델에 대한 액세스를 지원하며, 고객이 데이터 파이프라인 및 기계 학습 워크로드의 구성 요소로 사용할 수 있게 합니다. 구문 및 디자인 패턴은 ai_generate_text 함수 언어 수동 콘텐츠를 참조하세요.

ai_generate_text()의 가능한 사용 사례는 번역, 요약, 권장 작업, 주제 또는 테마 식별 등이 있으며 이외에도 다양합니다.

다음은 Azure Databricks에서 LLM을 사용할 때의 몇 가지 이점입니다.

• 오픈 소스 및 독점 LLM에서의 통합 액세스 및 관리 계층.
• 서버리스, 자동 크기 조정, 데이터 통합 LLM 인프라.
• 포인트 앤 클릭 방식으로 간편하게 비즈니스 요구 사항 및 사용 사례에 적합하게 LLM을 사용자 지정.
• 고급 사용자의 경우 오픈 소스 LLM의 신속한 개발 및 사용자 지정을 위한 도구입니다.

요구 사항

• AI Functions 공개 미리 보기에 등록. 공개 미리 보기에 등록하려면 AI Functions 공개 미리 보기 등록 양식을 채우고 제출합니다.
• Azure Databricks SQL Pro 또는 서버리스.
• 이 기능을 사용하도록 설정하면 데이터가 SQL 환경을 벗어나 타사 LLM 모델 providers(OpenAI 및 Azure OpenAI)로 전달됩니다.
• 사용자는 Azure OpenAI 또는 OpenAI에 액세스할 수 있습니다.
• GPT 3.5 Turbo 모델이 배포되었습니다.

인증 세부 정보 검색

ai_generate_text() 함수를 사용하려면 Azure OpenAI 또는 OpenAI에 액세스할 수 있어야 합니다.

다음 단계를 사용하여 Azure OpenAI에 대한 인증 세부 정보를 검색합니다. 인증 세부 정보가 resourceName 및 deploymentNameparameters를 ai_generate_text()에 채웁니다.

1. Azure Portal에서 Cognitive Services로 이동하고 Azure OpenAI를 select.
2. 사용하려는 리소스를 Select.
3. 리소스 관리에서 Select키 및 엔드포인트.
4. 키와 리소스 이름을 복사합니다.
5. Select 리소스 관리 하에 있는 모델 배포.
6. 모델 배포 이름을 복사합니다.

OpenAI의 경우, OpenAI 사이트 내의 select API 키 페이지로 이동하여 API 키를 생성할 수 있습니다.

참고 항목

기존 키 구성의 키는 복사할 수 없습니다.

구체적으로 다음과 같은 옵션을 선택할 수 있습니다.

• 구성을 만든 보안 주체라고도 하는 사람으로부터 키를 검색합니다.
• 새 키를 만들고 키 생성 후에 제공된 키를 복사합니다.

액세스 토큰 저장

Important

Notebook, 코드 또는 git 리포지토리에 토큰을 일반 텍스트로 포함하지 마세요.

Azure Databricks 비밀을 사용하여 API 토큰을 보유할 수 있습니다. Databricks CLI 또는 비밀 API 2.0을 사용하여 비밀을 만듭니다. 다음 예제의 단계에서는 비밀 CLI를 사용합니다.

1. OpenAI 키를 유지할 비밀 범위가 아직 없는 경우 비밀 범위를 하나 만듭니다.

   databricks secrets create-scope openai

2. OpenAI에 연결할 수 있는 사용자 또는 그룹에 읽기 권한 이상을 부여해야 합니다. Databricks에서는 openai-users 그룹을 만들고 허용된 사용자를 해당 그룹에 추가하는 것이 좋습니다.

   databricks secrets put-acl openai openai-users READ

3. API 액세스 토큰에 대한 비밀을 만듭니다. Databricks는 <resource-name>-key 형식을 권장합니다.

   databricks secrets put-secret openai demo-key --string-value yourkey123

제한 사항

• ai_generate_text()는 대화형 또는 작업 클러스터에서 지원되지 않습니다.
• 미리 보기에서 지원되는 모델은 openai/gpt-3.5-turbo 및 azure_openai/gpt-35-turbo뿐입니다.
• openai/gpt-3.5-turbo과 azure_openai/gpt-35-turbo에 대한 토큰 limit은 4096 토큰입니다.

비용 및 성능 고려 사항

• OpenAI 및 Azure OpenAI Services에는 구독이 필요하며 Azure Databricks와는 별도로 요금이 청구됩니다.
  • OpenAI 및 Azure OpenAI Services의 토큰 비용은 입력 및 출력 모두에 적용됩니다.
  • 자세한 내용은 OpenAI 가격 책정 페이지 및 Azure OpenAI 가격 책정 페이지를 참조하세요.
• 지정된 쿼리 내에서 LLM API에 대한 호출은 함수가 호출되는 column대해 순차적으로 이루어집니다.
  • 대부분의 SQL 함수와 비교하여 ai_generate_text()를 사용하는 쿼리는 느리게 실행되는 경향이 있습니다.
• AI Functions를 호출하는 쿼리의 응답 시간은 프롬프트에 지정된 작업과 제공 및 요청된 토큰 수에 따라 달라집니다.
• Azure OpenAI Service는 이 미리 보기 시점에 소수의 Azure 지역에서만 사용할 수 있습니다.

추가 리소스

ai_generate_text 함수의 구문 및 디자인 패턴에 대한 언어 수동 설명서를 참조하세요.

비즈니스 시나리오에서 를 사용하는 방법에 대한 예제는 ai_generate_text()을 참조하세요.