Confiança e segurança DatabricksIQ
A Databricks entende a importância de seus dados e a confiança que você deposita em nós quando usa nossa plataforma e recursos baseados em DatabricksIQ. A Databricks está comprometida com os mais altos padrões de proteção de dados e implementou medidas rigorosas para garantir que as informações enviadas aos recursos da DatabricksIQ sejam protegidas.
-
Os seus dados permanecem confidenciais.
- O Databricks não treina modelos de base generativa com dados que você envia para esses recursos, e o Databricks não usa esses dados para gerar sugestões exibidas para outros clientes.
- Nossos parceiros modelo não retêm dados que você envia por meio desses recursos, mesmo para monitoramento de abusos. Nossos recursos de assistência de IA alimentados por parceiros usam zero pontos de extremidade de retenção de dados de nossos parceiros modelo.
- Proteção contra saídas nocivas. O Databricks também usa a filtragem de conteúdo do Azure OpenAI para proteger os usuários contra conteúdo prejudicial. Além disso, a Databricks realizou uma extensa avaliação com milhares de interações simuladas do usuário para garantir que as proteções implementadas para proteger contra conteúdo prejudicial, jailbreaks, geração de código inseguro e uso de conteúdo de direitos autorais de terceiros sejam eficazes.
- A Databricks utiliza apenas os dados necessários para fornecer o serviço. Os dados só são enviados quando você interage com os recursos do DatabricksIQ. O Databricks envia seu prompt, metadados e valores relevantes da tabela, erros, bem como código de entrada ou consultas para ajudar a retornar resultados mais relevantes. O Databricks não envia outros dados de nível de linha para modelos de terceiros.
- Os dados são protegidos em trânsito. Todo o tráfego entre o Databricks e os parceiros de modelo é criptografado em trânsito com criptografia TLS padrão do setor.
- O Databricks oferece controles de residência de dados. Os recursos baseados em DatabricksIQ são Serviços Designados e estão em conformidade com os limites de residência de dados. Para obter mais detalhes, consulte Databricks Geos: Data residency e Databricks Designated Services.
Para obter mais informações sobre a privacidade do Databricks Assistant, consulte Privacy and security.
Recursos regidos pela configuração de recursos auxiliares de IA alimentados por parceiros
A IA baseada em parceiros refere-se ao serviço Azure OpenAI. A seguir está um detalhamento dos recursos regidos pela configuração de recursos auxiliares de IA alimentados por parceiros:
| Caraterística | Onde o modelo está hospedado? | Controlado pela configuração de IA alimentada por parceiros? |
|---|---|---|
| Bate-papo do Databricks Assistant | Azure OpenAI Service | Sim |
| Correção rápida | Azure OpenAI Service | Sim |
| Comentários de UC gerados por IA | Espaços de trabalho de perfil de segurança de conformidade (CSP): serviço Azure OpenAI | Sim, para todos os espaços de trabalho CSP. |
| Painel de IA/BI Visualizações assistidas por IA e espaços Genie complementares | Azure OpenAI Service | Sim |
| Gênio | Azure OpenAI Service | Sim |
| Preenchimento automático do Databricks Assistant | Modelo hospedado em Databricks | Não |
| Pesquisa inteligente | Azure OpenAI Service | Sim |
Usar um modelo hospedado no Databricks para o Databricks Assistant
Importante
Este recurso está no
Saiba mais sobre como usar um modelo hospedado no Databricks para alimentar o Databricks Assistant. Esta secção explica como funciona e como utilizá-lo.
Como funciona
O diagrama a seguir fornece uma visão geral de como um modelo hospedado no Databricks alimenta o Databricks Assistant.
- Um utilizador solicita o Assistente Databricks digitando código ou uma pergunta, selecionando Diagnosticar Erro, ou destacando uma célula.
- O Databricks anexa metadados a uma solicitação e os envia para um modelo de linguagem grande (LLM) hospedado pelo Databricks. Todos os dados são encriptados em repouso. Os clientes podem usar uma chave gerenciada pelo cliente (CMK).
- A solicitação do usuário é enviada para o modelo hospedado pelo Databricks.
Os modelos hospedados pelo Databricks usam o Meta Llama 3.x
O Databricks Assistant com modelos hospedados por Databricks é atualmente construído com o Meta Llama 3. Meta Llama 3 está licenciado sob a Meta Llama 3 Community License, Copyright © Meta Platforms, Inc. Todos os direitos reservados.
Perguntas frequentes sobre modelos hospedados pelo Databricks para o Assistente
Posso ter a minha própria instância privada de serviço de modelo?
Neste momento, não. Esta visualização usa Modelo servindo pontos de extremidade que são gerenciados e protegidos pelo Databricks. Os endpoints de disponibilização do modelo são sem estado, protegidos por várias camadas de isolamento e implementam os seguintes controlos de segurança para garantir a proteção dos seus dados:
- Cada solicitação do cliente ao Model Serving é logicamente isolada, autenticada e autorizada.
- O Mosaic AI Model Serving criptografa todos os dados em repouso (AES-256) e em trânsito (TLS 1.2+).
Os metadados enviados para os modelos respeitam as permissões do Catálogo Unity do usuário?
Sim, todos os dados enviados para o modelo respeitam as permissões do Catálogo Unity do usuário. Por exemplo, ele não envia metadados relacionados a tabelas que o usuário não tem permissão para ver.
Onde são armazenados os dados?
O histórico de bate-papo do Assistente Databricks é armazenado no banco de dados do plano de controle, juntamente com o bloco de anotações. O banco de dados do plano de controle é criptografado por AES-256 bits e os clientes que precisam de controle sobre a chave de criptografia podem utilizar nosso recurso de chave Customer-Managed.
Observação
- Como outros objetos de espaço de trabalho, o período de retenção para o histórico de bate-papo do Databricks Assistant tem como escopo o ciclo de vida do próprio objeto. Se um usuário excluir o bloco de anotações, ele e qualquer histórico de bate-papo associado será excluído em 30 dias.
- Se o bloco de anotações for compartilhado com outro usuário, o histórico de bate-papo também ficará visível para esse usuário, a menos que seja limpo primeiro.
- Se o bloco de anotações for exportado, o histórico de bate-papo não será exportado com ele.
- Se um administrador tiver acesso ao bloco de notas, pode abri-lo e ver o histórico de chats.
Posso trazer minha própria chave de API para meu modelo ou hospedar meus próprios modelos?
Neste momento, não. O Databricks Assistant é totalmente gerenciado e hospedado pela Databricks. A funcionalidade do assistente depende fortemente das funcionalidades de serviço do modelo (por exemplo, chamada de função), desempenho e qualidade. O Databricks avalia continuamente novos modelos para obter o melhor desempenho e pode atualizar o modelo em versões futuras desse recurso.
Quem é o proprietário dos dados de saída? Se o Assistente gerar código, quem é o proprietário desse IP?
O cliente é dono da sua própria produção.
Optar por não usar modelos hospedados pelo Databricks
Para desativar o uso de modelos hospedados pelo Databricks:
- Clique no seu nome de utilizador na barra superior da área de trabalho Databricks.
- No menu, selecione Pré-visualizações.
- Desative a opção Usar o Assistente com modelos hospedados no Databricks.
Para saber mais sobre como gerenciar visualizações, consulte Gerenciar visualizações do Azure Databricks.