Revisão humana para automação com prompt
Este artigo enfatiza o papel crítico da revisão humana na implantação do recurso Criar texto com GPT no Power Automate. Esse recurso utiliza o modelo de geração de texto do AI Builder, da plataforma do Serviço OpenAI do Azure. Embora esses modelos sejam altamente eficazes, às vezes eles podem gerar informações enganosas ou fabricadas e são suscetíveis a ataques imediatos de injeção.
Importante
- As solicitações do AI Builder estão em execução nos modelos GPT 4o Mini e GPT 4o da plataforma Serviço OpenAI do Azure.
- Esse recurso é limitado a algumas regiões.
- Esse recurso pode estar sujeito a limites de uso ou limitação de capacidade.
Ataques de entrada imediata
Um ataque de entrada imediata ocorre quando um terceiro obtém vantagem da confiança inerente do modelo em todas as fontes de entrada. O invasor injeta um prompt no conteúdo com o qual um usuário legítimo solicita que a solução de IA interaja, levando a uma alteração na saída da solução de IA e, potencialmente, em suas ações.
Por exemplo, considere um cenário em que um desenvolvedor cidadão usa a ação Criar Texto com GPT para formular respostas a reclamações de clientes coletadas de diversas plataformas, como emails, mídias sociais ou fóruns. Um invasor pode inserir um prompt no conteúdo de uma dessas fontes. Este cenário pode enganar o modelo, fazendo-o gerar uma resposta diferente da pretendida. A resposta pode ser inadequada, incorreta ou prejudicial. Informações incorretas enviadas aos clientes podem afetar negativamente a reputação da empresa e o relacionamento com os clientes.
Fabricação em modelos de IA
A fabricação, também conhecida como alucinação, é outro desafio enfrentado pelos modelos de IA, incluindo o modelo de geração de texto. A fabricação ocorre quando o modelo de IA gera informação que não se baseia em entradas fornecidas ou em dados pré-existentes, basicamente inventando ou alucinando informações.
Por exemplo, se o modelo de IA é solicitado para gerar um resumo de um evento histórico com base em um determinado texto, ele poderá incluir detalhes ou eventos que não foram mencionados no texto de origem. Por exemplo, um fluxo cria uma sinopse de uma reunião com base na transcrição da gravação. Os dados de entrada incluem detalhes sobre os participantes, os artigos discutidos e as decisões tomadas. Contudo, o modelo pode gerar um resumo que inclua um item de ação ou uma decisão que nunca foi discutida na reunião. Esta situação é uma instância de fabricação, onde o modelo alucinou informações que não existem nos dados de entrada.
Para mitigar o risco de fabricação, é importante implementar práticas responsáveis de IA. Isso inclui testes rigorosos do prompt e do fluxo, fornecendo ao modelo o máximo possível de informações de aterramento e, finalmente, implementando um sistema avançado para supervisão humana.
Enfrentar riscos através de práticas responsáveis de IA
Defendemos práticas responsáveis de IA como forma de reduzir riscos. Apesar de existirem estratégias para moderar o conteúdo produzido pelo modelo, gerenciar a propensão do modelo para gerar respostas fabricadas ou sucumbir a ataques de entrada imediata continua sendo um desafio complexo. Reconhecemos estes riscos e reafirmamos o nosso compromisso com a supervisão e o controle humanos.
Reconhecendo a necessidade de uma automação contínua, estamos aprimorando proativamente nossos sistemas de segurança e buscando uma compreensão mais profunda desses desafios. Nosso objetivo é refinar ainda mais o modelo de geração de texto com medidas de segurança adequadas, de acordo com nossos princípios de IA responsável pelo projeto, devolvendo o controle aos desenvolvedores sempre que possível.