Menneskelig gjennomgang for automatisering med en ledetekst
Denne artikkelen understreker den kritiske rollen ved menneskelig gjennomgang ved bruk av funksjonen Opprett tekst med GPT i Power Automate. Denne funksjonen benytter modellen tekstgenerering fra AI Builder, som drives av Azure OpenAI-tjenesten. Selv om disse modellene er svært effektive, kan de noen ganger generere villedende eller fabrikert informasjon, og de er mottakelige for angrep med ledetekstinjeksjon.
Viktig!
- AI Builder-spørsmål kjører på modellene GPT 4o Mini og GPT 4o som leveres av Azure OpenAI-tjenesten.
- Denne funksjonen er begrenset til enkelte områder.
- Denne funksjonen kan være underlagt bruksbegrensninger eller kapasitetsbegrensning.
Angrep med ledetekstinjeksjoner
Et angrep med ledetekstinjeksjon skjer når en tredjepart drar fordel av modellens innebygde tillit i alle inndatakilder. Angriperen setter inn en ledetekst i innhold som en legitim bruker ber KI-løsningen om å samhandle med, noe som fører til en endring i KI-løsningens utdata og potensielt også dens handlinger.
Tenk deg for eksempel et scenario der en selvlært utvikler bruker handlingen Opprett tekst med GPT til å formulere svar på kundeklager som samles inn fra ulike plattformer, for eksempel e-postmeldinger, sosiale medier eller fora. En angriper kan for eksempel sette inn en ledetekst i innholdet fra en av disse kildene. Dette scenariet kan villede modellen til å generere et svar som avviker fra det tiltenkte svaret. Svaret kan være uriktig, ukorrekt eller skadelig. Feil informasjon som sendes til kunder, kan ha negativ innvirkning på selskapets omdømme og relasjoner.
Fabrikasjon i KI-modeller
Fabrikasjon, også kalt hallusinasjon, er en annen utfordring med KI-modellene, inkludert tekstgenereringsmodellen. Fabrikasjon skjer når KI-modellen genererer informasjon som ikke er basert på angitte inndata eller eksisterende data, og finner opp eller hallusinerer informasjon.
Hvis KI-modellen for eksempel blir spurt om å generere et sammendrag av en historisk hendelse basert på en gitt tekst, kan den inneholde detaljer eller hendelser som ikke ble nevnt i kildeteksten. En flyt oppretter for eksempel et sammendrag av et møte basert på avskrift av innspillingen. Inndataene inneholder detaljer om deltakerne, artiklene som diskuteres, og avgjørelsene som tas. Modellen kan imidlertid generere et sammendrag som inkluderer et handlingselement eller en beslutning som aldri ble diskutert på møtet. Denne situasjonen er en fabrikasjonsforekomst, der modellen har hallusinert en informasjonsenhet som ikke finnes i inndataene.
For å redusere risikoen for fabrikasjon er det avgjørende å implementere ansvarlige KI-praksiser. Dette inkluderer grundig testing av ledeteksten og flyten, slik at modellen får så mye basisinformasjon om behandling som mulig og til slutt implementerer et robust system for menneskelig overvåking.
Håndter risikoer ved hjelp av ansvarlige KI-praksiser
Vi ser på ansvarlige KI-praksiser som et middel for å redusere disse risikoene. Til tross for at modellen har strategier for å moderere innholdet som produseres av modellen, er det likevel en kompleks utfordring å administrere modellens evne til å generere fabrikerte svar eller bli offer for angrep med ledetekstinjeksjon. Vi anerkjenner disse risikoene og bekrefter forpliktelsen om menneskelig tilsyn og kontroll.
Som en anerkjennelse av sømløs automatisering forbedrer vi sikkerhetssystemene proaktivt og søker en dypere forståelse av disse utfordringene. Vårt mål er å finjustere tekstgenereringsmodellen ytterligere med nødvendige sikkerhetstiltak, i tråd med våre prinsipper om ansvarlig bruk av KI, og gi utviklere tilbake kontrollen der det er mulig.