Zjišťování a redakce osobních identifikačních údajů (PII) v konverzacích

Článek
11/19/2024

Funkce konverzačnní PII dokáže vyhodnocovat konverzace a vybírat z jejich obsahu citlivé informace (PII) v několika předem definovaných kategoriích a redigovat je. Toto rozhraní API funguje na přepisovaném textu (odkazovaném jako přepisy) i chatech. V případě přepisů rozhraní API také umožňuje redakci zvukových segmentů, které obsahují informace o PII poskytnutím informací o časování zvuku pro tyto zvukové segmenty.

Určení způsobu zpracování dat (volitelné)

Určení modelu detekce PII

Ve výchozím nastavení tato funkce používá ve vstupu nejnovější dostupný model AI. Můžete také nakonfigurovat požadavky rozhraní API tak, aby používaly konkrétní verzi modelu.

Podpora jazyků

Další podrobnosti najdete na stránce podpory jazyka PII. Aktuálně konverzační model PII GA podporuje pouze anglický jazyk. Model Preview a rozhraní API podporují stejné jazyky seznamů jako ostatní jazykové služby.

Podpora oblastí

Konverzační rozhraní API PII podporuje všechny oblasti Azure podporované službou Language.

Odesílání dat

Poznámka:

Informace o formátování konverzačního textu pro odeslání pomocí sady Language Studio najdete v článku o sadě Language Studio .

Vstup můžete odeslat do rozhraní API jako seznam položek konverzace. Analýza se provede po přijetí žádosti. Vzhledem k tomu, že rozhraní API je asynchronní, může dojít ke zpoždění mezi odesláním požadavku rozhraní API a příjmem výsledků. Informace o velikosti a počtu požadavků, které můžete odeslat za minutu a sekundu, najdete v následujících omezeních dat.

Při použití asynchronní funkce jsou výsledky rozhraní API k dispozici po dobu 24 hodin od doby, kdy se žádost ingestovala, a je uvedena v odpovědi. Po uplynutí tohoto časového období se výsledky vyprázdní a už nejsou k dispozici pro načtení.

Když odesíláte data do konverzačních PII, můžete na žádost odeslat jednu konverzaci (chat nebo mluvený hovor).

Rozhraní API se pokusí zjistit všechny definované kategorie entit pro daný vstup konverzace. Pokud chcete určit, které entity se detekují a vrátí, použijte volitelný piiCategories parametr s příslušnými kategoriemi entit.

U mluvených přepisů se zjištěné entity vrátí na zadanou hodnotu parametru redactionSource . V současné době jsou podporované hodnoty redactionSource , , lexicalitna maskedItn (které se mapují na speech na textové rozhraní REST API display\displayText, lexicalitn a maskedItn formát v uvedeném pořadí).text Kromě toho pro mluvený vstup přepisu toto rozhraní API také poskytuje informace o časování zvuku, které umožňují redakci zvuku. Pro použití funkce audioRedaction použijte volitelný includeAudioRedaction příznak s true hodnotou. Redakce zvuku se provádí na základě lexikálního vstupního formátu.

Poznámka:

PiI konverzace teď podporuje jako velikost dokumentu 40 000 znaků.

Získání výsledků PII

Když z detekce PII získáte výsledky, můžete výsledky streamovat do aplikace nebo uložit výstup do souboru v místním systému. Odpověď rozhraní API zahrnuje rozpoznané entity, včetně jejich kategorií a podkategorií a skóre spolehlivosti. Vrátí se také textový řetězec s entitami PII redacted.

Na webu Azure Portal přejděte na stránku přehledu prostředků.
V nabídce na levé straně vyberte Klíče a koncový bod. K ověření požadavků rozhraní API budete potřebovat jeden z klíčů a koncový bod.
Stáhněte a nainstalujte balíček klientské knihovny pro jazyk podle vašeho výběru:

Jazyk Verze balíčku

.NET 1.0.0

Python 1.0.0
Další informace o klientovi a návratovém objektu najdete v následující referenční dokumentaci:
- C#
- Python

Jazyk	Verze balíčku
.NET	1.0.0
Python	1.0.0

Zásady redaction (jenom verze 2024-11-15-preview)

Ve verzi 2024-11-15-preview můžete definovat redactionPolicy parametr tak, aby odrážel zásady redakce, které se mají použít při redakci dokumentu v odpovědi. Pole zásady podporuje 3 typy zásad:

noMask
characterMask (výchozí)
entityMask

Tato noMask zásada umožňuje uživateli vrátit odpověď bez redactedText pole.

Zásada characterMask umožňuje redactedText maskovat znakem a zachovat délku a posun původního textu. Toto je stávající chování.

Existuje také volitelné pole, redactionCharacter ve kterém můžete zadat znak, který se má použít v redakci, pokud používáte zásadu characterMask .

Tato entityMask zásada umožňuje maskovat rozpoznaný text entity PII s rozpoznaným typem entity.

Pokud chcete změnit zásady redakce, použijte následující příklad.

curl -i -X POST https://your-language-endpoint-here/language/analyze-conversations/jobs?api-version=2024-05-01 \
-H "Content-Type: application/json" \
-H "Ocp-Apim-Subscription-Key: your-key-here" \
-d \
'
{ 
    "displayName": "Analyze conversations from xxx", 
    "analysisInput": { 
        "conversations": [ 
            { 
                "id": "23611680-c4eb-4705-adef-4aa1c17507b5", 
                "language": "en", 
                "modality": "text", 
                "conversationItems": [ 
                    { 
                        "participantId": "agent_1", 
                        "id": "1", 
                        "text": "Good morning." 
                    }, 
                    { 
                        "participantId": "agent_1", 
                        "id": "2", 
                        "text": "Can I have your name?" 
                    }, 
                    { 
                        "participantId": "customer_1", 
                        "id": "3", 
                        "text": "Sure that is John Doe." 
                    } 
                ] 
            } 
        ] 
    }, 
    "tasks": [ 
        { 
            "taskName": "analyze 1", 
            "kind": "ConversationalPIITask", 
            "parameters": { 
                "modelVersion": "2023-04-15-preview", 
                “redactionCharacter” 
                "redactionPolicy": { 
                    "policyKind": "characterMask", 
                    //characterMask|entityMask|noMask 
                    "redactionCharacter": "*" 
                } 
            } 
        } 
    ] 
} 
`

Odeslání přepisů pomocí řeči na text

Následující příklad použijte, pokud máte konverzace přepisované pomocí funkce řeči služby Speech na text :

curl -i -X POST https://your-language-endpoint-here/language/analyze-conversations/jobs?api-version=2024-05-01 \
-H "Content-Type: application/json" \
-H "Ocp-Apim-Subscription-Key: your-key-here" \
-d \
' 
{
    "displayName": "Analyze conversations from xxx",
    "analysisInput": {
        "conversations": [
            {
                "id": "23611680-c4eb-4705-adef-4aa1c17507b5",
                "language": "en",
                "modality": "transcript",
                "conversationItems": [
                    {
                        "participantId": "agent_1",
                        "id": "8074caf7-97e8-4492-ace3-d284821adacd",
                        "text": "Good morning.",
                        "lexical": "good morning",
                        "itn": "good morning",
                        "maskedItn": "good morning",
                        "audioTimings": [
                            {
                                "word": "good",
                                "offset": 11700000,
                                "duration": 2100000
                            },
                            {
                                "word": "morning",
                                "offset": 13900000,
                                "duration": 3100000
                            }
                        ]
                    },
                    {
                        "participantId": "agent_1",
                        "id": "0d67d52b-693f-4e34-9881-754a14eec887",
                        "text": "Can I have your name?",
                        "lexical": "can i have your name",
                        "itn": "can i have your name",
                        "maskedItn": "can i have your name",
                        "audioTimings": [
                            {
                                "word": "can",
                                "offset": 44200000,
                                "duration": 2200000
                            },
                            {
                                "word": "i",
                                "offset": 46500000,
                                "duration": 800000
                            },
                            {
                                "word": "have",
                                "offset": 47400000,
                                "duration": 1500000
                            },
                            {
                                "word": "your",
                                "offset": 49000000,
                                "duration": 1500000
                            },
                            {
                                "word": "name",
                                "offset": 50600000,
                                "duration": 2100000
                            }
                        ]
                    },
                    {
                        "participantId": "customer_1",
                        "id": "08684a7a-5433-4658-a3f1-c6114fcfed51",
                        "text": "Sure that is John Doe.",
                        "lexical": "sure that is john doe",
                        "itn": "sure that is john doe",
                        "maskedItn": "sure that is john doe",
                        "audioTimings": [
                            {
                                "word": "sure",
                                "offset": 5400000,
                                "duration": 6300000
                            },
                            {
                                "word": "that",
                                "offset": 13600000,
                                "duration": 2300000
                            },
                            {
                                "word": "is",
                                "offset": 16000000,
                                "duration": 1300000
                            },
                            {
                                "word": "john",
                                "offset": 17400000,
                                "duration": 2500000
                            },
                            {
                                "word": "doe",
                                "offset": 20000000,
                                "duration": 2700000
                            }
                        ]
                    }
                ]
            }
        ]
    },
    "tasks": [
        {
            "taskName": "analyze 1",
            "kind": "ConversationalPIITask",
            "parameters": {
                "modelVersion": "2023-04-15-preview",
                "redactionSource": "text",
                "includeAudioRedaction": true,
                "piiCategories": [
                    "all"
                ]
            }
        }
    ]
}
`

Odeslání textových chatů

Následující příklad použijte, pokud máte konverzace, které pocházejí z textu. Například konverzace prostřednictvím textového chatovacího klienta.

curl -i -X POST https://your-language-endpoint-here/language/analyze-conversations/jobs?api-version=2024-05-01 \
-H "Content-Type: application/json" \
-H "Ocp-Apim-Subscription-Key: your-key-here" \
-d \
' 
{
    "displayName": "Analyze conversations from xxx",
    "analysisInput": {
        "conversations": [
            {
                "id": "23611680-c4eb-4705-adef-4aa1c17507b5",
                "language": "en",
                "modality": "text",
                "conversationItems": [
                    {
                        "participantId": "agent_1",
                        "id": "8074caf7-97e8-4492-ace3-d284821adacd",
                        "text": "Good morning."
                    },
                    {
                        "participantId": "agent_1",
                        "id": "0d67d52b-693f-4e34-9881-754a14eec887",
                        "text": "Can I have your name?"
                    },
                    {
                        "participantId": "customer_1",
                        "id": "08684a7a-5433-4658-a3f1-c6114fcfed51",
                        "text": "Sure that is John Doe."
                    }
                ]
            }
        ]
    },
    "tasks": [
        {
            "taskName": "analyze 1",
            "kind": "ConversationalPIITask",
            "parameters": {
                "modelVersion": "2023-04-15-preview"
            }
        }
    ]
}
`

Získání výsledku

Získejte z hlavičky operation-location odpovědi. Hodnota vypadá podobně jako následující adresa URL:

https://your-language-endpoint/language/analyze-conversations/jobs/12345678-1234-1234-1234-12345678

Pokud chcete získat výsledky požadavku, použijte následující příkaz cURL. Nezapomeňte nahradit my-job-id číselnou hodnotou ID, kterou jste dostali z předchozí operation-location hlavičky odpovědi:

curl -X GET    https://your-language-endpoint/language/analyze-conversations/jobs/my-job-id \
-H "Content-Type: application/json" \
-H "Ocp-Apim-Subscription-Key: your-key-here"

Limity služeb a dat

Informace o velikosti a počtu požadavků, které můžete odeslat za minutu a sekundu, najdete v článku o omezeních služeb.

Sdílet prostřednictvím