Bránu AI pro mozaiku
Důležité
Tato funkce je ve verzi Public Preview.
Co je Služba AI Gateway pro mozaiku?
Služba Mosaic AI Gateway je navržená tak, aby zjednodušila používání a správu generovaných modelů AI v rámci organizace. Jedná se o centralizovanou službu, která přináší připravenost zásad správného řízení, monitorování a produkčního prostředí na modelování obsluhovaných koncových bodů. Umožňuje také spouštět, zabezpečit a řídit provoz umělé inteligence za účelem demokratizace a zrychlení přijetí umělé inteligence pro vaši organizaci.
Všechna data jsou zaznamenána do tabulek Delta v Unity Catalog.
Pokud chcete začít vizualizovat přehledy z dat služby AI Gateway, stáhněte si z GitHubu ukázkový řídicí panel služby AI Gateway. Tento řídicí panel využívá data ze sledování využití a protokolování uživatelských akcí.
Po stažení souboru JSON naimportujte řídicí panel do svého pracovního prostoru. Pokyny k importu řídicích panelů najdete v tématu Import souboru řídicího panelu.
podporované funkce
Následující tabulka definuje dostupné funkce brány AI a model obsluhující typy koncových bodů je podporuje.
| Funkce | Definice | Koncový bod externího modelu | Koncový bod zřízené propustnosti rozhraní API základního modelu |
|---|---|---|---|
| Oprávnění a omezování rychlosti | Řídit, kdo má přístup a kolik přístupu. | ✓ | ✓ |
| Protokolování datové části | Monitorování a auditování dat odesílaných do rozhraní API modelu pomocí tabulek odvozování . | ✓ | ✓ |
| Sledování využití | Monitorování provozního využití koncových bodů a souvisejících nákladů pomocí systémových tabulek . | ✓ | ✓ |
| Mantinely AI | Zabránit nežádoucím datům a nebezpečným datům v požadavcích a odpovědích Viz AI Guardrails. | ✓ | ✓ |
| Směrování provozu | Minimalizujte produkční výpadky během a po nasazení. | ✓ | ✓ |
Za povolenou funkci se účtují poplatky za bránu AI Gateway v systému Mosaic. Mezi placené funkce ve verzi Preview patří AI Guardrails, protokolování datové části a sledování využití. Funkce, jako jsou oprávnění k dotazům, omezování rychlosti a směrování provozu, se účtují zdarma. Za všechny nové funkce se účtují poplatky.
Následující tabulka odráží sazbu jednotek Databricks (DBU) za milion tokenů (M) pro placené funkce brány AI. Poplatky jsou uvedené pod skladovou položkou Serverless Real-time Inference .
| Funkce | Rychlost DBU |
|---|---|
| Mantinely AI | 21.429 DBU na tokeny M |
| Protokolování datové části | 2.857 DBU na tokeny M |
| Sledování využití | 0.571 DBU na tokeny M |
Mantinely AI
AI Guardrails umožňují uživatelům konfigurovat a vynucovat dodržování předpisů dat na úrovni modelu obsluhujícího koncové body a omezit škodlivý obsah u všech požadavků odeslaných do základního modelu. Chybné požadavky a odpovědi jsou blokované a uživateli se vrátí výchozí zpráva. Zjistěte , jak nakonfigurovat mantinely v koncovém bodu obsluhy modelu.
Důležité
Ochranné mantinely AI jsou dostupné pouze v oblastech, které podporují rozhraní API základního modelu s platbami za token.
Následující tabulka shrnuje konfigurovatelné mantinely. Viz Omezení.
| Zábradlí | Definice |
|---|---|
| Bezpečnostní filtrování | Filtrování bezpečnosti brání vašemu modelu v interakci s nebezpečným a škodlivým obsahem, jako je násilné trestné činy, sebepoškozování a projevy nenávisti. Bezpečnostní filtr AI Gateway je vytvořený pomocí Meta Llama 3. Databricks používá jako bezpečnostní filtr Llama Guard 2-8b. Další informace o bezpečnostním filtru Llama Guard a o tom, jaká témata platí pro bezpečnostní filtr, najdete na kartě modelu Meta Llama Guard 2 8B. Meta Llama 3 je licencovaná v rámci licence LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování předpisů s příslušnými licencemi modelu. |
| Detekce identifikovatelných osobních údajů (PII) | Zákazníci můžou zjistit jakékoli citlivé informace, jako jsou jména, adresy, čísla platebních karet pro uživatele. Pro tuto funkci používá AI Gateway k detekci následujících kategorií osobních údajů v USA: čísla platebních karet, e-mailové adresy, telefonní čísla, čísla bankovního účtu a čísla sociálního pojištění. Klasifikátor PII může pomoct identifikovat citlivé informace nebo PII ve strukturovaných a nestrukturovaných datech. Vzhledem k tomu, že používá mechanismy automatizovaného zjišťování, neexistuje žádná záruka, že služba najde všechny citlivé informace. V důsledku toho by měly být použity další systémy a ochrana. Tyto klasifikační metody jsou primárně vymezeny na americké kategorie PII, jako jsou telefonní čísla USA a čísla sociálního pojištění. |
| Moderování témat | Možnost zobrazit sadu povolených témat Vzhledem k žádosti o chat tento mantinely označí požadavek příznakem, pokud jeho téma není v povolených tématech. |
| Filtrování klíčových slov | Zákazníci můžou pro vstup i výstup zadat různé sady neplatných klíčových slov. Jedním z možných případů použití pro filtrování klíčových slov je, aby model nemluvil o konkurentech. Toto mantinely používá k rozhodnutí, jestli v obsahu požadavku nebo odpovědi existuje klíčové slovo nebo porovnávání řetězců. |
Použití brány AI
Funkce služby AI Gateway můžete nakonfigurovat v modelu obsluhující koncové body pomocí uživatelského rozhraní obsluhy. Viz Konfigurace brány AI na model obsluhujících koncové body.
omezení
Následující omezení platí pro verzi Preview:
- AI Gateway se podporuje jenom pro:
- Rozhraní API základního modelu zajištěnou propustnost obsluhující koncové body modelu.
- Model obsluhující koncové body, které obsluhují externí modely.
- Pokud se použijí mantinely AI, velikost dávky požadavku, tj. velikost dávky vložení, velikost dávky dokončení nebo parametr
nžádostí o chat, nesmí překročit 16. - U úloh se zřízenou propustností se podporují pouze omezování rychlosti přenosu a protokolování datové části pomocí tabulek odvozování s povolenou AI bránou.
- Viz omezení tabulky inferencí s podporou AI Gateway.
- Pokud používáte funkci , která volá, a zadáte AI mantinely, tyto mantinely se nepoužijí na požadavky a přechodné odpovědi funkce. Na konečnou výstupní odpověď se však použijí mantinely.