Mosaic AI Gateway
Importante
Questa funzionalità è disponibile in anteprima pubblica.
Che cos'è Mosaic AI Gateway?
Mosaic AI Gateway è progettato per semplificare l'utilizzo e la gestione dei modelli e degli agenti generativi di intelligenza artificiale all'interno di un'organizzazione. Si tratta di un servizio centralizzato che offre governance, monitoraggio e conformità di produzione ai modelli che servono gli endpoint. Consente anche di eseguire, proteggere e gestire il traffico di intelligenza artificiale per democratizzare e accelerare l'adozione dell'IA per l'organizzazione.
Tutti i dati vengono registrati in tabelle Delta in Unity Catalog.
Per iniziare a visualizzare informazioni dettagliate dai dati del gateway di intelligenza artificiale, scaricare il dashboard del gateway di intelligenza artificiale di esempio da GitHub. Questa dashboard sfrutta i dati delle tabelle di inferenza per il tracciamento dell'utilizzo e la registrazione dei payload.
Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.
funzionalità supportate
La tabella seguente definisce le funzionalità del gateway di intelligenza artificiale disponibili e il modello che gestisce i tipi di endpoint li supporta.
| Funzionalità | Definizione | endpoint del modello esterno | API del modello Foundation con endpoint di throughput preconfigurato | gli agenti di Mosaic AI |
|---|---|---|---|---|
| Autorizzazione e limitazione della frequenza | Controllare chi ha accesso e quanti accessi. | ✓ | ✓ | |
| Registrazione del payload | Monitorare e controllare i dati inviati alle API del modello usando tabelle di inferenza . | ✓ | ✓ | ✓ |
| Monitoraggio dell'utilizzo | Monitorare l'utilizzo operativo sugli endpoint e sui costi associati usando tabelle di sistema. | ✓ | ✓ | |
| Guardrail di IA | Evitare dati indesiderati e dati non sicuri nelle richieste e nelle risposte. Vedere barriere di intelligenza artificiale. | ✓ | ✓ | |
| Instradamento del traffico | Ridurre al minimo le interruzioni di produzione durante e dopo la distribuzione. | ✓ | ✓ |
Mosaic AI Gateway comporta addebiti su base di funzionalità abilitate. Durante l'anteprima queste funzionalità a pagamento includono guardrail di intelligenza artificiale, registrazione del payload e rilevamento dell'utilizzo. Le funzionalità come le autorizzazioni per le query, la limitazione della frequenza e il routing del traffico sono gratuiti. Tutte le nuove funzionalità sono soggette a addebiti.
La tabella seguente riflette il tasso per milione (M) di token delle Unità Databricks (DBU) relative alle funzionalità del gateway di intelligenza artificiale a pagamento. Gli addebiti sono elencati nello Serverless Real-time Inference SKU.
| Funzionalità | Frequenza DBU |
|---|---|
| Guardrail di IA | 21.429 UNITÀ di database per token M |
| Registrazione del payload | 2.857 UNITÀ di database per token M |
| Monitoraggio dell'utilizzo | 0.571 UNITÀ di database per token M |
Guardrail di intelligenza artificiale
Le guardrail di intelligenza artificiale consentono agli utenti di configurare e applicare la conformità dei dati a livello di endpoint del modello e di ridurre il contenuto dannoso in tutte le richieste inviate al modello sottostante. Le richieste e le risposte non valide vengono bloccate e all'utente viene restituito un messaggio predefinito. Vedere come configurare le protezioni in un endpoint di gestione del modello.
Importante
I guardrail di intelligenza artificiale sono disponibili solo nelle aree che supportano le API del modello di base con pagamento in base al token.
La tabella seguente riepiloga le protezioni configurabili. Vedere Limitazioni.
| Protezione | Definizione |
|---|---|
| Filtro di sicurezza | Il filtro di sicurezza impedisce al modello di interagire con contenuti non sicuri e dannosi, ad esempio crimini violenti, autolesionismo e discorso di odio. Il filtro di sicurezza del gateway di intelligenza artificiale è compilato con Meta Llama 3. Databricks usa Llama Guard 2-8b come filtro di sicurezza. Per altre informazioni sul filtro di sicurezza llama Guard e sugli argomenti che si applicano al filtro di sicurezza, vedere la scheda del modello 2 8B di Meta Llama Guard. Meta Llama 3 è concesso in licenza con la licenza community LLAMA 3, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili. |
| Rilevamento delle informazioni personali | I clienti possono rilevare qualsiasi informazione sensibile, ad esempio nomi, indirizzi, numeri di carta di credito per gli utenti. Per questa funzionalità, gateway di intelligenza artificiale usa Presidio per rilevare le categorie di informazioni personali seguenti: numeri di carta di credito, indirizzi di posta elettronica, numeri di telefono, numeri di conto bancario e numeri di previdenza sociale. Il classificatore PII consente di identificare informazioni riservate o informazioni personali in dati strutturati e non strutturati. Tuttavia, poiché usa meccanismi di rilevamento automatizzato, non esiste alcuna garanzia che il servizio trovi tutte le informazioni riservate. Di conseguenza, dovrebbero essere impiegati sistemi e protezioni aggiuntivi. Questi metodi di classificazione hanno come ambito principalmente le categorie di informazioni personali degli Stati Uniti, ad esempio i numeri di telefono degli Stati Uniti e i numeri di previdenza sociale. |
| Moderazione degli argomenti | Possibilità di elencare un set di argomenti consentiti. Dato una richiesta di chat, questa protezione contrassegna la richiesta se il relativo argomento non è incluso negli argomenti consentiti. |
| Filtro delle parole chiave | I clienti possono specificare diversi set di parole chiave non valide sia per l'input che per l'output. Un potenziale caso d'uso per il filtro delle parole chiave è quindi il modello non parla dei concorrenti. Questa protezione usa parole chiave o corrispondenza di stringhe per decidere se la parola chiave esiste nel contenuto della richiesta o della risposta. |
Usare il gateway di intelligenza artificiale
È possibile configurare le funzionalità del gateway di intelligenza artificiale nei modelli che servono gli endpoint usando l'interfaccia utente di gestione. Vedere Configurare AI Gateway negli endpoint che gestiscono i modelli.
Limitazioni
Di seguito sono riportate alcune limitazioni durante l'anteprima:
- Il gateway di intelligenza artificiale è supportato solo per:
- Le API del modello di base con throughput fornito per la gestione degli endpoint del modello.
- Modellare gli endpoint che servono modelli esterni.
- Modellare gli endpoint che servono agenti di Intelligenza artificiale Mosaic.
- Quando si usano protezioni di intelligenza artificiale, le dimensioni del batch delle richieste, ovvero le dimensioni del batch di incorporamento, le dimensioni del batch di completamento o il parametro
ndelle richieste di chat, non possono superare 16. - Per i carichi di lavoro con throughput fornito, sono supportati solo la limitazione della frequenza e la registrazione del payload usando le tabelle di inferenza abilitate per AI Gateway.
- Vedi limitazioni delle tavole di inferenza abilitate dal gateway AI.
- Se usi la funzione che chiama e specifici protezioni di intelligenza artificiale, queste protezioni non vengono applicate alle richieste e risposte intermedie della funzione. Tuttavia, le protezioni vengono applicate alla risposta di output finale.