Udostępnij za pośrednictwem

Wprowadzenie do tworzenia aplikacji sztucznej inteligencji w usłudze Databricks

  • Artykuł

Mozaika AI udostępnia kompleksową platformę do tworzenia, wdrażania i zarządzania aplikacjami GenAI. W tym artykule przedstawiono podstawowe składniki i procesy związane z opracowywaniem aplikacji GenAI w usłudze Databricks.

Wdrażanie i wykonywanie zapytań dotyczących modeli sztucznej inteligencji w usłudze Gen

W przypadku prostych przypadków użycia można bezpośrednio obsługiwać modele sztucznej inteligencji generacji i wykonywać względem nich zapytania, w tym modele open source wysokiej jakości, a także modele innych firm od dostawców llM, takich jak OpenAI i Anthropic.

Obsługa modeli mozaiki sztucznej inteligencji obsługuje obsługę modeli generacyjnych sztucznej inteligencji i wykonywanie zapytań przy użyciu następujących możliwości:

  • Podstawowe interfejsy API modelu. Ta funkcja sprawia, że najnowocześniejsze otwarte modele i dostosowane warianty modelu są dostępne dla punktu końcowego obsługującego model. Te modele są nadzorowanymi architekturami modeli podstawowych, które obsługują zoptymalizowane wnioskowanie. Modele podstawowe, takie jak DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large i Mistral-7B są dostępne do natychmiastowego użycia z ceną płatności za token i obciążenia, które wymagają gwarancji wydajności, takich jak dostosowane warianty modelu, można wdrożyć z aprowizowaną przepływnością.
  • Modele zewnętrzne. Są to modele generacyjne sztucznej inteligencji, które są hostowane poza platformą Databricks. Punkty końcowe obsługujące modele zewnętrzne mogą być centralnie zarządzane, a klienci mogą ustanowić limity szybkości i kontrolę dostępu dla nich. Przykłady obejmują modele podstawowe, takie jak GPT-4 OpenAI, Claude Anthropic i inne.

Zobacz Tworzenie generowania modelu sztucznej inteligencji obsługującego punkty końcowe.

Struktura agenta mozaiki sztucznej inteligencji

Struktura agenta mozaiki sztucznej inteligencji obejmuje zestaw narzędzi usługi Databricks zaprojektowanych w celu ułatwienia deweloperom tworzenia, wdrażania i oceniania agentów jakości produkcyjnej, takich jak aplikacje generacji rozszerzonej (RAG).

Jest ona zgodna z platformami innych firm, takimi jak LangChain i LlamaIndex, umożliwiając opracowywanie za pomocą preferowanej platformy oraz korzystanie z zarządzanego katalogu unity usługi Databricks, struktury oceny agenta i innych korzyści platformy.

Szybkie iterowanie tworzenia agentów przy użyciu następujących funkcji:

  • Tworzenie i rejestrowanie agentów przy użyciu dowolnej biblioteki i biblioteki MLflow. Parametryzowanie agentów w celu szybkiego eksperymentowania i iterowania na potrzeby opracowywania agentów.
  • Śledzenie agenta umożliwia rejestrowanie, analizowanie i porównywanie śladów w kodzie agenta w celu debugowania i zrozumienia sposobu reagowania agenta na żądania.
  • Zwiększ jakość agenta przy użyciu biblioteki DSPy. DsPy może zautomatyzować monity inżynieryjne i dostrajanie w celu poprawy jakości agentów GenAI.
  • Wdróż agentów w środowisku produkcyjnym z natywną obsługą przesyłania strumieniowego tokenu i rejestrowania żądań/odpowiedzi oraz wbudowaną aplikację do przeglądu, aby uzyskać opinie użytkowników dotyczące agenta.