Wdrażanie modeli na potrzeby wnioskowania wsadowego i przewidywania
Artykuł opisuje, co Databricks zaleca dla wnioskowania wsadowego.
Aby uzyskać informacje na temat wdrażania modeli w czasie rzeczywistym na platformie Azure Databricks, zobacz Wdrażanie modeli za pomocą Mosaic AI Model Serving.
Używanie ai_query do wnioskowania wsadowego
Ważne
Ta funkcja jest dostępna w publicznej wersji zapoznawczej.
Usługa Databricks zaleca używanie funkcji ai_query z obsługą modelu na potrzeby wnioskowania wsadowego.
ai_query to wbudowana funkcja SQL usługi Databricks, która umożliwia wykonywanie zapytań dotyczących istniejących modeli obsługujących punkty końcowe przy użyciu języka SQL. Został zweryfikowany w celu niezawodnego i spójnego przetwarzania zestawów danych w zakresie miliardów tokenów. Aby uzyskać więcej informacji na temat tej funkcji sztucznej inteligencji, zobacz ai_query funkcji .
W przypadku szybkiego eksperymentowania można używać z punktami ai_query płatności za token, ponieważ te punkty końcowe są wstępnie skonfigurowane w obszarze roboczym.
Gdy wszystko będzie gotowe do uruchamiania wnioskowania wsadowego na dużych lub produkcyjnych danych, usługa Databricks zaleca używanie aprowiowanych punktów końcowych przepływności w celu uzyskania szybszej wydajności. Zobacz Aprowizowane interfejsy API modelu przepływności foundation, aby utworzyć punkt końcowy aprowizowanej przepływności.