Model implementeren op NVIDIA Triton Inference Server
NVIDIA Triton Inference Server is een opensource-software met meerdere frameworks die is geoptimaliseerd voor deductie. Het ondersteunt populaire machine learning-frameworks zoals TensorFlow, Open Neural Network Exchange (ONNX) Runtime, PyTorch, NVIDIA TensorRT en meer. Deze kan worden gebruikt voor uw CPU- of GPU-workloads. In deze module implementeert u uw productiemodel op NVIDIA Triton-server om deductie uit te voeren op een in de cloud gehoste virtuele machine.
Leerdoelen
In deze module leert u het volgende:
- Maak een met NVIDIA GPU versnelde virtuele machine.
- Configureer NVIDIA Triton Inference Server en gerelateerde vereisten.
- Voer een deductieworkload uit op NVIDIA Triton Inference Server.