Triton Inference Server

NVIDIA Triton推理服务器是一个企业级的AI模型部署平台，支持多种深度学习框架和自定义后端。提供动态批处理、模型集成、A/B测试、性能监控等功能，支持CPU、GPU和边缘设备部署，是生产环境中部署AI模型的首选方案。