Ray Serve

Ray Serve是Ray生态系统中的分布式模型服务框架，提供可扩展的机器学习模型部署方案。支持多模型部署、动态扩缩容、负载均衡等功能，可以轻松将机器学习模型从单机扩展到集群，同时提供Python原生的开发体验。