AI-Serving

部署PMML和ONNX模型提供REST和gPRC接口推理服务

AI-Serving

部署PMML和ONNX模型提供REST和gPRC接口推理服务

支持标准PMMLONNX 模型

集成PMML4S提供完整的PMML模型预测能力

依赖ONNX Runtime支持ONNX模型并且自带CPU和GPU加速器

同时提供REST和gPRC两种接口类型

产品介绍

GitHub stars GitHub forks GitHub watchers

AI-Serving是一款开源的机器学习和深度学习模型部署推理(inference)系统,支持标准的PMML和ONNX格式,同时提供HTTP和gRPC两种接口,方便在不同的生产环境中上线部署PMML和ONNX模型。