统一的 AI 模型打包、容器化部署与 Serverless 云端推理服务开发框架。
本地打包、容器化与服务化模块完全开源;官方 BentoCloud 托管服务提供新用户免费算力启动额度。
BentoML 是专为软件工程师与数据科学家打造的开源模型服务化与推理部署框架。它将复杂的模型推理代码、Python 依赖项、动态批处理与多工作进程封装为标准的 Bento 构件,支持一键生成优化版 OCI 容器镜像,并提供搭配 vLLM 与 OpenLLM 的极速大语言模型高并发服务能力。
点击下方按钮前往官方平台立即开启探索。