TGI 是 Hugging Face 推出的生产级 LLM 推理服务器，支持连续批处理与量化推理，为模型部署而生。
访问官网
查看 TGI (Text Generation Inference) 的替代品