Groq

全球最快LLM推理引擎,基于自研LPU芯片,Llama 3推理速度可达500+ tokens/s

访问官网

查看 Groq 的替代品