基于自研 LPU 芯片的极速大模型推理云平台,提供每秒数百词元吞吐的超低延迟推理体验
开发者免费层级即开即用,无需预先充值绑卡,提供超高每分钟请求数与每分钟词元数配额
Groq 采用独创的张量流处理单元 LPU 架构,从底层重构了大模型推理计算栈。相比传统英伟达显卡集群,Groq 在运行开源大模型时可实现每秒高达数百词元的惊人吞吐与近乎零的首词元延迟,彻底消除了复杂 Agent 多轮思考与语音交互场景中的卡顿等待。
点击下方按钮前往官方平台立即开启探索。