Llama 3.1 70B Versatile — 极速推理模型

Llama 3.1 70B Versatile是通过Groq LPU极速推理平台提供的开源AI模型，Llama 3，推理速度可达250 tokens/sec，上下文窗口131K tokens，支持流式输出和API调用。