
NVIDIA NIM(NVIDIA Inference Microservices)是英伟达推出的 AI 推理微服务,用于把 AI 模型(尤其是大模型)快速、稳定、高性能地部署成可用的在线服务。
最新免费开放了GLM-5 的API。
1、在nvidia注册账号生成key
https://build.nvidia.com/explore/discover
2、用OpenAI的兼容模式接入
base-url选:https://integrate.api.nvidia.com/v1
model:z-ai/glm5