最新消息:

KTransformers,Transformer架构LLM推理优化框架

佳软 lewuxian 60浏览 0评论

 

KTransformers,Transformer架构LLM推理优化框架,提供类似ChatGPT的Web UI,兼容OpenAI 和 Ollama 的 RESTful API。清华大学团队开源项目

基于Transformer架构实现了RTX 4090 单卡实现 DeepSeek-R1 满血运行

https://github.com/kvcache-ai/ktransformers

 

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址