KTransformers,Transformer架构LLM推理优化框架,提供类似ChatGPT的Web UI,兼容OpenAI 和 Ollama 的 RESTful API。清华大学团队开源项目
基于Transformer架构实现了RTX 4090 单卡实现 DeepSeek-R1 满血运行
https://github.com/kvcache-ai/ktransformers
KTransformers,Transformer架构LLM推理优化框架,提供类似ChatGPT的Web UI,兼容OpenAI 和 Ollama 的 RESTful API。清华大学团队开源项目
基于Transformer架构实现了RTX 4090 单卡实现 DeepSeek-R1 满血运行
https://github.com/kvcache-ai/ktransformers