一款面向个人、开发者及企业本地部署场景的 AI 模型运行与服务管理软件。

软件支持在 Windows 10 / Windows 11 64 位系统上运行 GGUF 大语言模型，可根据计算机硬件选择 CPU 推理或 NVIDIA GPU CUDA 加速。

当前 CUDA Runtime 面向 NVIDIA RTX 30、RTX 40 及 RTX 50 系列 GPU 架构构建，使不同等级的 NVIDIA 显卡能够使用统一的软件运行环境。

软件集成模型扫描、模型加载、CPU/GPU 环境检测、推理参数管理、本地 HTTP API、OpenAI 风格 API、服务状态监控和运行日志等功能。

普通用户无需自行安装 Python、CMake、Visual Studio 或 CUDA Toolkit，即可通过图形界面启动本地 AI 模型服务。

模型与推理数据可保留在本地计算机中，适用于企业内部 AI、编程辅助、知识库、智能客服、工业软件、店铺管理系统以及需要本地大模型能力的第三方应用。

支持平台： Windows 10 / Windows 11 64 位

模型格式： GGUF

推理方式： CPU / NVIDIA CUDA GPU

GPU： RTX 30 / 40 系列；RTX 50 Blackwell Runtime 已纳入构建，正式兼容性以实际型号验证结果为准

本地接口： HTTP API / OpenAI 风格 API

运行方式： 完全本地部署，无需云端模型服务

CUDA Toolkit： 客户端无需安装

适用设备： 普通 PC、游戏电脑、AI 工作站、企业服务器、工业计算机

模型下载地址:

https://huggingface.co/models

https://modelscope.cn/models

下载 gguf 格式模型文件

使用方式 ：