机器人龙虾人工智能,打造一套百分百离线本地化智能机器人,全程无需联网、不调用任何付费 API 接口,零使用成本即可实现完整人机交互体验。
🚨 行业痛点
现在市面上的机器人/AI 项目,99% 存在以下致命问题:
- 必须联网 + 付费 API – 调用一次就计费,长期使用成本高到离谱
- 隐私不安全 – 语音、图片、屏幕全上传到云端,毫无安全感
- 延迟高、卡顿 – 网络稍微波动,机器人直接“变傻”
- 没有真正的本地“眼睛” – 多数 AI 无法实时看到你电脑画面或摄像头
- 部署复杂、环境难装 – 官方教程不是缺依赖就是跑不起来
🦞 龙虾本地化 AI – 彻底解决这些坑!
一套完全离线、零成本、零流量的机器人大脑系统。
- ✅ 不依赖 OpenAI / Anthropic / 百度 / 阿里 等任何云服务
- ✅ 纯本地推理:文本 + 视觉 + 语音,全部在你自己电脑上运行
- ✅ 支持看电脑屏幕、看摄像头、连续多帧动作理解
- ✅ 支持语音识别(ASR)+ 语音合成(TTS),真正的人机对话
- ✅ Qt 可视化界面,按住说话、实时显示 AI 回复
🧠 核心技术栈(全部开源、全部本地)
| 能力 | 技术方案 | 特点 |
|---|---|---|
| 文本推理 | llama.cpp + Gemma4 GGUF | 纯 CPU/GPU 离线,Metal 加速 |
| 多模态视觉 | llama.cpp + mmproj | 能看懂图片、分析屏幕、理解动作 |
| 语音识别 | Sherpa-ONNX (ASR) | 本地离线识别,支持中文 |
| 语音合成 | Sherpa-ONNX (TTS) | 本地文字转语音,自然流畅 |
| 界面 & 截图 | Qt + OpenCV | 跨平台,摄像头/桌面采集 |
💻 当前演示环境
- macOS (Apple Silicon) – 原生 Metal 加速,推理飞快
- Windows / Linux 可同样编译运行,代码完全通用
📦 安装极简清单(10 分钟跑起来)
第一步:安装依赖
bash
# macOS (使用 Homebrew)
brew install qt opencv cmake git
# 下载 llama.cpp 并编译
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_METAL=ON # macOS Metal 加速
cmake --build . --config Release -j 8第二步:下载模型(我会提供网盘 / HF 链接)
- Gemma4 26B GGUF(文本模型)
- mmproj-F32.gguf(多模态投影)
- Sherpa-ONNX 中文 ASR + TTS 模型
第三步:克隆本项目
bash
git clone https://github.com/你的用户名/lobster-ai.git
cd lobster-ai
mkdir build && cd build
cmake .. -DCMAKE_PREFIX_PATH=$(brew --prefix qt)
make -j 8
./lobster-ai🚀 发展展望(未来超强)
- 真正机器人大脑 – 接入 ROS、机械臂、小车、智能家居
- 全离线自动化 – 语音控制开关灯、提醒日程、自动截图分析
- 多摄像头监控 – 家庭安防、老人看护,异常自动提醒
- 低配电脑优化 – 持续减少内存和 CPU 占用
- 完全开源 + 社区共建 – 大家一起加功能、修 bug
👐 为什么开源?
我希望每个人都拥有一个属于自己的、免费的、本地的、安全的、能看能听能说的 AI 机器人。
不再为 API 付费,不再担心隐私泄露,不再受网络限制。
第四步:克隆本项目
bash
https://www.jtys114.com/uploads/images/chenenhua_grmma-4.zip📸 运行视频
🧨 结尾一句话
API 收费的时代结束了!本地化 AI 才是未来!
龙虾人工智能,完全开源,人人可用,让每个机器人都拥有真正的眼睛和大脑!
👇 陈恩华博客地址:https://
👇 模型下载:https://
欢迎 Star、Fork、提 PR,一起来玩!