# 基于多模态融合的具身智能机械臂控制系统

## 一、项目概述

本项目构建了一套完整的**具身智能（Embodied AI）机械臂控制系统**，实现了"语音下达指令 → 大模型语义解析 → 视觉定位目标 → 机械臂精准执行"的全链路闭环。系统在消费级硬件（RTX 3060 Laptop, 6GB 显存）上完成全部推理，无需联网，满足边缘部署需求。

### 核心能力

| 能力 | 描述 |
|:---|:---|
| **听** | 本地语音识别（Faster-Whisper），实时将中文语音转文本 |
| **想** | 微调大模型（DeepSeek-R1-1.5B + QLoRA），将自然语言解析为结构化 JSON 指令 |
| **看** | 目标检测（YOLOv8s）+ 单应性矩阵标定，像素坐标精准映射到机械臂坐标系 |
| **动** | D-H 运动学建模 + S-Curve 轨迹规划，实现平滑、无抖动的机械臂运动 |

---

## 二、系统架构

```
语音输入 (麦克风)
    │
    ▼
┌──────────────────┐
│  Faster-Whisper   │  语音识别 (STT)
│  (Base, CUDA)     │  中文语音 → 文本
└────────┬─────────┘
         │  "把削笔刀抬起5厘米"
         ▼
┌──────────────────┐
│  规则解析引擎      │  简单指令直接匹配（松开/复位/方向移动）
│  (正则匹配)        │  ──命中──→ 直接生成 JSON
└────────┬─────────┘
         │  未命中（含物体名的复杂指令）
         ▼
┌──────────────────┐
│  DeepSeek-R1-1.5B │  微调大模型推理
│  (QLoRA微调+FP16)  │  自然语言 → JSON 指令
└────────┬─────────┘
         │  [{"action": "lift", "target": "part", "height": 50}]
         ▼
┌──────────────────┐
│  YOLOv8s 目标检测  │  实时检测目标物体位置
│  + 单应性矩阵标定  │  像素坐标 → 机械臂坐标
└────────┬─────────┘
         │  目标坐标 (rx=170, ry=3)
         ▼
┌──────────────────┐
│  运动控制引擎      │  D-H 逆运动学 + S-Curve 插值
│  (ESP32 + MG996R)  │  平滑轨迹规划 → 舵机执行
└──────────────────┘
```

---

## 三、核心技术详解

### 3.1 语音识别 — Faster-Whisper

- **模型**：Faster-Whisper Base，CUDA FP16 加速
- **交互方式**：按住空格键录音，松开后识别
- **反幻觉优化**：
  - 音频首尾静音裁剪，过滤空白段触发的重复幻觉
  - 设置 `condition_on_previous_text=False`，防止上下文依赖导致的"向右向右向右..."循环
  - 后处理纠错引擎：谐音修正（"零米"→"厘米"、"小笔刀"→"削笔刀"）+ 重复模式检测与去除

### 3.2 语义解析 — 微调大模型 + 规则引擎双通道

#### 微调大模型

| 项目 | 详情 |
|:---|:---|
| **基座模型** | DeepSeek-R1-Distill-Qwen-1.5B |
| **微调方法** | QLoRA（4-bit NF4 量化训练，FP16 推理） |
| **训练框架** | LLaMA-Factory |
| **训练数据** | ~500 条垂直领域样本（中文指令 → JSON） |
| **训练结果** | Loss 收敛至 0.0519，格式错误率 0% |
| **推理延迟** | < 200ms (RTX 3060) |
| **显存占用** | < 4GB (FP16) |

**关键技术点**：

1. **Prompt 对齐**：推理时的 System Prompt 必须与训练数据完全一致，否则模型输出偏移
2. **Pre-filling 截断**：手动追加 `<｜Assistant｜>` 标签，跳过模型的思考链（CoT），直接输出 JSON
3. **确定性解码**：`do_sample=False` 贪婪搜索，确保相同输入永远产生相同输出

#### 规则解析引擎（前置拦截）

对简单指令（纯方向移动/松开/复位）直接走**正则匹配**，不经过大模型：
- 避免模型将"向下三厘米"误判为 `lift`
- 响应更快（微秒级 vs 毫秒级）
- 只有包含物体名称的复杂指令（如"把削笔刀抬起5厘米"）才交给大模型处理

### 3.3 视觉感知 — YOLOv8 + 手眼标定

| 项目 | 详情 |
|:---|:---|
| **检测模型** | YOLOv8s（自定义训练，50 张样本迁移学习） |
| **空间映射** | 单应性矩阵（Homography），4 点标定 |
| **交互标定** | 按 `C` 键实时点击标定点，支持摄像头移位后重新校准 |
| **镜像修正** | `cv2.flip` + 数学补偿公式 $r_y = C_{center} \times 2 - r_{y_{raw}}$ |

### 3.4 运动控制 — D-H 建模 + 减震系统

| 项目 | 详情 |
|:---|:---|
| **运动学** | D-H 参数建模 + Scipy SLSQP 数值逆解 |
| **姿态约束** | Pitch = -90°，强制抓手垂直地面 |
| **轨迹规划** | S-Curve 余弦插值（慢起 → 匀移 → 慢停） |
| **信号滤波** | EMA 移动平均 + 阻尼系数，抑制长力臂惯性震动 |
| **硬件适配** | 阶梯式上电（防浪涌）、互补数映射（统一电机极性） |

### 3.5 硬件平台

| 组件 | 型号/规格 |
|:---|:---|
| **主控** | ESP32-WROOM-32 |
| **舵机** | MG996R × 5（大扭矩金属齿轮） |
| **电源** | 6V / 6A 外部直流电源 |
| **GPU** | NVIDIA RTX 3060 Laptop (6GB VRAM) |
| **摄像头** | USB 广角摄像头 (1280×720) |

---

## 四、技术栈总览

```
┌─────────────────────────────────────────────────┐
│                   应用层                         │
│  voice_main.py（主程序）                         │
│  语音交互 · 指令调度 · 状态管理                    │
├────────────┬────────────┬───────────┬────────────┤
│  语音识别   │  语义解析   │  视觉感知  │  运动控制   │
│            │            │           │            │
│ Faster-    │ DeepSeek   │ YOLOv8s   │ D-H IK    │
│ Whisper    │ R1-1.5B    │ + Homog-  │ + S-Curve │
│ (Base)     │ (QLoRA)    │   raphy   │ + EMA     │
│            │ + 规则引擎  │           │           │
├────────────┴────────────┴───────────┴────────────┤
│                   框架层                         │
│  PyTorch · Transformers · OpenCV · Ultralytics   │
│  SoundDevice · Scipy · NumPy                     │
├──────────────────────────────────────────────────┤
│                   硬件层                         │
│  RTX 3060 (CUDA) · ESP32 · MG996R · USB Camera  │
└──────────────────────────────────────────────────┘
```

---

## 五、指令支持与示例

| 语音指令 | 解析结果 (JSON) | 执行动作 |
|:---|:---|:---|
| "把削笔刀抬起5厘米" | `[{"action":"lift","target":"part","height":50}]` | 视觉定位 → 抓取 → 抬起 50mm |
| "向左移动3厘米" | `[{"action":"move_inc","axis":"y","value":30}]` | Y 轴正方向移动 30mm |
| "向下移动2厘米" | `[{"action":"move_inc","axis":"z","value":-20}]` | Z 轴负方向移动 20mm |
| "松开" | `[{"action":"release"}]` | 张开夹爪 |
| "回到原位" | `[{"action":"reset"}]` | 复位至初始姿态 |

---

## 六、关键问题与解决方案

| 问题 | 原因 | 解决方案 |
|:---|:---|:---|
| 舵机上电瞬间 ESP32 死机 | 5 路电机同时启动，浪涌电流导致掉电 | 阶梯式上电，间隔 0.5~1.5s 依次激活 |
| 机械臂移动轨迹走斜线 | 长连杆 (L4=130mm) 导致非线性偏移 | D-H 建模 + Pitch=-90° 姿态约束 + 数值逆解 |
| 机械臂剧烈抖动 | MG996R 响应过快 + 长力臂惯性 | S-Curve 插值 + EMA 滤波 + 阻尼系数 |
| Whisper 输出"向右向右向右..." | 静音段触发重复幻觉 | 音频裁剪 + `condition_on_previous_text=False` + 后处理去重 |
| "向下三厘米"被模型解析为 lift | 模型泛化不足，混淆方向移动与抬起 | 规则引擎前置拦截简单指令 |
| Ollama 推理输出废话/思维链 | GGUF 模板对齐失败 | 改用原生 Transformers + Pre-filling 截断 |
| 5 厘米输出 500 而非 50 | 推理 Prompt 与训练 Prompt 不一致 | 严格对齐 System Prompt |

---

## 七、项目结论

本项目通过**"硬件补偿 + 数学建模 + 深度学习"**的多层深度耦合，在消费级硬件上实现了完整的具身智能系统：

1. **数据质量 > 模型规模**：仅 500 条高质量训练数据，1.5B 小模型即可在垂直领域达到 100% 格式遵循率
2. **双通道解析架构**：规则引擎处理简单指令（快速、确定性），大模型处理复杂指令（灵活、语义理解），兼顾速度与智能
3. **全栈离线运行**：语音识别、语义解析、视觉检测、运动控制全部在本地完成，显存占用 < 4GB，满足边缘部署需求
4. **工程鲁棒性**：从硬件防浪涌、舵机减震到语音去幻觉，每一层都有针对性的容错机制