Skip to main content
Glama

基于 RK3588 的老人记忆增强认知辅助系统

Platform

Python

Ubuntu

OpenCV

YOLOv8

RKNN

FunASR

OpenClaw

MCP

FastAPI

Huawei IoT

License

基于 RK3588、OpenClaw、FunASR、YOLOv8、YuNet、SFace 的多模态智慧养老系统


项目简介

本项目面向阿尔茨海默症及认知障碍老人,基于 RK3588 边缘 AI 平台设计了一套集:

  • 👤 人脸识别

  • 📦 物品识别

  • 🎤 离线语音交互

  • ❤️ 心率、血氧、体温监测

  • 🚶 跌倒检测

  • ☁ 华为云 IoT

  • 📱 微信小程序

  • 🤖 OpenClaw Agent

于一体的老人认知辅助系统。

系统采用 OpenClaw + MCP 作为智能调度中心,将视觉模型、语音模型、传感器统一封装为工具,实现自然语言控制整个系统。


功能

人脸识别

位于

people2/

采用

  • YuNet

  • SFace

支持

  • 家属识别

  • 陌生人识别

  • 人脸注册

  • 本地特征库

主要程序:

register_face.py
recognize_face.py
collect_face.py

Related MCP server: MCP AI Service Platform

物品识别

采用

YOLOv8 RKNN

主要程序:

app/rknn_inference.py

people2/main_camera_fps_v8.py

模型:

best.rknn

语音交互

采用:

  • FunASR

  • WebRTC VAD

主要程序:

voice_recorder2.py

voice_test.py

asr_main3.py

支持:

  • 唤醒词

  • 离线语音识别

  • 自然语言问答


OpenClaw Agent

主要程序:

app/elder_mcp_server.py

project/modules/openclaw_client.py

支持:

  • MCP Tool

  • Agent 调度

  • 自然语言控制

例如:

这是谁?

这是什么?

我的心率是多少?

今天走了多少步?

健康监测

主要程序:

health_monitor.py

heart_thread.py

mpu6050.py

as6221.py

支持:

  • 心率

  • 血氧

  • 体温

  • 跌倒检测


TTS

主要程序:

tts_service.py

tts_test.py

采用讯飞 XFS5152CE 模块完成语音播报。


华为云 IoT

主要程序:

huaweiyun.py

支持 MQTT 上传:

  • 心率

  • 血氧

  • 体温

  • 跌倒状态


微信小程序

源码:

前鳃小程序 3.0/

支持:

  • 健康数据

  • 心率曲线

  • GPS

  • 跌倒提醒

  • AI建议

  • 远程语音安抚


工程结构

.

├── app
│   ├── camera_capture.py
│   ├── dashboard_app.py
│   ├── elder_brain_api.py
│   ├── elder_mcp_server.py
│   ├── face_recognizer.py
│   ├── health_monitor.py
│   ├── i2c_base.py
│   ├── rknn_inference.py
│   └── tts_service.py
│
├── people2
│   ├── register_face.py
│   ├── recognize_face.py
│   ├── collect_face.py
│   ├── models
│   └── func
│
├── project
│   └── modules
│       ├── asr_main3.py
│       ├── voice_recorder2.py
│       ├── voice_test.py
│       ├── openclaw_client.py
│       ├── huaweiyun.py
│       ├── heart_thread.py
│       ├── mpu6050.py
│       ├── as6221.py
│       └── tts_test.py
│
├── 前鳃小程序 3.0
│
├── best.rknn
│
└── README.md

软件架构

麦克风
      │
      ▼
FunASR
      │
      ▼
OpenClaw
      │
      ▼
MCP Server
      │
 ┌────┼───────────┐
 │    │           │
 ▼    ▼           ▼
人脸  物品      健康监测
 │    │           │
 ▼    ▼           ▼
TTS  华为云    微信小程序

AI 模型

模型

用途

FunASR

离线语音识别

YuNet

人脸检测

SFace

人脸识别

YOLOv8 RKNN

物品识别

OpenClaw

Agent


硬件

  • RK3588

  • USB Camera

  • USB Microphone

  • MAX30102

  • MPU6050

  • AS6221

  • XFS5152CE


运行

启动 FastAPI:

python app/elder_brain_api.py

启动 MCP:

python app/elder_mcp_server.py

启动健康监测:

python app/health_monitor.py

启动语音助手:

python project/modules/asr_main3.py

项目展示

建议在 docs/images 中放置:

docs/images/

architecture.png

hardware.jpg

wechat.png

dashboard.png

demo.gif

README 中直接引用:

## 系统架构

![](docs/images/architecture.jpg)

## 实物

![](docs/images/hardware.jpg)

## 微信小程序

![](docs/images/wechat.jpg)

## 演示

![](docs/images/demo.gif)

开发环境

Ubuntu 22.04

Python 3.10

OpenCV

RKNN Toolkit Lite2

OpenClaw

FastAPI

FunASR

PyAudio


License

MIT License

Related MCP Connectors

Related MCP Servers