基于 RK3588 的老人记忆增强认知辅助系统

Platform

Python

Ubuntu

OpenCV

YOLOv8

RKNN

FunASR

OpenClaw

MCP

FastAPI

Huawei IoT

License

基于 RK3588、OpenClaw、FunASR、YOLOv8、YuNet、SFace 的多模态智慧养老系统

项目简介

本项目面向阿尔茨海默症及认知障碍老人，基于 RK3588 边缘 AI 平台设计了一套集：

👤 人脸识别
📦 物品识别
🎤 离线语音交互
❤️ 心率、血氧、体温监测
🚶 跌倒检测
☁ 华为云 IoT
📱 微信小程序
🤖 OpenClaw Agent

于一体的老人认知辅助系统。

系统采用 OpenClaw + MCP 作为智能调度中心，将视觉模型、语音模型、传感器统一封装为工具，实现自然语言控制整个系统。

功能

人脸识别

位于

people2/

采用

YuNet
SFace

支持

家属识别
陌生人识别
人脸注册
本地特征库

主要程序：

register_face.py
recognize_face.py
collect_face.py

物品识别

采用

YOLOv8 RKNN

主要程序：

app/rknn_inference.py

people2/main_camera_fps_v8.py

模型：

best.rknn

语音交互

采用：

FunASR
WebRTC VAD

主要程序：

voice_recorder2.py

voice_test.py

asr_main3.py

支持：

唤醒词
离线语音识别
自然语言问答

OpenClaw Agent

主要程序：

app/elder_mcp_server.py

project/modules/openclaw_client.py

支持：

MCP Tool
Agent 调度
自然语言控制

例如：

这是谁？

这是什么？

我的心率是多少？

今天走了多少步？

健康监测

主要程序：

health_monitor.py

heart_thread.py

mpu6050.py

as6221.py

支持：

心率
血氧
体温
跌倒检测

TTS

主要程序：

tts_service.py

tts_test.py

采用讯飞 XFS5152CE 模块完成语音播报。

华为云 IoT

主要程序：

huaweiyun.py

支持 MQTT 上传：

心率
血氧
体温
跌倒状态

微信小程序

源码：

前鳃小程序 3.0/

支持：

健康数据
心率曲线
GPS
跌倒提醒
AI建议
远程语音安抚

工程结构

.

├── app
│   ├── camera_capture.py
│   ├── dashboard_app.py
│   ├── elder_brain_api.py
│   ├── elder_mcp_server.py
│   ├── face_recognizer.py
│   ├── health_monitor.py
│   ├── i2c_base.py
│   ├── rknn_inference.py
│   └── tts_service.py
│
├── people2
│   ├── register_face.py
│   ├── recognize_face.py
│   ├── collect_face.py
│   ├── models
│   └── func
│
├── project
│   └── modules
│       ├── asr_main3.py
│       ├── voice_recorder2.py
│       ├── voice_test.py
│       ├── openclaw_client.py
│       ├── huaweiyun.py
│       ├── heart_thread.py
│       ├── mpu6050.py
│       ├── as6221.py
│       └── tts_test.py
│
├── 前鳃小程序 3.0
│
├── best.rknn
│
└── README.md

软件架构

麦克风
      │
      ▼
FunASR
      │
      ▼
OpenClaw
      │
      ▼
MCP Server
      │
 ┌────┼───────────┐
 │    │           │
 ▼    ▼           ▼
人脸  物品      健康监测
 │    │           │
 ▼    ▼           ▼
TTS  华为云    微信小程序

AI 模型

模型	用途
FunASR	离线语音识别
YuNet	人脸检测
SFace	人脸识别
YOLOv8 RKNN	物品识别
OpenClaw	Agent

硬件

RK3588
USB Camera
USB Microphone
MAX30102
MPU6050
AS6221
XFS5152CE

运行

启动 FastAPI：

python app/elder_brain_api.py

启动 MCP：

python app/elder_mcp_server.py

启动健康监测：

python app/health_monitor.py

启动语音助手：

python project/modules/asr_main3.py

项目展示

建议在 docs/images 中放置：

docs/images/

architecture.png

hardware.jpg

wechat.png

dashboard.png

demo.gif

README 中直接引用：

## 系统架构

![](docs/images/architecture.jpg)

## 实物

![](docs/images/hardware.jpg)

## 微信小程序

![](docs/images/wechat.jpg)

## 演示

![](docs/images/demo.gif)

开发环境

Ubuntu 22.04

Python 3.10

OpenCV

RKNN Toolkit Lite2

OpenClaw

FastAPI

FunASR

PyAudio

License

MIT License

Elder Care MCP Server

基于 RK3588 的老人记忆增强认知辅助系统

项目简介

功能

人脸识别

物品识别

语音交互

OpenClaw Agent

健康监测

TTS

华为云 IoT

微信小程序

工程结构

软件架构

AI 模型

硬件

运行

项目展示

开发环境

License

Latest Blog Posts

MCP directory API