背景:基于 RK3568 实现多模态智能交互系统(触摸 / 语音 / 手势),对接 Home Assistant,实现设备控制与状态可视化,构建完整人机交互闭环。
技术要点:
- UI:LVGL + GUI Guider,实现界面交互与状态刷新
- 设备控制:对接 Home Assistant REST API(GET/POST)
- 语音链路:VAD + KWS + ASR + AI语义解析 + MCP控制
- 手势识别:MediaPipe + UDP 通信
- 架构设计:多进程 + 跨进程通信(UDP / MCP)
个人贡献:
- 独立完成系统架构设计,实现多模态交互融合
- 搭建语音 → AI → 设备控制闭环
- 设计多进程通信机制,提升系统解耦与实时性
- 优化性能(VAD降耗、线程与音频缓存优化)
- 解决关键问题(音频误识别、LVGL事件异常等)
成果:
- 实现三种交互方式融合,系统稳定运行
- 语音控制响应流畅,UI交互体验良好
- 具备实际落地能力与良好扩展性
广州晶锐信息技术
2025/03 - 2025/11
背景:产品架构升级,将 MCU 替换为 N32G457REL7,利用其集成的以太网 MAC 接口,提升系统性能与扩展能力。
技术要点:
- FreeRTOS 多任务调度与任务间通信,资源共享与管理
- UART / SPI / ADC / USB / ETH 外设驱动开发与 DMA 传输优化
- 移植 LwIP 协议栈,优化 RAM 使用与网络通信效率
- 固件升级机制改进:引入分区备份与校验,避免升级失败导致设备损坏
个人贡献:
- 适配并开发 N32G457REL7 外设驱动
- 设计并实现固件升级备份与校验流程,显著提升系统升级安全性
- 与 DSP、上位机及硬件团队协同,完成功能扩展与产品迭代
- 优化内存占用,替换 TCP 为 UDP,提升通信性能
成果:
- 完成产品架构迭代,新平台稳定量产
- 系统性能与可靠性明显提升
广州晶锐信息技术
2024/08 - 2025/03
背景:在 AT32F413RCT7 平台开发音频处理器外接控制面板,为提升交互流畅度,舍弃 LVGL 并自研轻量级 UI 架构。
技术要点:
- FreeRTOS 多任务调度、任务间通信
- UART / SPI / I2C 外设驱动,DMA 传输优化
- 自绘 UI 架构,SPI + DMA 刷屏优化
- Bootloader 固件升级
个人贡献:
- 重新设计 SPI + DMA 刷屏逻辑,使界面延迟降低至 <100ms
- 通过 UART 与主板通信,实现实时状态展示与固件在线升级
- 编写矩阵按键与电位器输入逻辑(去抖动、长短按识别),实现精准控制
- 负责 I²C 驱动 TM1680,稳定实现指示灯与数码管显示
成果:
- 交互流畅度提升约 30%,显著改善用户体验
- 设计的 UI 架构被复用至 2 款后续产品,开发效率提升 20%