基于ESP32 的AI＋IOT 宿舍无感改造 - 嘉立创EDA开源硬件平台

广州市六校联赛获奖作品

队伍：悱炷蓅对

题目：见附件

奖项：企业专项奖

概览：

①可以人脸识别控制、APP控制、前台控制、可独立调节色温亮度的大功率桌面照明灯。

②可将电脑画面实时高帧率映射到背景强，且可调饱和度、亮度的彩色灯带，由于通过校园网传输，可以做到对其他校区电脑的屏幕的实时映射。

③可以在不影响美观、不违反宿舍用电安全、不影响原本开关作用的前提下以廉价、高稳定度方案控制宿舍灯。

④所有控制都通过校园网，实现三校区五校园都可以高效控制宿舍里的系统。

⑤廉价但高表现的音响系统，与彩色灯带一起塑造宿舍观影模式。

⑥生动的前台界面、时间自动对时。

前言：

我一直有个改造宿舍的想法。目前在bilibili上有许多别人的改造宿舍的视频，但大多数都对宿舍的外观造成一定程度的破坏或存在其他问题。例如在很多将宿舍的普通门锁改成指纹、人脸识别锁的视频里，作者通常是将一个开发板直接贴在门上，再加上错乱的走线，属实影响了宿舍美观。趁着由嘉立创赞助的广州市六校联赛，我将我的部分想法实现，制作了一套无感宿舍智能家居控制系统。整套系统在正常的宿舍生活中基本上是看不到的，也即不会影响宿舍美观。目前这套系统还在开发中，先开源当前各个部分的程序。后续将加入ESP32人脸识别开宿舍门（已经有不会影响美观的完美方案，但苦于一直没时间）、桌面投影与投影触控作为中控（所有设备在正常角度下能够做到基本看不到，即无感，只能看到投出来的影）。暑假时将对整个项目做升级、大改与整理（目前各部分程序十分混乱，因为只是为了验证），全部完成之后再将所有资料开源，目前不建议克隆。

以下是设计报告原文（浅浅偷懒）：

二、选题题目

B 智能家居控制系统的电子设计。

三、摘要

本小组设计的系统全名为“基于廉价ESP32智能联网家居桌面控制系统”。此系统低成本、高质量、无感、丝滑、低功耗、高可靠的设计宗旨贯穿设计的整个过程。目前系统初步完成，投入使用的时间已有两天，为疫情下的宿舍生活增添了许多光彩。系统敏锐的人脸检测能力、稳健的联网能力等共同造就了用户极佳的使用体验。

四、设计方案详述

  此套系统的主要硬件如下：  

此套系统的后台（包括灯带、控制板、电源、音响）的布局都是隐藏的，即可以做到在断电的情况下感受不到这套系统的存在（不占用桌面、不露出马脚），也即设计宗旨中的“无感”。部分隐藏布局方式如下图：

后台控制板如下，利用之前为DIY投影仪而设计的板子

前台则为可移动屏幕，摆在桌面可以看时间（NTP自动对时）、控制设备。其各方位视图如下（后续将3D打印外壳）：

实际总体效果如下（只能看到摄像头以及前台中控，后续摄像头会换到前台）：

（1）硬件的选型、设计过程略有坎坷，记录如下：

①主控：由于众所周知的原因，近来STM32等进口处理器价格虚高。进来国内许多Soc价格低廉、性能强劲（如全志F1C系列）。但由于SDK不公开，若想获取，需提供大笔订单，并签订SDK保密协议，导致资料极少。为兼顾性价比与易用性，我最终选择了ESP32系列芯片作为前端（中控屏）主控，这一系列的裸片价格只需大约10元，其带有最小电路、SPI Flash的模组只需大约15元。选择ESP32-S3系列芯片作为后端主控，这一系列的模组只需大约30元，且带有硬件张量运算加速，因此适合用于进行AI模型推理，我也为此实现了效果极佳的人脸检测亮灯。以上两块主控芯片都同时支持全协议蓝牙、WIFI，通过乐鑫官方的ESP-IDF工具链条进行开发。

②书桌灯驱动：要实现可调色温的书桌照明灯，我采用一条黄色灯带和一条白色灯带，通过PWM，预期通过调节两者占空比以实现色温、亮度的调节。由于科学界实验得出的对照明灯频率要求为大于3KHz（此时才能保证频闪对于眼睛基本无害），故我采用9KHz的PWM对灯带进行调制。另外，我选用的灯带功率为单条13W，两条一共26W，故需要寻找一种符合大功率、高频率的驱动电路。原本想通过购买现成驱动模块解决问题，但这会提高成本、同时不方便压缩体积。最终通过实验我发现，每条灯带只需要各通过一个型号为SI2302的MOS管便可以完美驱动，且基本不发热。考虑到MOS管易击穿问题，原本计划通过光耦隔离，但为降低成本同时兼顾体积，故在主控IO口与MOS管栅极之间串联一个二极管进行简单隔离，防止电流倒灌。在长期亮灯实验后我发现，这种方案并不会带来任何不稳定性。

③：联网方案

由于官方的ESP-IDF开发包目前没有适配企业级802.1x认证，无法直接连接校园网，故我通过一个连接校园网的路由器为此系统提供网络。

④：宿舍灯控制方案

在不违反宿舍用电安全的巨大前提下，我们想通过步进电机按压开关的方式控制宿舍灯，但这会导致原来的开关被占用，无法手动控制，另外会使得宿舍美观遭到破坏。我了解到有一种按钮套，可以直接套在普通按键上，既可以远程控制开关，又可以通过触摸其表面手动控制开关。但这类开关价格高，最便宜的也需要大约100，同时我无法获取其通信协议，故无法用自己搭建的廉价系统控制。最终我找到一家倒闭的品牌ROOME，他们生产的智能开关套由于需要他们提供的软件才能控制，但服务器已经停机，故无法使用，因此在淘宝上仅售12元。同时，网友联系这家公司的前员工，获取了其BLE控制开关的协议并在淘宝评论区共享，因此它成为我的不二之选。既美观，又稳定，价格低。其在宿舍的安装效果如下：

⑤：音响

为营造宿舍观影模式，除了灯带，还需要音响。我选择暴风影音电视机的扬声器制作一套小音响系统。由于暴风影音已经倒闭，很多高质量全新的扬声器被贱卖，我花费18元买到一对共20W功率的音响，藏匿在书桌的缝里，搭配10元的变压器耦合功放板，实现了一套高质量的音响系统。目前只能通过蓝牙连接，后续将加入到后台主控芯片。

（2）软件的设计

  此套系统的开发环境涉及：ESP-IDF，VS2017,QT5，E4A

①书桌灯亮度调节：
本着丝滑的宗旨，我通过新开Freertos线程的方式实现灯带在开灯、关灯、调节亮度、调节色温的过程中时刻保持丝滑（渐变），即无论如何暴力地调节或任何不利状态下，灯带的亮度、色温都不可能出现突变。（详见演示或附件视频）此处有一细节，由于通过调节黄白两灯的亮度关系以实现调节色温，当色温为最低或最高，此时两灯应只有一条亮起，另一条关闭，也即此时最亮的亮度只能达到一条灯带的亮度。当色温为最中值，此时两灯应该以相同的的亮度亮起，这时候总体亮度最大值可以达到在色温为最低或最高的情况下的两倍，即对于不同的色温，存在一个亮度最大值。因此，在我们的软件中对这个最大值进行了实时计算并反馈到前端，所以下面【界面】部分的图片中，书桌灯的亮度调节滑块条背景有一端比较浅，即不可达区域。此外，我还加入了人脸识别自动开关灯功能（详见视频或展示）

②界面：
此系统前台采用LVGL开源界面库实现界面，每个画面上的每个元素都有2~3个动画细节，连背景都会运动，使得整个界面生动有趣。（详见演示或附件视频）另外，我通过自己的办法设计了一个数字显示动画库，可以实现数字0~9中任意两个数字的切换过程丝滑、有趣。为加快开发速度，我先通过LVGL在电脑VS2017的移植版本进行界面设计、调试，最终界面完成后再导入ESP32运行、适配。尽管最终实际帧率并不高，但看在前台主控芯片成本不到15元，这还是很值得的。

部分界面截图如下：

实际显示效果如下：

③流光溢彩：
此处流光溢彩指的是将电脑屏幕的实时画面映射到WS2812彩色灯带上，实现类似于电脑画面溢出屏幕的视觉效果，适合在看电影、打3D游戏时使用。一开始我使用QT内置的抓拍API去获取整个屏幕，帧率可以达到35，但是CPU占用达到10%，故改为每次只截屏幕四周，分为4此截图，确实使得CPU占用降低到0.6%，但是却导致帧率只有10帧。最终通过查资料我得知windows 8之后微软公开了一个新的截屏方式:DXGI，可以通过GPU加速截屏，因此被我用作最终方案，轻松将帧率提高到90帧，并且基本不占用CPU，windows系统对我的上位机的电量评估为耗电极低。此外，考虑到大多数时候电脑显示界面颜色饱和度低的问题，我通过各颜色通道减去最小颜色值，再归一化的办法以实现彩色灯带颜色饱和度可调节、亮度可调节。

④网络：前台与后台通过WIFI连接路由器从而相互连接，同时又连接到校园网与公网。前台连接公网以获取授时服务，后台连接公网以接入小爱同学，从而实现手机语音指令开关宿舍灯。由于通过网线连接的路由器在校园网获得的IP地址是固定的，因此只需要设置路由器让前端、后端的IP与MAC绑定、并设置端口转发，就能实现在三校区五校园任何能连接到校园网的地方对我宿舍的此套系统进行高质量控制。为提高实时性，前后端、手机端、电脑抓屏发送上位机端都使用UDP通信，实测效果良好。为此我设计了一个安卓app给位于其他校区的评委们在测评时远程控制这套设备。在控制前请保证手机连接的是校园网。

五、测试与调试

  这套系统在这个月的开发过程中功能逐渐完善，并且在半个月前雏形出来后每天都在使用已经开发的功能，同时作为测试。直到目前（5月13日23时）没有出现任何问题。

由于此系统的性能主要体现在它给人的感受上，因此无法获得一系列数值以测试其完美度，因此可能主要通过展示或者录制视频的方式让评委感受其便利性。

对桌面系统的测试我们选取以下几点标准：安全性、可靠性、实用性、美观与响应速度共5点。

1、安全性测试

半个月的运行无故障

2、可靠性

在最终成果出来后小组采取平日里正常使用会采取的操作，并在短时间内多次进行对系统的可靠性进行测试，在1分钟内快速开机关机、对

灯带亮度饱和度快速调节、app页面快速切换等多种实验以验证系统在生活中使用的可靠性。最终，无论如何快速暴力地调节此系统，都没能成功使其不稳定。

1、实用性

由于系统布局的隐蔽性，我经常会忘记它的存在，直到它在我靠近座位即将坐下的时候亮灯，或者离开座位后缓缓关灯。这种体验是美妙的。

4、美观

测试数据小组以视频的形式记录