查看: 7017  |  回复: 16
用AI视觉模组DIY一个驾驶疲劳监测仪
azxyqcr
2
主题
11
回复
发表于2019-08-16 14:53:35 | 只看该作者
1# 电梯直达
 道路千万条,安全第一条,相信每个人都是牢记于心的,“喝酒不开车,开车不喝酒”其实不难,难的是防范始料未及的事件,疲倦就是众多始料未及事件中,杀伤力稳居前排的,前一秒心里还在想坚持坚持,下一秒可能就失去了意识。相信每个人都体会过,自制力在睡神的面前,是多么的无力,想着躺一会儿爬起来洗脸,结果醒来天都亮了,千万不要在犯困的时候高估自己的毅力~

Murphy's Law表明,只要一件事发生的概率大于零,给足够长的时间,这件事就一定会发生。所以近年来高配版的豪车,应用了各种辅助驾驶的技术来应对这些情况,比如主动刹车系统、车道偏离预警、驾驶员监测系统(DMS)等等,这些高大上的技术中,有没有那一个我们可以DIY一下,给自己的爱车升个级呢?

还真可以!近年来,人工智能技术已经发展到了超出想象的地步,以前觉得手写识别、语音输入、人脸识别就是很神奇的东西了,现在出现了一种脸部关键点定位的技术,能把五官轮廓都给精确的定位出来。每只眼睛能通过9个坐标点,标出眼睑、瞳孔的位置,这简直太适合用来监测犯困了!

 点击查看大图

      

用人工智能进行分析,算法的计算量一般都很大,以前用树莓派3B跑过人脸检测,用OpenCVHaar Cascades算法,要160多毫秒才能跑完一帧人脸检测。如果用效果更好的深度神经网络模型,比如通过ncnn加速框架跑MobileNet-SSD模型,则需要260多毫秒,再跑一个关键点定位模型估计还要几十毫秒,整体帧率就只有3fps了。

是时候请出一个神奇的模块了,他内置了一颗AI加速芯片,单周期可以运行512次乘加运算,硬件支持卷积、池化、全连接等操作,还带了两颗手机摄像头模组,直接能对拍到的图像跑AI算法进行分析,通过UART输出分析后的结果,非常有意思!

 

目前VisionSeed模块提供的算法有:人脸检测、90点关键点定位、姿态角解算、人脸识别,还能够把自己训练的模型下载到模块上的AI芯片中运行。

我们先通过腾讯提供的PC端配置工具,看看模块上的AI算法输出的信息:

 

 

通过USBVisionSeed连上电脑后,识别出来一个video0设备和ttyACM0设备,用配置工具打开ttyACM0,就能源源不断的获取到实时分析数据了,左下角马上显示出了我的脸部关键点,随着我眨眼、摇头、张嘴,这个虚拟的小人也跟着变化,数据可视化界面上,选择左眼开闭,曲线就开始滚动起来了,我每次眨眼,曲线就出现一个向下的尖峰,如果闭眼,曲线就稳定在0.05以下的位置,非常灵敏!

我们要把这个模组装到车上,当检测到闭眼的时候输出报警声。因为AI芯片上不能运行程序,所以需要一个单片机,这次我们用10块钱的STM32来运行报警的逻辑。

要怎么在STM32上获取到AI分析的结果呢?看了一下VisionSeed的文档,中间金黄色的FPC软排线里有UART接口,我们只需要把左边的那个接口板用个单片机替换掉,直接通过FPC座接到VisionSeed上,就能在STM32单片机上拿到结果了。

 

我们选择STM32F103来运行报警逻辑,通过串口0连接VisionSeed,串口1用来控制MP3模块发出报警声,PC13连接一个状态指示灯,原理图还是很简单的:

 点击查看大图

开始画板,右侧通过0.5mm间距的30pin连接器和VisionSeed相连;下方的Micro-USB接口供电,同时导出了VisionSeedUSB信号,可以方便调试;中间是STM32F103C8T6单片机;上方的4pin接口是ST-Link烧录口;左侧背面是一个3.5mm音频接口,用来向音箱输出报警声;正面还叠加了一个串口控制的MP3播放模块,布局是相当紧凑了。

 点击查看大图

导出gerber文件到工厂做板,三天后板子到手:

 点击查看大图

焊接元器件,推荐使用回流焊工艺,做PCB的时候加30元做一个钢网,就可以方便的手工印刷锡膏,把元器件放到焊盘上,送进烤箱,没错,家里烤面包的烤箱就可以!温度设定到250℃,看着锡膏完全融化后断电,一个个完美的焊点就出现了:

 点击查看大图

再用电烙铁焊上MP3模块:

 点击查看大图

最后要装到VisionSeed上。利用VisionSeed自带的散热片,结构稳固而紧凑。先拆掉左侧的接口板:

 点击查看大图

换上我们做好的单片机:

 

开始调试STM32程序。VisionSeed提供了开源的C++PythonjsSDK,提供数据解析,直接就能得到人脸框、90个关键点的坐标。短短数十行代码,我们就完成了对双眼18个点的坐标分析,进而判断闭眼是不是超过了安全的时间:

 点击查看大图

通过ST-Link把程序下载到单片机中,然后把模组装到方向盘后,接上5v供电和音箱,坐上驾驶座,闭上眼睛,当当当——警铃大作,开车再也不怕犯困啦!

 点击查看大图

后记:

VisionSeed不仅仅是个集成了摄像头+AI芯片的模块,AI算法才是效果的保证,他内置了腾讯优图的算法,效果过硬,一直处于业界领先地位,以前一般在腾讯内部产品中应用,比如微信刷脸支付。现在通过VisionSeed人工智能视觉模块,开放给外界,你我也能接触到世界一流的腾讯人工智能算法,甚至能应用在自己的产品中,实在是非常开心。相信腾讯的开放,会惠及更多创业者和爱好者们。

另外,模块内还包括了人脸识别功能,通过附带工具软件管理数据库,能够实时离线识别库中的身份,非常强大,能做出很多有意思的东西,等你一起来探索!

 点击查看大图

阅读原文可购买模组VisionSeed,如果缺货也可以下单,按下单顺序优先发货哦 :

Https://item.szlcsc.com/385377.html

 

查看资料:

Https://visionseed.youtu.qq.com

 

 

azxyqcr
2
主题
11
回复
发表于2019-08-22 16:14:55   |  只看该作者
2#

VisionSeed 1.1.0版本发布了,本次更新主要功能提供了1:N识别能力,还增加了数据可视化和人脸库管理功能,通过本工具,可以将您的VisionSeed升级到新版固件。地址: visionseed.youtu.qq.com


azxyqcr
2
主题
11
回复
发表于2019-08-23 17:18:08   |  只看该作者
3#


VisionSeed是一个融合AI算法+运算能力+摄像头为一体的硬件模组,开发者通过VisionSeed可轻松使用优图人脸检测、识别、配准、姿态、属性等算法能力,创造性完成创新产品的研发。VisionSeed通过USB或UART接口,以结构化形式输出       AI分析结果,用单片机就能玩转AI,开发AI应用触手可及。


VisionSeed具备1TFLOPS(每秒一万亿次)推理运算能力,功耗小于10瓦,提供可靠的FPC软排线接口,可置入各种嵌入式设备中。提供了完整的SDK、Demo工程、文档资源,以便使用VisionSeed进行产品开发,有兴趣可以看看:visionseed.youtu.qq.com。


下单顺序优先发货哦:https://item.szlcsc.com/385377.html


azxyqcr
2
主题
11
回复
发表于2019-08-26 10:22:24   |  只看该作者
4#

VisionSeed是一个融合AI算法+运算能力+摄像头为一体的硬件模组,开发者通过VisionSeed可轻松使用优图人脸检测、识别、配准、姿态、属性等算法能力,创造性完成创新产品的研发。使用场景广泛,有兴趣可以看看:visionseed.youtu.qq.com。

VisionSeed立创商城购买网站:https://item.szlcsc.com/385377.html


azxyqcr
2
主题
11
回复
发表于2019-08-27 10:35:20   |  只看该作者
5#
VisionSeed会加入自定义模型的能力,可以放自己训练的模型上来(但支持的模型结构可能是有限的)
科学小生
9
主题
96
回复
发表于2019-08-27 11:42:22   |  只看该作者
6#
,模组提供的AI能力便于传统嵌入式开发者升级改造老旧设备。有两个疑问,1,串口的波特率等配置是多少?其交互的协议是什么?2,有介绍说可以将自己跑出来的模型下载到芯片中运行,这部分是否有指导文档?
物联网技术专家
azxyqcr
2
主题
11
回复
发表于2019-08-28 18:02:25   |  只看该作者
7#

VisionSeed参数信息:

 

azxyqcr
2
主题
11
回复
发表于2019-08-29 11:26:14   |  只看该作者
8#
科学小生 发表于2019-08-27 11:42:22  6# ,模组提供的AI能力便于传统嵌入式开发者升级改造老旧设备。有两个疑问,1,串口的波特率等配置是多少?其交互的协议是什么?...

TTL、11520波特率的串口通信,我们计划会加入自定义模型的能力,可以放自己训练的模型上来(但支持的模型结构可能是有限的),目前这个功能还未完成开发,有试用版后会先放出来体验

azxyqcr
2
主题
11
回复
发表于2019-08-30 18:21:53   |  只看该作者
9#
 
叮当
3
主题
72
回复
发表于2019-08-31 10:08:16   |  只看该作者
10#
能做到人体体型检测吗?胖瘦,人体肩位置等。
azxyqcr
2
主题
11
回复
发表于2019-09-03 15:56:34   |  只看该作者
11#
叮当 发表于2019-08-31 10:08:16  10# 能做到人体体型检测吗?胖瘦,人体肩位置等。

后续会在VisionSeed里加入自定义模型的能力,自己训练的模型也可以放进来,目前这个功能还未完成开发


azxyqcr
2
主题
11
回复
发表于2019-09-09 14:19:12   |  只看该作者
12#
 
azxyqcr
2
主题
11
回复
发表于2019-09-25 14:30:07   |  只看该作者
13#
 
逝水流年轻染尘
0
主题
3
回复
发表于2019-10-23 17:36:56   |  只看该作者
14#
azxyqcr 发表于2019-09-03 15:56:34  11# 后续会在VisionSeed里加入自定义模型的能力,自己训练的模型也可以放进来,目前这个功能还未完成开发
你好,我想和你咨询学习这个驾驶疲劳监测仪的制作,能交流一下吗?
逝水流年轻染尘
0
主题
3
回复
发表于2019-10-23 17:40:56   |  只看该作者
15#
请问怎么能和你取得联系?
起名好困难
1
主题
38
回复
发表于2019-10-23 19:18:13   |  只看该作者
16#
加上毫米波雷达,探测驾驶员生命特征比如心跳,就更完美了!
遗失的美好
0
主题
1
回复
发表于2020-07-10 21:44:19   |  只看该作者
17#
azxyqcr 发表于2019-09-09 14:19:12  12# 图片
楼主,芯片目前已经内嵌了性别和年龄的算法吗?

主题

回复
  • 温馨提示: 标题不合格、重复发帖、发布广告贴,将会被删除帖子或禁止发言。 详情请参考: 社区发帖规则
  • 您当前输入了 0 个文字。还可以输入 8000 个文字。 已添加复制上传图片功能,该功能目前仅支持chrome和火狐

禁言/删除

X
请选择禁言时长:
是否清除头像:
禁言/删除备注:
昵 称:
 
温馨提示:昵称只能设置一次,设置后无法修改。
只支持中文、英文和数字。

举报

X
请选择举报类型:
请输入详细内容:

顶部