美林数据
ABOUT US
美林数据技术股份有限公司(简称:美林数据,NEEQ:831546)是国内知名的数据治理和数据分析服务提供商。

美林新闻/NEWS

首页 美林数据 美林新闻

美林数据技术专家团队|基于边缘智能的作业现场安全落地实践

2022-07-08 14:01:42
引言
随着企业信息化、数字化、智能化进程的不断推进,以人工智能为基础的视频智能识别分析,作用于施工作业现场人员的安全管控,成为一种更加精准、高效的方式。
传统基于监控的事后人工核查方式,存在时空覆盖不全,易造成漏查、未查等问题,基于边缘智能的视频分析技术,借助边缘计算设备,在监控源头提供近端智能分析服务,实现对违章行为的实时识别分析,智能化的解析出具体违章信息及人员信息,从而将视频这种非结构数据转化为结构化数据,为后续决策分析提供基础。本文结合某厂房作业现场安全场景,介绍基于边缘智能的作业现场安全落地相关实践。

整体框架概述
本次检测识别模型包括安全帽检测、安全带检测、抽烟检测和人脸识别,基于边缘硬件可对视频流进行实时分析,智能识别现场违规行为,并将违规行为的结构化信息和违规图片,上传至安全预警管控服务器进行存储和展示,同时实现告警信息与现场告警喇叭的联动,实现现场违规行为的实时告警,整体部署框架如下图所示:

作业现场安全检测
数据采集包括全局摄像头和人脸采集装置,全局摄像头采集的数据一方面连接硬盘录像机进行存储,另一方面连接边缘计算设备进行检测; 人脸采集装置将规整后的人脸信息存入人脸数据库,以实现对人员身份信息进行识别。对于检测的违章情况,通过MQTT传输至安全预警管控服务器进行管理,同时结合违章信息通过告警喇叭进行警告。预警可视化从安全预警管控服务器中抽取违章信息进行统计展示,并在核查后可直接生成报表。

关键技术概述
由于厂房区域比较开阔及设备多样,常规基于枪机的采集方法及通用模型检测方式,会对模型检测精度产生较大影响。在实际场景落地时,除了模型本身调优之外,我们从PTZ跟踪变焦、事件检测和小目标检测技术来保证模型检测精度,同时配合模型调度来保证多模型并发执行效率。

作业现场安全落地实践
PTZ跟踪变焦
PTZ跟踪变焦采用海康全结构化双800万全局摄像头实现,当全景摄像头检测到人员进入时,会启动对人员的跟踪,同时联动球机变焦,对人员进行连续抓拍,示意如下:

PTZ跟踪变焦
另,对于场景中有多个对象时,会将跟踪对象放入队列中,通过轮询的方式实现对多人的跟踪抓拍。由于全景摄像头和细节球机坐标系不同,而在后续检测结果合并时,需要将检测结果转换到统一坐标中,因此需在获取抓拍图片时记录相应的坐标信息。
通过跟踪变焦,可以实现远距离目标的清晰抓拍,为后续远距离人脸识别、小目标抽烟检测等检测模型提供高质量的数据,从数据层面来保证模型的检测精度。

事件检测
事件检测将传统基于单帧的检测方式转换为基于多帧的决策,以减少模型误判,保证模型的检测精度。传统单帧的检测方式严重依赖模型的效果,一旦模型出现误判,无法自我纠正;而基于多帧决策的方式,将多帧的结果进行汇总,并依据统计来判定是否为违规异常,从而大幅度较少模型的误判,同时降低了模型学习优化的难度。
事件检测
事件检测基于内存数据库实现对检测结果的增删改查,同时防止模型在检测到异常时,不间断触发报警的情况,并可通过定时器来控制报警间隔。
小目标检测基于两阶段检测方式实现,以抽烟模型为例,示意如下:
作业现场安全检测解决方案
基于两阶段的抽烟检测流程,如上图所示,第一阶段采用基于Yolov4-tiny的手检测模型,从整幅图片中定位出手所在的区域,这样可极大减少后续烟支检测的计算量;第二阶段,考虑到目标本身所包含的判别信息,采用语义分割模型来对烟支所在区域的像素进行区分,判断是否有烟的存在,最终,完成抽烟的判定。通过这种方式,从流程上来保证模型的检测精度。
作业现场安全检测
模型调度
模型调度采用TritonServer推理框架,其可以动态加载模型库中的相关模型,实现多模型对GPU资源的调用和热更新,客户端通过HTTP方式实现模型服务的调用。本次落地后端实现框架包含TensorRT和C++,故借助其多后端支撑能力,实现基于C++backends扩展模型服务,从而实现多模型推理的部署调用,保证模型的服务能力。

综上,针对作业现场安全管控,聚焦作业面积大、环境复杂、需实时告警等问题,借助PTZ变焦跟踪、事件检测、小目标检测技术,从数据质量、业务流程、检测流程上来保障模型检测精度,同时结合边缘设备和TritonServer推理框架,实现边缘端多模型服务部署,以支撑作业现场多摄像头、多模型实时违章检测。在保障现场安全的同时,将视频这种非结构数据转化为结构化数据,为后续决策分析提供数据基础。




服务热线
400-608-2558
咨询热线
029-88696198
美林数据
微信扫描二维码,立即在线咨询