上海交大提出CDNet：基于改进YOLOv5的斑马线和汽车过线行为检测

斑马线和汽车过线行为检测"/>

上海交大提出CDNet：基于改进YOLOv5的斑马线和汽车过线行为检测

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

CDNet: A Real-Time and Robust Crosswalk Detection Network on Jetson Nano Based on YOLOv5

CDNet: 一个基于YOLOv5的在Jetson Nano上实时、鲁棒的斑马线检测网络

作者：Zheng-De Zhang, Meng-Lu Tan, Zhi-Cai Lan, Hai-Chun Liu, Ling Pei, Wen-Xian Yu

时间：Feb, 2022

期刊：Neural Computing & Applications, IF 5.6

一个神经网络在具体场景（斑马线检测）的应用，改进YOLOv5，提出多项tricks，数据集和复现代码开源！

摘要：

图1 图形摘要

在复杂场景和有限计算能力下实现实时、鲁棒的斑马线（人行横道）检测是当前智能交通管理系统（ITMS）的重要难点之一。有限的边缘计算能力和多云、晴天、雨天、雾天和夜间等真实复杂的场景同时对这项任务提出了挑战。本研究提出基于改进YOLOv5的人行横道检测网络（CDNet），实现车载摄像头视觉下快速准确的人行横道检测，并在Jetson nano设备上实现实时检测。强大的卷积神经网络特征提取器用于处理复杂环境，网络中嵌入了squeeze-and-excitation（SE）注意力机制模块，使用负样本训练（NST）方法提高准确率，利用感兴趣区域（ROI）算法进一步提高检测速度，提出了一种新的滑动感受野短时向量记忆（SSVM）算法来提高车辆交叉行为检测精度，使用合成雾增强算法允许模型适应有雾的场景。最后，在 Jetson nano 上以 33.1 FPS 的检测速度，我们在上述复杂场景中获得了 94.83% 的平均 F1 分数。对于晴天和阴天等更好的天气条件，F1 分数超过 98%。该工作为人工神经网络算法优化方法在边缘计算设备上的具体应用提供了参考，发布的模型为智能交通管理系统提供了算法支持。

贡献：

+ 注意力机制网络改进网络，提升精度，略微降低速度：SENet (Squeeze-and-Excitation Network)

图2 改进，SENet嵌入到CSP中形成SE-CSP

+ 负样本训练，提升精度，速度不变: NST (Negative Samples Training)

图3 负样本训练

+ 感兴趣区域，提升速度，精度下降：ROI (Region Of Interest)

图4 ROI

+ 滑动感受野短时向量记忆算法，迁移斑马线检测任务到汽车过线行为检测任务，提升精度，速度不变：SSVM (Slide receptive field Short-term Vectors Memory)

图5 SSVM

+ 合成雾增强算法，增强数据集，适应雾天，提升精度，速度不变：SFA (Synthetic Fog Augment)

图6 SFA

+ 斑马数据集：标注好的，车载摄像头视角下的，共计6868张图像。

+ 复现代码：见github项目主页

结果

CDNet最终在Jetson nano上实现了33.1FPS实时检测，多云、晴天、雨天、雾天和夜间多个场景平均检测F1分数94.72%。

与原生YOLOv5相比，检测尺寸为640时，CDNet 在 Jetson nano 上提高了5.13%的F1分数和10.7FPS的速度， 检测尺寸为288时，提升为13.38%的F1分数和13.1FPS。

相关链接

数据集、复现代码：

视频样例：

阅读全文：

下载全文：.1007/s00521-022-07007-9

如果该项目对你有帮助，请点击github项目右上角star收藏和引用本论文，感谢~

CDNet论文和代码下载后台回复：CDNet，即可下载上述论文和代码

ICCV和CVPR 2021论文和代码下载后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
CVer-目标检测交流群成立
扫码添加CVer助手，可申请加入CVer-目标检测 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲长按加小助手微信，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！▲扫码进群
▲点击上方卡片，关注CVer公众号整理不易，请点赞和在看