(点击播放视频)
随着无人机技术的不断发展,无人机在各个领域的应用也日益广泛,包括但不限于农业、环境监测、安防等。其中,利用无人机进行人体行为识别在安防领域具有重要意义。通过无人机搭载的传感器和摄像头,可以实现对人体行为的实时监测和识别,为安全管理、应急救援等提供有效支持。随着这一技术的发展,我们面临着诸多挑战和机遇。首先,如何设计高效的人体行为识别算法,使其能够准确地识别各种复杂的行为,如站立、行走、奔跑、跌倒等,是当前需要解决的核心问题之一。其次,如何优化无人机搭载传感器和摄像头的布局和性能,以获取清晰且详细的人体行为信息,对于提高识别准确率至关重要。此外,如何将人体行为识别技术与无人机应用场景有效结合,实现智能化的安全监测和管理,也是我们需要深入探讨和研究的方向之一。
基于以上背景和需求,本次比赛旨在推动无人机人体行为识别技术的发展与创新,鼓励参赛者通过深度学习、模式识别、图像处理等技术手段,设计并训练高效准确的人体行为识别模型,为安防领域提供更加智能、便捷的安全监测解决方案。同时,本比赛也将促进相关领域的交流与合作,共同推动无人机技术在安防领域的应用和发展。
本赛题旨在利用无人机及其搭载的传感器和摄像头,对人体进行行为识别,包括但不限于站立、行走、奔跑、跌倒等动作。为了简化赛题难度,我们沿用一个大型经公开验证的无人机人体行为识别的数据集。
本次比赛仅使用数据集中的骨骼模态作为唯一数据来源,如图所示:
允许参赛者使用本数据集生成其他模态作为关节模态的补充。骨骼模态是通过无人机摄像头获取的人体关键关节信息,这种模态在人体行为识别中具有重要意义。我们随同数据集给出了关节模态(Joint)的另外两种表示模态:骨骼(Bone)与动作(Motion)的预处理方法。
参赛选手需要利用提供的数据集中的骨骼数据,通过深度学习或其他相关技术,实现对不同行为的准确识别和分类。参赛者需要在设计模型和训练过程中考虑如何利用其他表示模态提升原始模态数据的识别准确率和全面性。本次比赛旨在挑战参赛者对于骨骼数据的处理和模型设计能力,以及对人体行为识别领域的深入理解和创新。
本赛道下发的参赛资源中包含数据预处理,在这部分包含有原始数据与预处理脚本,参赛选手根据以下流程预处理数据即可,这部分详细指导参见参赛资源内的手册,国赛数据将在省赛结束后发布。
1.解压数据集:将`data.zip`在`data`目录下解压,得到‘train_joint.npy’、‘train_label.pkl’、‘test_joint.npy’三个文件
2.数据集处理出bone模态数据(可选):运行python gen_modal.py --modal bone得到bone模态数据
3.数据集处理出motion模态数据(可选):运行python gen_modal.py --modal motion得到motion模态的数据
4.bone模态与joint模态合并(可选):运行python gen_modal.py --modal jmb得到合并模态的数据(报名成功后,通知公告中获取数据集链接及提取码)。
对人体骨架做行为识别是一个较少见的方向,思路可以首先从joint模态出发,基于GCN,也可以用CNN或RNN思路来建立模型,对骨架进行学习。
如果你希望知道哪些算法值得参考,我们在参考文献部分给出了可以直接支持运行的TEGCN,也给出了本次ICME(MMVRAC)中的顶级仓库。
同时对于一些不直接支持本次数据集但具有参考价值的仓库,例如CTRGCN也给出了其仓库地址。
在得到joint模态结果以后,你可以通过我们的脚本得到bone与motion模态结果,通过score融合方式优化结果。
选手需提交一个以 队名+提交日期(YYYYMMDD)为文件名的7z压缩包 ,压缩包不要在根目录嵌套一层队名文件夹(例如:江南大师队20240906.7z),队伍名称与报名时填写的队名保持一致,开头无需添加学校名称,其中包含两部分,置信度文件(2个)与文档:
置信度文件1 - pred.npy:模型预测结果,以.npy的形式保存
置信度文件2 - label.npy:每张测试图像的真实标签,以.npy的形式保存,这里已给定,无需更改!
文档内需要包括:训练日志、推理日志、完整项目代码公开获取链接(Github、Gitee)、附加文件的公开获取链接(模型权重等Goole Drive、百度网盘分享)。
注意,选手需要严格按照以上方式命名文件,测试结果的文件ID应跟随对应的测试图像名称保持一致(按字母序升序排序)。
相关优秀思路可参考:
https://github.com/lshiwjx/2s-AGCN
https://github.com/Uason-Chen/CTR-GCN
这些算法虽然不直接支持赛题数据,但是一个理想的算法案例。
在基于以下说明的同时参考大赛组委会总决赛相关说明:
1.允许参赛者通过预处理方法得到其他模态作补充,也允许使用合理数据增强方式,但不可删除由预处理脚本给出的测试数据样本或使用其他外源数据集;
2.模型设计时,必须是一个从零开始的模型,不允许在现有大模型基础上微调,或者使用零样本指代表达方法,例如CLIP,SAM等;
3.对于省赛,置信度文件是一个(6599,155)的数组文件,包含对6599个样本在155个动作类别上的置信度,文件名为pred.npy。
在综合省赛说明、以下说明的同时参考大赛组委会总决赛相关说明:
1.对于国赛,置信度文件是一个(6307,155)的数组文件,包含对6307个样本在155个动作类别上的置信度,文件名为pred.npy。
联系人:李传坤
赛题QQ群:849776886
邮箱:chuankun@nuc.edu.cn
国赛组委会邮箱:lican@digix.org.cn
参赛学生交流QQ1群:695491030(此群已满)
参赛学生交流QQ2群:635906376(此群已满)
参赛学生交流QQ3群:178801349
大赛官网:www.digix.org.cn
赛氪网技术支持:温老师,电话&微信:17643826168;QQ:1095691517
江苏省人工智能学会
全球校园人工智能算法精英大赛组委会
2024-05-20 09:00 - 开始
2024-10-10 20:00 - 结束
2024-06-15 00:00 - 开始
2024-10-28 16:00 - 结束