《A类赛题手册》下载地址：https://www.fwwb.org.cn/news/show/598

1.命题方向

智能计算

2.题目类别

应用类

3.题目名称

基于无人机实时航拍的多场景目标智能检测与识别系统

4.背景说明

【整体背景】

随着无人机技术的成熟与普及，其在农业普查、交通监控、应急救援、生态环境保护及基础设施巡检等领域的应用日益广泛。无人机航拍能够提供独特的空中视角和快速大范围的动态观测能力。然而，海量的航拍视频数据如何被实时、精准地解析，从中自动识别和定位关键目标（如病虫害作物、违章车辆、受困人员、珍稀动物、设施破损等），是制约其价值最大化的核心瓶颈。传统的人工目视判读方式效率低下且容易出错，无法满足实时响应的业务需求。因此，开发一种适应性强、准确率高、能部署于边缘设备的智能目标检测与识别算法，对于推动各行业智能化升级具有至关重要的意义。

本题旨在克服航拍图像中存在的尺度变化大、背景复杂、光照条件多变以及目标遮挡等挑战，同时兼顾实时性与精度的平衡。通过融合深度学习模型轻量化设计与自适应特征增强机制，实现对多场景下小目标与密集目标的有效捕捉。结合边缘计算框架，算法可在无人机端完成即时推理，降低数据传输延迟，提升系统整体响应效率。

【单位背景】

西安电子科技大学（简称西电，Xidian University），坐落于陕西省西安市，是中国教育部直属理工类全国重点大学，由教育部与工业和信息化部、国家国防科技工业局、中国电子科技集团公司、陕西省、西安市共建，位列国家“双一流”“211工程”“985工程”建设高校，入选“2011计划”“111计划”“卓越工程师教育培养计划”，入选首批国家集成电路人才培养基地、全国网络安全人才培养试点基地、国家计算机科学拔尖学生培养计划2.0基地、国家双创示范基地、全国“区块链+教育”应用试点高校、工信部“5G+教育”应用试点高校、全国首个工程类专业学位研究生产教融合联合培养开放基地。

【业务背景】

作为无人机行业应用解决方案的推动者，我们致力于将前沿的人工智能技术与无人机平台深度融合，解决各垂直行业的实际痛点。当前，客户普遍面临从“看得见”到“看得懂”的转型需求。市场上缺乏一种能够灵活适应不同场景、在复杂光照和天气条件下保持稳定、且能满足实时或准实时处理要求的通用化智能识别核心算法。这限制了无人机在自动化巡检、智能安防、精准农业等场景中的深度应用价值。本次命题旨在汇聚创新力量，攻克无人机视角下多场景、小目标、复杂背景的目标检测技术难题，开发出高性能、可工程化的算法模型，以赋能我们的无人机产品与解决方案，提升行业竞争力。

5.项目说明

【问题说明】

针对无人机实时航拍视频流，开发一套高效、鲁棒的目标智能检测与识别算法系统。该系统需要解决以下核心问题：

（1）复杂环境适应性：该算法需克服航拍图像中常见的挑战，如光照变化（逆光、阴影）、尺度变化（目标大小差异极大）、小目标密集、背景复杂（如森林、城市楼群）以及相机抖动等。

（2）多目标类别识别：算法应至少覆盖不同应用领域的目标类别，并具有良好的类别扩展能力。

（3）实时处理能力：为保证现场即时反馈与决策，算法需满足边缘计算设备的性能约束，实现低延迟的视频流处理。

（4）结果可视化与输出：需提供清晰的检测结果可视化界面，并支持结构化的数据输出（如目标类别、位置坐标、置信度、时间戳等），便于与后端业务系统集成。

【用户期望】

参赛团队应深入理解无人机行业应用的特点，开发出不仅算法指标优异，而且具备实际应用价值的解决方案。期望成果包括：

（1）高精度与高召回：在多种典型测试场景下，对指定类别的目标保持高的检测精度（Precision）和召回率（Recall），减少漏检和误报。

（2）强鲁棒性与泛化性：算法在面对不同天气（晴、雨、雾）、不同时间段（日、夜）、不同拍摄高度和角度的数据时，性能下降应在可接受范围内。

（3）满足实时性要求：算法能够处理单帧图像或达到一定帧率的视频流时，延迟应满足业务场景的实时性要求（在GPU服务器上应能实现实时处理25FPS）。

（4）系统完整性与可展示性：最终提交的应为一个可运行的完整系统，包含视频流输入、算法处理、结果可视化与输出等模块，便于进行效果演示和评估。

6.任务要求

【开发说明】

参赛团队需完成一个无人机视觉多场景目标智能检测与识别系统，具体任务包括：

（1）算法模型设计与开发：

①选择合适的或自行设计轻量化目标检测模型（如YOLO系列、SSD的变体、或基于Transformer的轻量架构），并进行优化以适应边缘部署；

②针对航拍小目标检测难题，集成或开发有效的特征增强策略（如特征金字塔优化、注意力机制等）。

（2）人体识别算法开发：

①收集或使用提供的无人机航拍数据；

②完成数据清洗、标注（若未标注）、数据增强（模拟不同飞行条件与天气）等工作，构建高质量的训练与测试集

（3）模型训练与优化：

①在训练集上训练模型，并采用合适的策略防止过拟合，提升泛化能力；

②对模型进行剪枝、量化等优化，以提升在边缘设备上的推理速度。

（4）系统集成与测试：

①将训练好的模型集成到一个系统中，该系统能够接收实时视频流或视频文件，并输出检测结果；

②在独立的测试集和真实场景上全面评估系统性能，包括精度、速度、鲁棒性等。

【技术要求与指标】

（1）相关技术：

① 核心算法：深度学习目标检测模型。鼓励使用前沿的轻量级网络结构或优化方法。

② 开发框架：PyTorch,TensorFlow等主流深度学习框架不限。

③ 计算机视觉库：可使用OpenCV、PIL等辅助进行图像预处理和后处理。

④ 部署考虑：鼓励探索模型转换与部署工具，如TensorRT、OpenVINO、NCNN等（不作为强制要求，但可作为加分项）。。

（2）开发完成程度指标：

① 检测精度：

在提供的测试集上，主要目标类别的平均精度均值（mAP@0.5）不低于75%。

② 处理速度：

算法单帧推理时间（不含前后处理）应达到25帧每秒。

③ 场景覆盖：

需报告出复杂场景、特殊天气条件（如雨、雾、夜间等情况）中的有效检测能力。

④ 演示系统：

提供一个完整的软件，能够流畅运行并展示算法输入、处理和输出的全过程。

【提交材料】

（1）项目概要介绍；

（2）项目简介 PPT;

（3）项目详细方案；

（4）项目演示视频；

（5）企业要求提交的材料：

①作品介绍；

②作品Demo；

③作品演示视频；

④测试报告（包含标准测试集的详细定量评估结果）

（6）团队自愿提交的其他补充材料。

【任务清单】

（1）需求分析与技术调研；

（2）模型优化与调参（针对航拍特点改进及边缘部署）；

（3）统计TP、FP、FN，计算Precision（精度）和Recall（召回率）：计算得到的真实正例、假正例和假负例，在不同置信度下计算每类的Precision和Recall，并绘制P-R曲线；

（4）计算AP：根据P-R曲线计算每类的平均精度（AP）；

（5）演示系统开发与集成；

（6）汇总与报告：整理结果并编写报告，展示P-R曲线和AP结果。

【开发工具与数据接口】

（1）编程语言：Python或其他主流编程语言；

（2）深度学习框架：TensorFlow、PyTorch 或其他主流的深度学习的框架；

（3）数据接口：参赛队伍可自行收集或使用公开数据集（如VisDrone、DOTA等）进行补充。必须在文档中明确使用的数据，若使用自建数据集（规模需要达到5000张图片以上，以及标注的文档），需完整提供，以便后续验证。

7.其他

无

8.参考信息

无

9.评分要点

赛题评分要点见附件一：A 类企业命题初赛统一评分标准。