《A类赛题手册》下载地址:https://www.fwwb.org.cn/news/show/598
1.命题方向
智能计算
2.题目类别
计算类
3.题目名称
面向校园安防的视频行为感知与异常事件智能预警
4.背景说明
【整体背景】
随着校园规模持续扩大以及智慧校园建设的深入推进,校园安全管理正逐步从“人工巡查 + 事后回溯”向“智能感知 + 主动预警”转型。校园内部人员构成复杂、活动密集,涵盖教学、科研、住宿、公共服务等多类场景,一旦发生异常或突发事件,往往具有传播快、影响范围广、处置时效要求高等特点,对安全管理系统提出了更高要求。
目前,各个高校、中小学及幼托机构等教学场所已广泛部署视频监控系统,覆盖教学楼、宿舍区、实验室、图书馆、公共通道等关键区域。然而,现有系统在实际运行中仍以人工值守和事后检索为主,对异常行为的发现高度依赖人工经验,难以做到及时感知、精准判断与快速响应,在高强度、长时间监控场景下存在明显效率瓶颈。
在校园安防实践中,一系列具有潜在安全风险或管理意义的人员行为(如打斗冲突、跌倒、破坏设施、遮挡摄像头、异常肢体接触、长时间徘徊等)往往在视频中呈现出可被识别的时序特征。如果能够通过智能算法对监控视频进行自动分析,实现对敏感行为的实时识别、对行为主体的持续辨认、对风险事件的快速预警,将有助于管理人员在事件初期介入处置,显著降低安全风险。
近年来,计算机视觉与深度学习技术在目标检测、人员跟踪、姿态分析和行为识别等方面取得了长足进展,为构建智能视频安防系统提供了技术基础。但在真实校园监控环境中,算法仍需面对视角固定且复杂、人员尺度变化大、光照条件不稳定、遮挡频繁、行为多样且边界模糊等工程挑战,这对算法的鲁棒性、实时性和系统可部署性提出了更高要求。
因此,本赛题以校园安防监控为典型应用场景,聚焦人员行为智能识别与风险感知问题。参赛团队需基于提供的样例数据,开发高效、鲁棒的算法,探索人员行为自动识别与风险预警的有效方案,为构建更加安全、智能的校园环境提供技术支撑。
【公司背景】
西安电子科技大学是以电子与信息学科为特色,工、理、管、文、经等多学科协调发展的全国重点大学,直属教育部。学校肇始于1931年的中央军委无线电学校,具有鲜明的红色基因和深厚的家国情怀,是我国最早系统开展无线电通信、电子工程和信息技术教育与研究的高校之一。建校以来,西安电子科技大学始终面向国家重大需求,长期服务于国防建设和信息化发展,在通信工程、电子科学与技术、计算机科学与技术、网络空间安全、人工智能等方向形成了突出的学科优势和稳定的人才培养体系。学校是国家“211工程”重点建设高校和“双一流”建设高校,拥有多个国家级重点实验室和科研平台,在雷达信号处理、信息感知、集成电路与微电子等领域取得了一系列具有重要影响力的科研成果。进入新时代,西安电子科技大学坚持立德树人根本任务,推进高水平科研创新与高质量人才培养协同发展,积极开展国际交流与产学研合作,为我国电子信息产业升级、科技自立自强以及区域经济社会发展持续输送高层次创新人才,已成为国内电子信息领域不可或缺的重要人才培养基地和科研重镇。
【业务背景】
在公共安全和教育信息化相关实践中,我们发现,视频数据已成为支撑智能管理的重要信息来源,如何从海量监控视频中高效获取有价值的信息,是当前亟需解决的实际问题。
在校园场景中,视频监控系统已实现广泛部署,但现阶段主要用于事后回溯与人工巡查,智能分析能力不足。随着校园规模扩大和管理精细化需求提升,单纯依赖人工值守难以满足对安全事件“早发现、早预警、早处置”的要求。
基于既有的人员感知与行为分析技术积累,研究所将校园监控场景作为智能视频分析技术的一个典型应用环境进行探索。通过对人员行为的自动识别与分析,有助于辅助管理人员及时发现异常情况,提升校园安全管理的效率与可靠性。
同时,校园监控场景在拍摄视角、人员密度和行为多样性等方面具有较强代表性,为相关技术在真实复杂环境中的验证和优化提供了良好条件。围绕该场景开展技术探索,有助于推动视觉智能与数据智能技术在公共服务领域的进一步落地。
5.项目说明
【问题说明】
在校园的日常运行中,视频监控系统承担着重要的安全保障职能。然而,现有监控系统主要依赖人工值守与事后回放,难以及时、准确地从海量视频数据中发现潜在的安全风险行为,存在监控效率低、响应滞后、人力成本高等问题。为了有效应对这一挑战,需要解决以下关键问题:
(1)人员目标感知与主体一致性问题
校园监控视频多采用固定高位摄像头,俯视角明显,人员在画面中的尺度、姿态和外观随位置变化显著,同时存在频繁遮挡与重叠现象。系统不仅需要稳定检测人员目标,还需在长时间视频中保持人员身份的一致性,为后续行为分析和风险追溯提供可靠的行为主体信息。
(2)敏感行为与异常行为建模问题
校园安防关注的不仅是一般动作识别,更强调对具有潜在安全风险或管理价值的行为进行准确识别。如何在复杂背景和多样行为中,提取具有判别力的时序特征,区分正常活动与异常、敏感行为,是行为识别模块的核心挑战。
(3)复杂环境下的鲁棒性问题
真实校园环境中存在显著的光照变化、天气影响、背景干扰和视角限制,行为识别算法需在不同时间、不同区域、不同环境条件下保持稳定性能,避免因场景变化导致误报或漏报。
(4)实时响应与工程部署问题
安防系统对响应时效要求较高,算法需在保证识别准确性的同时具备良好的计算效率,能够支持准实时甚至实时的视频流处理,并满足实际系统部署对稳定性、可扩展性和接口规范性的要求。
【用户期望】
命题方希望参赛方案能够满足以下工程化应用需求:
(1)敏感行为的准确识别能力
参赛团队开发的算法应能够在校园监控视频中,对典型人员行为进行准确识别与区分,尤其是对具有潜在安全风险的异常行为,应具备较高的识别准确率,减少误报和漏报情况,为校园安全管理提供可靠依据。
(2)鲁棒性与环境适应能力
在不同校园区域、不同光照条件、不同人员密度和复杂背景下,系统性能保持稳定,不因环境变化出现明显性能退化。
(3)实时性与快速响应能力
算法需具备较好的计算效率,能够在接近实时的条件下对视频流进行处理和分析,及时输出人员行为识别结果,满足校园安全管理对快速响应和主动预警的实际需求。
(4)工程可部署性
最终解决方案应具备良好的工程实现可行性,结构清晰、接口规范,便于与现有校园监控系统或智慧安防平台进行集成,不依赖过于复杂或难以落地的硬件条件,具备一定的实际应用推广价值。
通过满足以上用户期望,命题方希望参赛作品不仅能够体现智能计算与行为识别技术的创新应用,也能够贴近真实校园安防需求,为智慧校园和智能安防建设提供可参考、可落地的技术方案。
6.任务要求
【开发说明】
需针对校园监控视角下的人员行为识别项目,完成以下任务:
(1)视频流接入与在线处理任务
参赛团队需设计并实现面向校园监控场景的视频流处理模块,支持对监控探头输出视频的实时读取与连续处理。
· 系统应能够对视频流进行在线分析,而非依赖完整视频结束后离线处理;
· 支持长时间连续运行,适应真实安防系统的运行模式;
· 视频输入可为单路或多路监控视频,分辨率不低于 1080P。
该任务旨在保证系统具备真实部署条件下的基础运行能力。
(2)异常与敏感行为识别任务
系统需针对校园安防场景中的典型异常或敏感行为,构建有效的行为识别模型,实现对人员行为的自动分析与分类。
行为识别应遵循以下原则:
· 对校园日常正常行为不产生预警;
· 对具有安全风险或管理意义的行为进行准确识别与标注;
· 支持对单人行为与多人交互行为的区分。
重点关注但不限于以下行为类型:
打架斗殴、肢体冲突、抽烟、打电话、异常徘徊、疑似轻生行为等。
(3)多人交互行为理解与角色区分任务
在涉及多名人员的交互场景中,系统需具备对行为性质与参与角色的理解能力。
具体包括:
· 能够区分正常肢体接触与具有攻击性的异常行为;
· 在冲突场景中,区分双向冲突与单向攻击行为;
· 保持多人行为识别结果与各参与人员身份的一致对应。
该任务旨在保证系统在复杂交互行为理解层面的能力,是校园安防应用中的关键技术难点。
(4)实时预警与系统集成任务
系统需在检测到异常或敏感行为后,能够以实时或准实时方式输出识别结果或预警信息。
· 行为识别结果应具备明确的时间定位;
· 预警输出形式清晰,便于后续系统对接或人工干预;
· 系统整体流程应模块化设计,便于部署与扩展。
(5)系统测试与效果验证任务
由于校园安防视频涉及真实人员及公共安全场景,受隐私保护、合规要求及数据安全限制,命题方难以向参赛团队开放可规模化使用的真实训练数据集。鼓励参赛团队基于公开数据、自采数据或采用无监督、弱监督等方法开展研究,并在需求方提供的校园监控视频测试数据集上,对开发系统进行测试与验证,并通过定量指标和定性分析相结合的方式,对行为识别准确率、运行效率等性能进行评估,并形成相应的测试说明或报告。
【技术要求与指标】
(1)相关技术:
①视频与图像处理技术:视频与图像处理算法不限,可采用开源算法、公开的预训练模型,但需要在文档中明确标注,并提供对应模型;
②行为识别与时序建模技术:算法需充分利用视频的时序信息,对人员行为进行建模与识别,可采用时序神经网络、注意力机制、多模态大模型或其他有效的有监督或无监督时序建模方法;
③数据集:使用半监督/无监督方法,或利用公开或自行录制的视频进行训练、测试及优化;需求方会提供时长不低于5分钟的私有视频数据集,进行算法性能测试,作为重要评判参考依据;
④工程实现与系统集成:算法设计应考虑工程可实现性,避免对过高算力或复杂硬件环境的强依赖,具备在实际校园监控系统中部署和运行的可行性。
(2)开发完成程度指标:
①行为识别性能指标:
A. 行为识别模型应至少识别以下三类行为类别:
1)高风险异常行为
1. 打架斗殴(互殴):双方或多方存在明显对抗性肢体攻击(推搡、挥拳、踢打、扭打等)。
2. 校园霸凌(单向攻击):一方/多方对单一对象持续攻击或压迫,被攻击方呈现明显被动、防御、退缩或倒地等状态(强调角色区分)。
3. 跌倒/昏厥:人员突然倒地并在短时间内无法自行恢复站立。
4. 疑似轻生/极端危险行为:如撞墙、自缢、翻越栏杆/围挡并出现危险边缘停留、跨越护栏等明显高危动作(以监控画面可判别为准)。
5. 破坏公共设施:踢踹门窗、砸物、破坏公共设备等。
2)管理敏感行为
6. 吸烟/点火:点火、吸烟及明显烟具使用动作。
7. 打电话/长时间使用手机:持续手持手机贴耳、通话姿态或长时间专注操作。
8. 遮挡/干扰摄像头:遮挡镜头、喷涂、移动/破坏摄像头等。
3)可疑行为
9. 异常徘徊/长时间滞留:在门口、楼梯口、围栏等区域反复来回、停留超时。
10. 翻越围栏/闯入限制区域:跨越围栏、进入禁止通行区域等。
B.在性能指标方面,系统需同时满足准确率、误报率和漏报率三项要求,整体识别准确率应不低于90%,误报率不高于10%,漏报率不高于10%。此外,对于涉及多人交互的异常行为,系统应能够区分打架斗殴与单向校园霸凌等不同行为模式,并保持行为识别结果与具体行为主体的一致对应。
②实时性能指标:
A. 算法应能接受至少一小时的长视频输入,输入视频为监控视角下1080P的可见光视频;
B.算法整体处理流程应具备较好的运行效率,单路视频在1080P分辨率条件下,处理延迟小于300ms,应满足准实时或近实时要求;
C.算法运行过程中应保持稳定,不出现明显卡顿或异常中断情况。
③工程完整性指标:
A.参赛作品应形成完整的算法流程或系统方案,结构清晰、模块划分合理;
B.参赛作品应包含完整的演示系统,至少包含以下功能:前端展示界面、本地视频导入、人员检测及跟踪结果实时显示、行为识别结果实时显示、识别日志在线修改、识别日志导出、异常行为切片导出、历史记录缓存;
C.参赛作品应提供开放性的系统测试接口以及模型二次训练接口及完整训练模型,对使用第三方预训练模型或数据的,也须一并提供,并保证不侵犯第三方知识产权;
D. 提交材料中需对算法原理、系统流程和实验结果进行清晰说明,体现方案的完整性与可复现性;
【提交材料】
(1)项目概要介绍;
(2)项目简介 PPT;
(3)项目详细方案;
(4)项目演示视频;
(5)企业要求提交的材料:
①作品介绍;
②作品Demo;
③作品演示视频;
④作品测试接口与模型训练接口;
⑤作品涉及的训练及预训练模型;
(6)团队自愿提交的其他补充材料。
【任务清单】
(1)数据理解与准备:熟悉命题方提供的校园监控视频样例数据,了解数据来源、拍摄视角(俯视角)、场景类型及行为类别定义;
(2)人员行为识别结果输出:对视频中人员行为进行分析与识别;输出每名人员在对应时间段内的行为类别识别结果,结果格式需清晰、规范,便于评估与展示。
(3)性能评估与结果统计:在需求方提供的测试数据集上对算法性能进行评估,统计人员检测效果、行为识别准确率及运行效率等指标;对识别结果进行分析,总结算法在不同场景下的优势与不足。
(4)系统流程与方案说明:对整体算法流程或系统架构进行整理,形成清晰的处理流程说明;通过流程图、结构图或文字说明等方式,展示各模块之间的关系和数据流向。
(5)成果整理与提交:按照竞赛要求,整理并提交项目概要说明、技术方案文档、演示材料等;提供算法运行效果的示例或演示视频,直观展示人员行为识别效果及应用场景。
【开发工具与数据接口】
(1)开发工具:开发工具以及开发平台不限,可以借助开源的工具,但需明确标注并保证不侵犯第三方知识产权;
(2)编程语言:Python
(3)深度学习框架: PyTorch
(4)计算机视觉库:OpenCV、Scikit-image 等。
7.其他
无
8.参考信息
无
9.评分要点
赛题评分要点见附件一:A 类企业命题初赛统一评分标准。