《A类赛题手册》下载地址：https://www.fwwb.org.cn/news/show/598

1.命题方向

智能计算

2.题目类别

应用类

3.题目名称

基于多模态的反诈智能助手

4.背景说明

【整体背景】

随着诈骗案件的高发，全民反诈已成为国家和社会的重要任务。据统计，2025年全国公安机关共破获电信网络诈骗案件25.8万起，造成群众损失2170.7万元，拦截诈骗电话36亿次，拦截诈骗短信33亿条，见面劝阻人次674.7万人次，抓获诈骗集团幕后成员542名。其中诈骗受害者涵盖各个年龄段，老年人易受养生保健、子女信息诈骗，儿童青少年易陷游戏交易、追星诱导陷阱，中青年则易遭遇投资理财、兼职刷单、虚假贷款诈骗。且诈骗手段不断翻新，从传统电话诈骗到新型的AI语音合成诈骗、视频深度伪造诈骗等，给全社会带来了巨大挑战。

人工智能技术的快速发展为全民反诈提供了新的解决方案。多模态AI技术能够整合文字、语音、图像等多种信息源，实现更精准的诈骗识别和预警。智能助手可以实时守护全民安全，成为社会的数字保镖。

【学校背景】

滨江区浙工大网络空间安全创新研究院是由浙江工业大学与杭州市滨江区人民政府共建，研究院聚焦人工智能安全、电磁空间安全、公共互联网安全等五大前沿方向，依托浙江工业大学信息工程学院、计算机科学与技术学院开展跨学科研究，致力于科技成果转化与网络安全技术产业化。研究院围绕国家数字化战略需求，承担国家自然科学基金联合重点项目、浙江省重点研发计划等课题，通过“政产学研用”合作模式，研究院与企业签约千万级横向项目，共建网络安全实训基地及联合实验室，推动技术成果辐射区域高新技术产业。作为区校合作载体，其建设整合高校科研资源与地方产业优势，促进网络安全领域人才链、创新链与产业链深度融合。

【业务背景】

滨江区浙工大网络空间安全创新研究院始终扎根网络安全领域，深入反诈场景进行解决方案创新，充分应用多模态AI、大数据、知识图谱等新技术为广大用户提供智能化反诈解决方案。当前反诈技术正朝着智能化、实时化和个性化的方向快速推进。随着多模态AI、大数据、长短期记忆等新一代信息技术的深度融合，反诈解决方案正逐步实现从被动响应到主动识别的升级，反诈防护将更加依赖于智能化技术，以实现更及时、更精准的风险防控。

5.项目说明

【问题说明】

当前诈骗呈现高发、多样化、智能化趋势，已成为影响社会和谐稳定的重大隐患。传统反诈手段主要依赖人工审核和规则匹配，存在以下局限性：

（1）响应滞后：虽然现有反诈手段在部分诈骗转账等关键环节能实现拦截，但整体依赖用户主动举报或被动发现，早期预警难度较大，难以及时阻止初期潜在风险；

（2）防护局限：传统手段难以及时发现跨平台、跨渠道的新型诈骗行为，面对社交媒体、即时通讯等多样化应用场景存在盲区；

（3）个性化缺失：缺乏对不同人群风险特征的精准识别和定制化防护；

（4）技术单一：主要基于单一模态信息（如短信、电话），难以应对多模态复合诈骗；

（5）自主学习能力缺失：无法自主学习新型诈骗手法，防护策略更新滞后。

需要通过多模态技术，整合文字、语音、图像、视频等多源信息，实现全方位风险感知，依托深度学习与知识图谱构建智能识别引擎，从而帮助民众识别诈骗风险。而且需要结合长短期记忆机制，建立用户行为画像，支持个性化风险评估，并要求具备实时监测和主动预警能力。此外智能助手需要拥有自主学习功能，能够持续更新最新诈骗案例，不断优化和进化防护建议。

【用户期望】

（1）守护国民安全：实时监测响应，及早发现潜在诈骗风险，保护各类人群（老人、儿童、青壮年）免受诈骗侵害。

（2）多重预警机制：及时或周期总结通知监护人，用户本人及相关监护人，让用户随时掌握安全状况。

（3）个性化防护：根据不同人群的行为习惯和风险偏好，提供定制化的防护建议和安全教育内容。

（4）角色定制服务：支持用户设置角色类型（如老人、儿童、青壮年、性别、职业等），基于角色特点提供差异化的反诈提醒和防御策略。

（5）监护人联动：支持设置监护人及其联系方式，在发现高风险时自动联动监护人进行及时干预。

（6）智能学习进化：能够自主学习最新的诈骗手法，持续提升识别准确率，让防护能力与时俱进。

6.任务要求

【开发说明】

基于大语言模型（LLM）或多模态大模型（VLM），设计并开发一个具备“感知－决策－干预－进化”能力的多模态反诈智能体助手，需包含以下四大核心功能模块：

（1）多模态输入支持：

全渠道接入：支持文本（聊天记录/短信）、音频（实时通话/语音消息）、视觉（视频流/屏幕截图/图片）至少三种模态数据的输入与预处理。

（2）智能识别与决策引擎：

① 意图识别：利用 Prompt Engineering 设计高效的系统提示词，使智能体能精准判断对话意图。

② 知识库检索：构建向量数据库，存入反诈法律法规、典型案例库；智能体需能根据上下文检索相似案例，辅助推理决策，避免大模型幻觉。

③ 多模态融合判别：基于深度学习算法，融合多源信息判定诈骗风险，重点识别AI合成语音诈骗、投资理财、兼职刷单、虚假征信等高发诈骗类型。

④ 个性化风险评估：结合长短期记忆机制，基于用户历史行为与角色属性（老人/学生/财会人员等），动态调整风险判定阈值。

（3）实时干预与交互：

① 分级预警：根据风险等级实现不同强度的干预（弹窗提醒、语音阻断、自动联络监护人）。

② 监护人联动：实现风险事件与监护人的即时互联，支持一键通报与远程干预。

③ 报告生成：自动生成可视化的《安全监测报告》，包含风险说明与防御建议。

（4）自适应进化模块：

设计自动化流程，支持将新的互联网诈骗案例清洗后导入向量数据库，实现智能体知识的实时扩充。

【技术要求与指标】

（1）识别性能指标：

① 多模态融合识别场景下，准确率>90%；

② 正常社交行为的误报率<5%，避免过度打扰用户；

③ 能够精准识别不少于10种典型诈骗剧本。

（2）实时性与并发指标：

① 从数据输入到发出预警的平均响应时间，文本/图片要求小于10秒，从而满足实时阻断需求；

② 且在连续运行测试中无崩溃。

（3）功能完备性指标：

① 应具备文本、音频、视觉至少三种模态的联合分析能力；

② 要求能实现“诱导－预警－监护人联动”全链路闭环，并支持反诈知识库的自适应更新。

【提交材料】

（1）项目概要介绍;

（2）项目简介PPT;

（3）项目详细方案;

（4）项目演示视频;

（5）企业要求提交的材料：

① 项目简介PPT，包含Agent编排架构图、核心技术等

② 项目使用指南及详细方案；

③ 项目演示视频，需完整展示“诱导－识别－预警－监护人通知”全流程；

④ 测评集文件：提交选手自行构建的测试数据集，不少于20个案例，需包含纯文本、音频、图片或视频的案例。其中黑白样本比例为 1:1，且黑样本需覆盖不少于10种诈骗类型；

⑤ 评估报告：智能体在该数据集上的运行结果，包括F1-score及准确率；

o 可运行程序或相关文件；

（6）团队自愿提交的其他补充材料。

【任务清单】

（1）下载官方数据，学习并理解诈骗逻辑，自行收集互联网公开数据（文本/音视频），清洗后搭建反诈向量数据库，构建不少于20个案例的标准化自建测试集；

（2）设计并优化智能体的系统提示词，包含角色设定、任务指令、少样本示例；

（3）实现智能体对外部工具的自动调用与结果回传；

（4）实现对话历史的存储与检索，确保多轮对话中的上下文一致性；

（5）完成四大核心模块的代码编写与联调，实现从输入到预警的完整链路；

（6）使用自建测试集批量运行智能体，完成F1-score和准确率、响应时延及压力测试，输出评估报告；

（7）封装应用界面，打包软件并编写部署文档。

【开发工具与数据接口】

无限制，自行选择。可基于开源的大模型、智能体框架或相关算法解题。建议支持接入第三方安全数据源。

7.其他

如有具体的客户案例或经过客户实际场景测试，在不涉及知识产权的情况下，可以提供使用或试用说明文档。

8.参考信息

【官方辅助资料下载】

为了辅助选手开发，将提供“多模态反诈挑战赛基础资料包”，选手可以根据材料包学习了解网络诈骗的常规途径和话术，以此为基础进行研发。

https://pan.baidu.com/s/14t7BDRe_--RqywBhquYY2Q?pwd=tekz

【外部扩展资源参考】

学生可以在baidu、sohu等搜索反诈案例数据集，也可以参考公安部反诈宣传资料、国家互联网应急中心数据等公开资源。

https://m.sohu.com/a/974086573_121475763/

https://www.spp.gov.cn/spp/dxwlzp2021/index.shtml

http://www.gxzf.gov.cn/zt/jd/tszfbznl/fzal/

https://weixin.sogou.com/weixin?query=反诈&type=2

9.评分要点

赛题评分要点见附件一：A类企业命题初赛统一评分标准。