【A21】面向新闻场景的伪造检测平台【君同未来】
发布时间: 2024-12-12 17:36:36

1.命题方向

企业服务+智能计算

2.题目类别

应用类

3.题目名称

面向新闻场景的伪造检测平台

4.背景说明

【整体背景】

在全球化和信息化浪潮的推动下,新闻传播已不再局限于传统媒体的范畴。社交网络、短视频平台以及自媒体的兴起,使得新闻内容的生成和传播变得更加便捷。然而,这种传播方式的多样化也为虚假信息的扩散提供了温床,伪造新闻对社会舆论、经济决策乃至国家安全带来了巨大威胁。

伪造新闻的危害不仅限于内容本身,还包括信息的深度伪造(如利用深度学习生成的虚假视频或图像)和高仿真新闻内容(如模仿权威媒体的语言风格和排版)。例如,在公共健康事件中,伪造的医疗建议可能误导公众决策;在选举过程中,虚假新闻可能左右舆论倾向;在金融市场中,不实信息可能引发股市剧烈波动。因此,如何快速、准确地识别伪造新闻已成为全球关注的焦点。

人工智能技术,尤其是大语言模型(LLM)的出现,为伪造新闻检测提供了全新的技术路径。基于大语言模型的伪造检测系统能够借助其强大的语义理解能力,对新闻内容的真实性进行深度解析。此外,多模态分析技术(如CLIP、BLIP等)结合文本、图像和视频等多维数据,为伪造新闻的识别提供了更全面的支持。然而,这些技术的实现和应用仍然面临诸多挑战,包括模型对生成式伪造的适应能力、多模态数据融合的技术难点,以及大规模检测任务中的计算效率问题。

【公司背景】

杭州君同未来科技有限责任公司(简称:君同未来)是依托浙江大学及浙江大学滨江研究院建立的人工智能企业,作为一家卓越的人工智能治理服务提供商,面向包括大模型在内的人工智能发展,君同未来致力于提供面向未来社会人工智能的一站式风险检测与防护管控服务,加速各个产业及国家的人工智能发展。

君同未来聚焦于包括大模型在内的人工智能模型自身的安全评测和风险防护技术,致力于构建人工智能全生命周期的评测增强与保障管控,为国家和企业提供智能算法与模型。君同未来当前的解决方案及应用案例已经获得了包括全国网络安全优秀创新成果奖、CCF卓越之星、杭州市十佳数据安全实践案例等诸多认可和成绩。其所研制的智能安全评测与增强平台已陆续服务于工信部、公安部、中国人民银行等多个部委的相关机构和字节跳动、海康威视、奇安信等大型企业,产生了巨大的社会经济效益。

君同未来研制的相关技术和解决方案,获得了全国网络安全优秀创新成果奖、浙江省网络安全十佳成果奖、工信部试点示范推荐优秀典型解决方案、杭州市十佳数据安全实践案例奖等诸多荣誉。

【业务背景】

在数字化和信息化的浪潮中,新闻行业成为社会信息传播的重要枢纽。然而,伪造新闻的出现正威胁着新闻行业的公信力与社会稳定。这些虚假内容形式多样,包括文本捏造、图片篡改、视频深度伪造等,常利用社交平台迅速扩散,对公众认知、经济决策和社会舆论造成不良影响。尤其是生成式AI技术的兴起,使伪造新闻的手段愈发复杂,检测和治理难度大幅提升。

当前,新闻伪造检测面临多重挑战。首先是技术对抗性增强,传统方法难以应对新型伪造技术的迅速发展。其次,多模态伪造(文本、图像、视频结合)增加了分析难度,单一维度的检测手段已难以胜任。此外,新闻传播具有即时性与高频率,大规模检测任务对平台性能和实时性提出了更高要求。同时,检测结果的可解释性不足,也限制了检测技术在实际应用中的信任度和影响力。

伪造新闻检测的需求涵盖新闻媒体、社交平台、监管机构和公众用户等多个场景。媒体机构需通过技术手段提升审核效率,社交平台需过滤虚假信息保障内容生态,监管部门则需技术支持强化新闻内容治理。此外,公众对新闻真实性的辨别需求也在提升。这些需求催生了商业价值,不仅能帮助媒体提升品牌公信力,还可推动技术创新与行业融合,为构建健康的新闻生态提供技术保障和实践支撑。

5.项目说明

【问题说明】

本赛题要求基于大模型和人工智能技术,开发一个新闻伪造检测平台。该平台应能够自动分析和处理新闻数据,主要包括文本,如有余力还可分析图像和视频,综合运用语义理解、多模态融合和深度伪造识别等技术,对新闻的真实性进行高效检测与评估。系统需具备对多种类型新闻的适应能力,支持政治、经济、科技、文化等领域的伪造内容分析与处理,同时能够识别不同形式的伪造信息,主要为虚假文本。

平台的检测结果需在保证一定准确率的同时,具备良好的可解释性和用户友好性,能够为检测出的伪造内容提供清晰的分析和依据。

【用户期望】

系统具备审核以下风险点的能力:

1)保证准确率的伪造检测:用户希望平台能够精准识别各种类型的伪造新闻,确保检测结果的可信度和有效性。

2)友好的用户体验:用户期望平台界面美观、操作简便,提供清晰的结果展示和功能指引,降低使用门槛,适应媒体机构、社交平台和公众用户的不同需求。

3)清晰的结果解释:除了检测结果外,用户期望平台能提供伪造内容的分析和解释,帮助用户理解伪造的手段、特征及其影响,提升对检测结果的信任度。

4)高效的处理能力:用户希望平台既能支持单篇新闻的实时检测,也能处理海量新闻数据,满足大规模应用场景中的快速响应需求。

6.任务要求

【开发说明】

同【用户期望】

【技术要求与指标】

1)软件:根据硬件来自主采用对应的软件和工具,以及开发语言。系统UI界面需要尽量美观。

2)界面设计要求:界面简洁美观,颜色搭配应合理,所有重要信息和功能应位于显眼位置。

3)伪造检测准确性:平台应确保伪造新闻的检测准确率至少达到60%。

4)检测结果解释:平台应具有对检测结果的说明分析。

5)高效处理能力:对于1篇1000字的新闻应做到2秒内检测出结果。

【提交材料】

1)项目概要介绍;

2)项目简介 PPT;

3)项目详细方案;

4)项目演示视频;

5)企业要求提交的材料:

①项目详细方案中详述风险审核算法;

②测试案例完整;

③测试报告完整。

6)团队自愿提交的其他补充材料。

【任务清单】

1)需求调研与分析与数据集搜索;

2)软件系统设计,包含概要设计与详细设计;

3)测试案例编写;

4)编码;

5)部署测试环境测试。

【开发工具与数据接口】

7.其他

8.参考信息

(1)论文链接:https://arxiv.org/abs/2304.02556

(2)项目链接:

https://github.com/rshaojimmy/MultiModal-DeepFake

detecting-fake-text:Giant Language Model Test Room - GitCode

9.评分要点

赛题评分要点见附件一:A 类企业命题初赛统一评分标准。


订阅号