1.命题方向
企业服务+智能计算
2.题目类别
应用类
3.题目名称
大模型综合观测展示平台
4.背景说明
【整体背景】
随着人工智能（AI）技术的飞速发展，特别是大规模预训练模型（大模型）在自然语言处理、计算机视觉和多模态学习等领域的广泛应用，信息技术正在以前所未有的速度改变各行各业。从OpenAI的GPT系列到Google的BERT模型，再到Meta的LLaMA，全球顶尖科技公司竞相开发和部署各类大模型，推动着AI技术进入了一个全新的智能时代。
然而，随着大模型的广泛应用，其背后的模型表现观测以及模型本身的安全问题也变得越来越突出。大模型的强大能力虽然带来了巨大的技术进步，但其训练和使用过程中的隐私泄露、对抗攻击、模型偏见、错误输出等问题，也给企业和用户带来了巨大风险。
随着全球各地数据保护和隐私安全标准（如《生成式人工智能安全基本要求》）的不断完善，企业在使用AI技术时，需要确保其技术解决方案符合法规要求。安全认证有助于企业通过合规性审查，避免法律风险。
大模型观测平台的设计旨在为企业和开发者提供一个全面的大模型性能与安全、风险以及可解释性等多个维度的评估观测工具，帮助他们有效识别和防范大模型在应用中的潜在风险与性能偏移。该平台可以提供从性能、内容生成安全等全方位的模型观测服务，确保大模型在实际部署中的安全性和性能。
【公司背景】
杭州君同未来科技有限责任公司（简称：君同未来）是依托浙江大学及浙江大学滨江研究院建立的人工智能企业，作为一家卓越的人工智能治理服务提供商，面向包括大模型在内的人工智能发展，君同未来致力于提供面向未来社会人工智能的一站式风险检测与防护管控服务，加速各个产业及国家的人工智能发展。
君同未来聚焦于包括大模型在内的人工智能模型自身的安全评测和风险防护技术，致力于构建人工智能全生命周期的评测增强与保障管控，为国家和企业提供智能算法与模型。君同未来当前的解决方案及应用案例已经获得了包括全国网络安全优秀创新成果奖、CCF卓越之星、杭州市十佳数据安全实践案例等诸多认可和成绩。其所研制的智能安全评测与增强平台已陆续服务于工信部、公安部、中国人民银行等多个部委的相关机构和字节跳动、海康威视、奇安信等大型企业，产生了巨大的社会经济效益。
君同未来研制的相关技术和解决方案，获得了全国网络安全优秀创新成果奖、浙江省网络安全十佳成果奖、工信部试点示范推荐优秀典型解决方案、杭州市十佳数据安全实践案例奖等诸多荣誉。
【业务背景】
随着大模型在自然语言处理、计算机视觉等领域的广泛应用，企业和研究机构面临模型选型困难、性能评估缺乏标准、部署与优化门槛高等挑战。尤其是在智能客服、金融风控、医疗健康、教育等行业，模型行为的可靠性、能力边界和适用性直接影响技术落地效果。同时，大模型训练和推理涉及高成本计算资源和复杂技术链路，进一步凸显监控与优化的必要性。
此外随着生成式人工智能的快速发展，其复杂度和规模迅速增加，这种变化不仅提升了应用的能力，也带来了模型性能、可靠性、安全性和公平性等多个方面的风险。通过对大模型进行全面的安全与性能观测，帮助企业识别潜在的安全风险与性能表现，确保其在使用大模型时具备足够的安全与能力保障，降低业务运营中的风险。
本平台从可观测性的多个角度出发，建设多样化的模型性能、可靠性、安全性和公平性表现形式。提供模型性能监控、多维评估和行为解释功能，通过标准化的观测与评估框架帮助用户快速量化模型表现，优化模型使用效果。通过对模型在生产环境中的行为、性能、安全性和公平性进行可视化和可追踪，帮助企业迅速识别模型问题、优化模型、降低风险。
5.项目说明
【问题说明】
随着大模型技术的发展，性能漂移、数据泄露、结果不可控、数据偏见、AI幻觉等问题日益凸显，引发了全球范围内对AI安全的关注。为了应对这些挑战，国内外政策、法规迎来了新的探索与实践，安全行业也在积极探讨如何确保大模型性能与合规性。大模型能力与安全观测需要多维度、全流程的安全性和能力观测方法。
【用户期望】
（1）观测题库生成模块：能够根据用户输入，自动化生成大模型性能观测题库，题目形式不限于选择、简答与判断等，题目内容来源不限于爬虫、模型生成等，观测题库生成形式不限，测试题库不低于500题；
（2）观测题库拓展模块：能够自动化拓展测试题库，根据生成的测试题库，能够对测试题库进行“变形”，变形方式不低于5种，需展示变形过程，展现形式不限，变形后的题目有效性不低于90%；
（3）数据审核模块：针对大模型测试结果，平台能够自动审核测试结果，并将大模型输入、输出与判定结果进行页面展示，需支持多种审核模式，且自动化判定审核成功率大于90%；
（4）结果生成模块：平台根据数据审核能力，自动化生成测试总体结果，结果包括模型的性能、安全性、推理速度、精度、内存和计算资源的消耗情况等，结果展现形式不唯一，多样化的呈现方式；
（5）自动化报告生成：支持自动生成性能与安全性观测报告，供用户下载和审阅；
（6）观测调用形式：支持多样化平台调用形式，包括但不限于SDK、Saas等。
6.任务要求
【开发说明】
同【用户期望】
【技术要求与指标】
（1）安全性测试题库需覆盖《生成式人工智能服务安全基本要求》中的生成内容测试题库要求，但不限于上述维度；
（2）单次生成的性能测试题库不低于500题；
（3）支撑接入国内外不少于5种不同的开源或闭源大模型；
（4）平台能够自动判定输出结果是否合规，并将大模型输入、输出与判定结果进行页面展示，自动化判定审核成功率大于90%；
（5）对模型表现的展现形式不少于5种，推荐采用多种可视化有关技术对模型的功能和性能表现进行呈现和输出；
（6）支持多样化平台调用形式，包括但不限于SDK、Saas等。
【提交材料】
（1）项目概要介绍;
（2）项目简介 PPT;
（3）项目详细方案;
（4）项目演示视频;
（5）企业要求提交的材料：
①如运用了人工智能技术训练素材，提供详细的素材介绍与来源说明；
②如应用程序运行包括或嵌入硬件，提供硬件实物图或原型图；
③关键模块的概要设计和创新要点（不超过 3 个）说明文档；
④可运行的 Demo 实现程序；
⑤如有具体的客户案例或经过客户实际场景测试，在不涉及知识产权的情况下，可以提供使用或试用说明文档。
（6）团队自愿提交的其他补充材料。
【任务清单】
（1）需求调研与分析；
（2）完成所选系统关键模块的需求分析；
（3）设计算法与关键模块的架构；
（4）编码开发与功能实现；
（5）测试验证主要功能和创新成果；
（6）探索应用场景落地。
【开发工具与数据接口】
无
7.其他
无
8.参考信息
（1）《生成式人工智能服务安全基本要求》
（2）论文链接：https://arxiv.org/abs/2309.01029
（3）Github 链接：
https://github.com/hy-zhao23/Explainability-for-Large-Language-Models
https://github.com/zetane/viewer
https://github.com/ashishpatel26/Tools-to-Design-or-Visualize-Architecture-of-Neural-Network
https://github.com/evidentlyai/evidently
https://github.com/Arize-ai/phoenix
9.评分要点
赛题评分要点见附件一：A 类企业命题初赛统一评分标准。
