1.命题方向

智能计算

2.题目类别

计算类

3.题目名称

基于多模态大模型驱动的道路状况综合识别

4.背景说明

【整体背景】

在智能交通管理领域，图像识别技术的应用正日益成为提升道路安全与效率的关键。尤其是多模态大模型，它们通过处理广泛的图像和视频数据，显著提高了识别复杂交通场景的能力。然而，尽管这些通用型大模型具有全面的知识库和强大的识别功能，它们在特定交通管理场景下的应用却面临着精度和应用针对性的挑战。小模型虽然能够针对特定场景进行优化，但由于交通场景的多样性和异常数据的稀少，难以实现广泛的泛化应用。大模型虽然在能力上有所优势，但在实际应用中，特别是在交通拥堵识别、事故快速响应、道路维护预警等对精度和实时性要求极高的领域，其表现往往难以满足行业内的精细化和专业化需求。因此，研发一种能够结合大模型与小模型优势，既能有效应对多样化交通场景，又能保持高精度识别的图像识别技术，对于提高城市交通管理的智能化水平、确保道路交通安全以及推动智能交通系统的整体进步，具有极其重要的现实意义和长远影响。

【公司背景】

江苏万维艾斯网络智能产业创新中心有限公司由江苏省高等学校优秀科技创新团队（南京大学人工智能推理与学习团队）投资的人工智能产品研发和产业化平台。公司是国内首批以人工智能技术创新为核心价值的高新技术企业，旨在提高人工智能产业的自主创新能力，努力打造一个集国际技术转移、技术研发、国际合作、科技创业、咨询培训功能于一体的创新创业平台。

【业务背景】

道路状况综合识别系统是江苏万维艾斯网络智能产业创新中心有限公司的一个业务方向。当前存在这样一个任务，基于目标城市整合和梳理道路状况相关数据，通过大模型技术提升城市交通管理的智能化水平。

5.项目说明

【问题说明】

基于给定目标城市，城市可由参赛选手自己选择。通过网络、移动设备采集,监控摄像头数据等方法整理收集目标城市的交通公路上的各种违规现象，包括但不限于机动车占用在应急车道、道路抛洒物、交通事故、交通拥堵，标志线损坏，道路上是否存在坑槽等信息以及包含对道路健康状况监测和车流量统计的能力。并基于多模态大模型微调的相关技术方法，实现基于多模态大模型道路状况综合识别系统。其中对于大模型的选择可以选取一些开源模型，如Qwen2-VL、InternVL2等。

【用户期望】

基于目标城市的交通状况等数据，构建语料库并进行多模态大模型的微调，实现基于多模态大模型的问答系统。通过问答系统实现用户输入以下问题，问题示例如下：

图中公路上有没有抛洒物？

图中公路上有没有标志线损坏？

图中公路上是否存在坑槽？

图中公路上有没有交通事故发生？

图中公路上有没有违规占道？

该问答系统能够给出上述问题的回复。

6.任务要求

【开发说明】

收集目标城市的交通状况数据，进行语料库的构建（方法不限），并基于语料库进行大模型微调，实现基于该语料库的问答系统。

【技术要求与指标】

（1）详细方案内容完备，具有可行性和先进性；

（2）具备多模态大模型的基础问答能力和基于语料库的问答能力。考核方法基于用户提供的语料范围，交通状况等问题，对模型进行提问，对模型问答能力进行评估；

（3）具有交互界面，可通过浏览器进行访问，页面的访问延迟和问答的响应延迟不超过10s；

（4）语料库数据不低于3000条。

【提交材料】

（1）项目概要介绍;

（2）项目简介 PPT;

（3）项目详细方案;

（4）项目演示视频;

（5）企业要求提交的材料：

①语料库数据；

（6）团队自愿提交的其他补充材料。

【任务清单】

（1）完成算法设计与实验；

（2）完成提交材料内容。

【开发工具与数据接口】

（1）开发工具不限；

（2）数据接口待定。

7.其他

无

8.参考信息

无

9.评分要点

赛题评分要点见附件一：A 类企业命题初赛统一评分标准。