【A22】基于容器海量数据的存储系统【信华信】
发布时间: 2022-11-24 16:20:48

本届A类赛题可通过以下方式提问与交流:

1、大赛官网团队账号-赛题答疑区提问,组委会定期收集问题提交至企业解答后公布;

2、可前往赛题答疑论坛(PC端点击链接):https://mastergo.com/file/77782156635006?utm_source=fwwb&utm_medium=saitishouce&utm_campaign=&utm_term=&utm_content=提问或交流,企业定期回复。



1.命题方向

智能计算

2.题目类别

应用类

3.题目名称

基于容器海量数据的存储系统

4.背景说明

【整体背景】

近年来,全球的数据量出现爆炸式增长,数据存储需求发生了很大变化。数据量的大小由 TB 级增长至 PB 级,并仍在不断增长,这对存储系统带来了巨大挑战,云环境下的数据存储成为未来数据存储的发展趋势。

目前,云环境下的主流存储架构有两种:集中式存储和分布式存储,其中,集中式存储具有集中性,整个存储是集中在一个系统中的一个或多个设备上,技术成熟,部署简单。对于集中式存储,以服务或者功能模块的形式将各功能融合进一个存储系统中,各项服务或功能模块之间相互依赖、紧密结合。在这种强耦合模式下,任何一个服务或者模块出问题都可能导致整个存储系统崩溃,同时该种架构也会面临数据不断增长不能及时扩容的问题,影响系统可靠性和可用性。分布式存储虽然能够解决这种强耦合,但是对于弹性扩容以及后期运维成本要求很高,需要投入大量成本。综合以上基于容器海量数据存储被提出来;基于容器海量数据存储系统能够结合大数据存储和容器特点解决了自动弹性扩容等问题,同时能够大大减少人力运维成本。

【公司背景】

信华信技术股份有限公司(原名大连华信计算机技术股份有限公司)成立于1996年,是一家面向全球客户提供领先的产品、服务及解决方案的数字技术服务企业,国内外设立三十家分支机构,公司员工逾万人。信华信业务覆盖中国、日本、欧美等国家和地区,聚焦于商业流通、产业、政府公共、金融等领域,打造成熟的智慧商业、智能制造、智慧城市、智慧金融等多行业解决方案。在云计算领域,信华信作为云计算标准和开源推进委员会(TC608)、云原生基金会(CNCF)成员单位,立足云原生技术,沉淀专业云技术能力,为企业用户提供全生命周期综合云服务,依托信华信公有云平台、公混私一体化云建设能力、全流程上云服务及解决方案,服务企业“高效用云、卓越建云、无忧上云”,以数字技术助力数字化转型。

【业务背景】

容器技术快速兴起,在云计算领域正扮演着越来越重要的角色。容器把数据存储和运行环境打包在一起,减少了对操作系统的依赖和不同软件版本之间的冲突,面对数据量的飞速增长能够自动扩容,同时也能够做到数据存储的高可用。

5.项目说明

【问题说明】

开发基于容器的TB级别海量数据(结构化、半/非结构化)存储。配合该存储后,应用在容器化后可以像传统应用一样使用该存储系统完成数据或文件存储,并保持容器本身灵活及高可用性特征。

【用户期望】

海量数据高效存储,能够存储结构化、半/非结构化数据,也能够以文件、块、对象存储,集群高可用、自动弹性伸缩,同时可以基于该存储系统实现有状态容器化应用的自动或半自动灾备。

6.任务要求

【开发说明】

现有技术中随着大数据相关业务需求的高速发展与快速扩张,存储系统需要处理的数据越来越多,针对现有海量数据的计算、存储能力进行扩容导致成本过高的缺陷,通过利用容器技术来解决海量数据的存储和计算任务,从而能够降低对现有海量数据的存储和计算能力进行快速扩容的成本。

【技术要求与指标】

开发过程中不限制开发语言,开发完可适配CentOS7或者更高版本系统,能够适配原生的Kubernetes指令,同时也可以支持其他创新的容器管理系统,支持自己创新的操作指令集。

1)支持TP级海量数据(结构化、半/非结构化)分块存储;

2)存储集群自动部署;

3)集群动态扩容;

4)其中node节点小于一半宕机不影响集群工作;

5)存储集群高可用。

【提交材料】

1)项目概要介绍;

2)项目简介PPT;

3)项目详细方案;

4)项目演示视频;

5)企业要求提交材料:

①详细设计文档;

②详细安装文档;

③完整测试案例(功能和性能);

④完整测试报告(功能和性能)。

6)团队自愿提交的其他补充材料。

【任务清单】

1)海量数据存储能力:容器的持久化存储应具有良好的可扩展性,支持海量数据,结构化、半结构化和非结构化数据的存储;

2)统一存储:容器的持久化存储需要支持文件、块和对象存储功能;

3)高并发访问:容器具有比主机虚拟化更高的效率,一个容器集群可以有上千甚至上万个容器实例,持久化存储系统应支持海量文件的高并发访问;

4)数据安全隔离:使用容器的集群中,同一组物理服务器上同时运行不同任务的容器集群,但不同的容器集群之间需要数据的安全隔离。

【开发工具与数据接口】

1)开发语言不限;

2)运行操作系统为CentOS7及以上64位版本;

3)容器集群管理系统为Kubernetes;

4)使用开源软件。

7.其他

8.参考信息

9.评分要点

赛题评分要点见附件A 类企业命题初赛统一评分标准。



订阅号