SciPlus 科研云是由上海科技创新资源数据中心主导研发的,顺应科学数据特点的、具有分布式存储、并行计算和大数据计算的容器云平台。
经过一年多的努力,SciPlus 科研云已经初步完善云平台的研究和建设,核心是聚焦支撑服务,为科学研究赋能。基于分布式云计算技术构建的 SciPlus 科研云,具有资源共享、弹性收缩等云平台共性,专注于管理、存储,将计算资源和数据资源合理高效地整合到云端。
应对科研变革
伴随以互联网、云计算和大数据为代表的数字经济的迅速发展,科学数据已经成为传播速度最快、影响面最广、开发应用居前列的最大科技资源,科技创新进入了数据驱动时代,即先有大量的已知数据,再通过计算得出未知理论。
科学数据作为一种关键战略资源,重要性日益凸显。但我国科学数据管理面临问题:数据利用率低,数据流失严重,很多数据直接递交进入国际数据库;很多科研机构课题组缺乏对于数据长期保存的能力;对国际数据依赖大,在全球科学数据库拥有数量的国家排名中位置不高。
上海科技创新数据资源中心通过对国内科研需求的调研以及国际上科学数据共享建设的学习,决心建立满足海量数据处理及存储、共享、应用于一体的,包含机房、软硬件基础设施、操作系统等在内的区域性综合型技术中心。
解决方案
作为上海科技创新数据资源中心的重要技术合作伙伴,青云科技具备成熟的软件定义能力,以高密度、高弹性及异构环境支持,提供广泛兼容且更高效的科学计算环境,实现数据灵活调用,服务科研协作协同,将容器技术用于无状态型大量数据的并发式处理及流式处理。
SciPlus 科研云包括多云异构云管平台、通用分布式计算框架、流式编程计算框架。多云异构云管平台可以统筹和整合各方资源,形成联邦云计算平台。通用分布式计算框架是一种基于分布式存储技术的容器技术,具有三个统一特性,即统一资源池、统一计算平台、统一基础设施技术栈,可按需扩展存储能力,此计算框架还可以为不同计算任务及数据进行安全隔离。流式编排计算框架为复杂多步骤科学计算提供弹性支持,提升计算资源利用率,并根据计算资源使用情况,自动调度计算模块,科研人员通过可视化界面了解计算过程,并随时调整计算步骤。
价值及展望
上海科技创新数据资源中心与青云QingCloud 一起积极创新应用模式,使用前瞻性技术,构建云基础设施,为形成满足未来科学发展的,集科学数据汇交、存储、计算、共享与应用等功能于一体的区域性、综合型、国际化的科学数据中心共同努力。青云QingCloud 在云原生时代贡献力量,与上海科技创新中心共同迎接挑战、承担使命,推动产学研深入结合,让科学数据真正流动起来,并发挥促进国家科技创新和经济社会发展的重要基础作用。