全新的高性能计算集群:让高算力的集群管理更便捷高效

IT猿人 2023-03-13
2069 字丨阅读本文需 6 分钟

在计算领域中,HPC高性能计算(High Performance Computing)凭借其高算力、高存力、高运力的特点,在科学研究、航空航天、气象预报、能源勘探、工业制造、生命科学、智慧城市等政府及科研领域被广泛应用,对增强国家的科技竞争力有着不可替代的作用。高性能计算被视为计算机科学与工程的“皇冠”,各国近年来均频繁从国家层面启动研制计划。

随着工业电子信息产业的发展,高性能计算已经逐步由单机处理逐渐发展至集群化,很多企业存在自建高性能计算集群的需求。但在实际生产及使用方面,仍存在诸多方面的问题,例如集群搭建和维护工作繁重,需要投入很多物力和人力,使企业无法全力聚焦在主要业务上。另外,或硬件设备更新迭代速度快,计算量快速膨胀,新技术层出不穷,初期规划无法适应新的业务需求。因此,充分借用云端的集群管理能力,成为越来越多客户的高性价比选择。

针对科学计算、基因工程、气象电力、生物医药、工程制造等高算力场景, 近期,UCloud推出了全新升级的高性能计算集群,并新增独占集群管理功能,为高算力业务场景下的客户提供便捷高效的集群管理服务。

趋势:大计算+大数据

高性能计算是指将多个计算节点组织起来,通过网络连接在一起,进行协同工作, 组成一台性能更强大的计算机,通常指具有极快运算速度、极大存储容量、极高通信带宽的一类计算机。高性能计算能够让整个计算机集群为同一个任务工作,以更快的速度来解决一个复杂问题。一台高性能计算上往往执行一个任务(或者有限的几个任务)。全部的计算机资源都被倾注到同一个任务中。为了解决同一个问题,集群的不同计算机之间要有非常好的沟通能力。

在需求和政策的牵引下,2022年2月,国家发改委批复同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。

至此,“东数西算”工程正式全面启动,全国一体化大数据中心体系完成总体布局设计。截至目前,全国已建成了9个国家超级计算中心,20多个人工智能计算中心。这些新型基础设施服务了众多的能源企业、医院、高校、制造业企业等,推动数字经济快速发展。

然而,随着数据价值的不断提升以及大数据、人工智能等新兴数字产业的兴起,新场景、新需求让高性能计算,由“大计算”的HPC加速迈向“大计算+大数据”的HPDA(高性能数据分析)。

针对用户需求,支持独占集群与共享集群

EPC高性能计算集群集成UCloud的计算、存储、网络等资源,为客户提供便捷管理、可弹性伸缩的高性能计算服务。目前EPC分为独占集群和共享集群两种形态:

独占集群为客户创建的私有集群,客户可独占集群内的所有算力资源,自定义集群内部运行环境,自主安装系统应用。也是本次产品升级的重点,下面会详细介绍一下。同时提供可多点挂载的共享存储,同项目下的所有计算节点共享存储空间,在满足客户多节点共享数据的需求外,也一定程度上减低客户的存储成本,做到真正的降本增效。

共享集群则为所有用户共享的算力的计算集群,客户无需关注资源的调度和管理,仅根据自身需求,提交计算任务即可。

1.独占集群

独占集群模式下,UCloud提供两种资源部署方式,一种是集群部署,一种是节点组。在集群部署模式下,UCloud为客户提供作业调度软件的自动化部署功能,客户仅需要根据自身的实际业务需要来选择计算资源配置,磁盘以及网络资源,系统即可为客户一键创建高性能计算集群。

客户可以通过登录节点提交和分配计算任务,在计算节点执行计算任务。产品架构如下图所示:

在节点组部署模式下,UCloud为客户提供批量创建计算节点的能力,用户可一次性选择创建单台或者多台计算节点,同步配置磁盘、网络,提供部分科研场景下的常用软件,无需关注基础的环境搭建,开机即可运算,科研效率大大提升。

2.共享存储

EPC高性能集群提供了支持多点挂载的共享存储,同项目下的所有节点资源均可挂载在同一块共享存储上,可极大满足客户多计算节点共享数据源的需求。

当客户创建集群或者计算节点时,节点自动挂载共享存储,支持在线扩容,满足客户数据弹性存储需求。同时提供FTP文件上传下载功能,外网带宽最高可达100M。同时,EPC共享存储支持SMB协议和NFS协议,可满足不同客户Windows和Linux系统的使用需求。

提升科研算力,具备五项优势

1.资源丰富,弹性扩容

依托于UCloud公有云海量计算资源,可满足客户业务高峰时大量资源需求。

2.灵活部署

支持多种实例规格,满足科学计算、基因测序、建模仿真等多种应用类别。

3.提供资源管理、作业调度服务

提供自动化部署slurm调度器的能力,一键部署集群,支持集群任务调度。

4.支持共享存储

提供支持多点挂载的共享集群,创建时自动挂载。

5.计费方式灵活

支持包年包月、小时计费多种计费方式,客户按需使用计算资源服务,在满足业务需求同时,有效节约成本。

EPC助力多领域科研场景降本增效

1.生物信息领域

生物信息领域涵盖基因测序、基因分型、精准医学、个性化治疗等多种研究领域。上海某大学课题组在使用冷冻电镜技术对病毒蛋白质样本成像和重建实验中,利用UCloud EPC服务,通过RELION软件的GPU加速功能,加速病毒蛋白质的三维结构的重建(对几十万张2D或3D投影图片进行分析、组装和优化)。

2.分子模拟领域

分子模拟领域研究光谱预测、电子密度分布等物质表征模拟需求,也支持蛋白质-药物配体动力学、近场动力学、碳纳米管束等计算高度密集的科学问题。浙江某大学采用UCloud EPC服务,使用Gromacs软件对膳食卵清蛋白与叶酸的相互作用机理进行了研究,大幅提升研究效率。

3.人工智能领域

人工智能涵盖深度学习和强化学习,通过算法模型训练,应用于计算机视觉、自然语言处理、推荐引擎等场景。安徽某学院借助UCloud EPC服务,研究基于PyTorch的深度学习模型,进行心电公共数据端到端的分类,整体模型训练的效率得到极大的提升。

文章来源: 松果财经,海峰看科技,远瞻智库

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:IT猿人
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...