新闻与活动

鸿翼最新动态,最热活动

立即咨询
高算力时代 鸿翼备份助力HPC高性能计算数据归档
发布时间:2023-06-21     点击数:557

HPC(高性能计算)是当今方兴未艾的存储密集型高科技领域,通过引入HPC,能够完成单独计算机无法在短时间内完成的大运算量工作,大幅提升业务效率。使用鸿翼备份,能够通过动态归档,统一规划海量数据管理与移动,保障HPC设备的流畅运行。


HPC——聚焦算力,开拓创新

复杂的计算问题正随着科技的发展而变得普遍,各行各业都在努力通过提升计算能力,满足高频交易、仿真模拟、机器学习和深度学习等需要高性能数据分析的应用程序。


在快速增长的海量数据环境中,用户更需要精心规划、科学管理宝贵的数据存储资源。因此,HPC技术应运而生,它使用并行工作的强大处理器集群,处理海量多维数据集(大数据),能够以极高的速度解决复杂问题。


在现象级的ChatGPT等人工智能技术席卷全球的当下,通过采用HPC技术,提升已有设备算力,实现大规模机器学习/深度学习,从而更好地利用人工智能,为企业创造价值,更是成为了众多科技密集型企业眼下最为关注的问题。

1687335925121.jpg

人工智能正在逐步改变着企业的业务方式


动态存储,HPC运行的“基石”

俗话说:“工欲利其事,必先利其器”,为了保障HPC的平稳运行,需要及时对其中的数据进行分层存储,从而支撑HPC系统的I/O高性能表现。当前的HPC基础设施普遍存在三层存储:

  • 供计算节点直接访问的高端存储层:一般由昂贵的闪存驱动器构成,配以高性能共享文件系统(Lustre/GPFS);

  • 大容量分布式NAS或共享存储层:供科研用户存储业务数据和工作文档,这些数据时刻准备提供给前端算力节点,用于高性能实验或模拟仿真。这一层大多采用高性能共享文件系统(Lustre/GPFS)或高性能NAS/对象存储(OceanStor,NetApp)等,是HPC海量存储的主存储层;

  • 访问速度较慢但成本低廉的冷数据存储层:用于数据长期静态归档或法规遵从,设备包括近线或离线磁带库、蓝光库或冰川类云存储。


在以HPC为典型的科研领域,非结构化数据量及其增长速度都非常惊人。数据量的增加对生产节点存储和中间层共享主存的影响最大,HPC用户需要在两者间处理更频繁、更大量的数据搬移业务,在此过程中,数据始终处于活跃状态,因此也称为动态归档(Active Archiving)


有别于数据在中间层主存与离线冷存储层之间的静态归档,动态归档的业务需求最多,I/Os请求最频繁,是HPC海量数据流动的核心。但面对日益复杂的数据移动和管理需求,一些HPC机构科研人员自行使用软件工具,完成各自的数据搬移,这些做法虽有一定效果,但同时也引发出多种风险,以至影响整体存储设施的性能和安全。

1687335957346.png

数据迁移中存在的风险

鸿翼备份,为HPC数据动态归档提供助力

针对HPC数据归档之中存在的种种问题,鸿翼备份推出了HPC数据动态归档解决方案,能够统一规划海量数据管理与移动,针对业务痛点,助力用户经济高效地解决棘手问题,实现多重价值:

1687335987731.png

鸿翼归档HCP动态归档系统示意图

● 通过自主管理不同类型磁盘间的动态数据归档,大幅减少高性能SSD生产磁盘的容量和I/Os压力,迅速优化整体存储TCO;


●  赋予科研终端用户更多数据管理能力,允许其基于预定策略、管理规范或行业准则,自主实现动态归档;


●  先进的软件功能与处理机制,为IT团队提供更强大的后台管理:

多个DataMovers直接访问存储,同时发起并发移动数据流,无需经过其它业务节点;

高效、可靠的数据断点续传,避免数据归档搬移过程中不慎丢失或损坏;

灵活的归档管理结构,包括项目(目录)命名、归档组织规则等;


●  为重要数据提供更多安全保护措施:

多版本文件自动化备份;

遵循“3-2-1”数据保护原则,在不同介质上存储多份数据副本;


●  自动化数据沉淀,从中间存储层自动卸载冷数据到离线静态归档:

通过优化的数据流队列和I/Os,使用户能够在磁盘动态归档和磁带、蓝光等静态冷归档之间高效移动PB级历史数据;


●  对海量归档数据高效检索:

通过Web界面,帮助用户在归档数据集之中,快速检索项目名称、文件名或元数据组合,自动恢复检索对象到用户原始或预设磁盘空间;

实践证明,基于Web的高效检索恢复方案,相比传统存根HSM方式,在类型复杂、增长迅速的HPC海量数据环境中,运行更稳定、更可靠。


随着AI、大数据、数据分析等高精尖科技的普及,各类IT基础设施开始进行整合,而HPC也以其低廉的价格与高超的性能,为企业提供了高性价比的算力解决方案。


HPC的存储与数据管理也因此更需要得到重视,鸿翼备份以易操作、强安全、高效率的动态归档能力,助力企业实现对科学、工程、商业等领域更深层次的探索。


立即领取免费试用名额,开启内容管理新体验

立即咨询申请试用
在线咨询 400电话 微信咨询 售后服务
400-886-1516

微信二维码

021-64182907