HPC(高性能计算)是当今方兴未艾的存储密集型高科技领域,通过引入HPC,能够完成单独计算机无法在短时间内完成的大运算量工作,大幅提升业务效率。使用鸿翼备份,能够通过动态归档,统一规划海量数据管理与移动,保障HPC设备的流畅运行。
HPC——聚焦算力,开拓创新
复杂的计算问题正随着科技的发展而变得普遍,各行各业都在努力通过提升计算能力,满足高频交易、仿真模拟、机器学习和深度学习等需要高性能数据分析的应用程序。
在快速增长的海量数据环境中,用户更需要精心规划、科学管理宝贵的数据存储资源。因此,HPC技术应运而生,它使用并行工作的强大处理器集群,处理海量多维数据集(大数据),能够以极高的速度解决复杂问题。
在现象级的ChatGPT等人工智能技术席卷全球的当下,通过采用HPC技术,提升已有设备算力,实现大规模机器学习/深度学习,从而更好地利用人工智能,为企业创造价值,更是成为了众多科技密集型企业眼下最为关注的问题。
人工智能正在逐步改变着企业的业务方式
动态存储,HPC运行的“基石”
俗话说:“工欲利其事,必先利其器”,为了保障HPC的平稳运行,需要及时对其中的数据进行分层存储,从而支撑HPC系统的I/O高性能表现。当前的HPC基础设施普遍存在三层存储:
供计算节点直接访问的高端存储层:一般由昂贵的闪存驱动器构成,配以高性能共享文件系统(Lustre/GPFS); 大容量分布式NAS或共享存储层:供科研用户存储业务数据和工作文档,这些数据时刻准备提供给前端算力节点,用于高性能实验或模拟仿真。这一层大多采用高性能共享文件系统(Lustre/GPFS)或高性能NAS/对象存储(OceanStor,NetApp)等,是HPC海量存储的主存储层; 访问速度较慢但成本低廉的冷数据存储层:用于数据长期静态归档或法规遵从,设备包括近线或离线磁带库、蓝光库或冰川类云存储。
在以HPC为典型的科研领域,非结构化数据量及其增长速度都非常惊人。数据量的增加对生产节点存储和中间层共享主存的影响最大,HPC用户需要在两者间处理更频繁、更大量的数据搬移业务,在此过程中,数据始终处于活跃状态,因此也称为动态归档(Active Archiving)。
有别于数据在中间层主存与离线冷存储层之间的静态归档,动态归档的业务需求最多,I/Os请求最频繁,是HPC海量数据流动的核心。但面对日益复杂的数据移动和管理需求,一些HPC机构科研人员自行使用软件工具,完成各自的数据搬移,这些做法虽有一定效果,但同时也引发出多种风险,以至影响整体存储设施的性能和安全。
数据迁移中存在的风险
鸿翼备份,为HPC数据动态归档提供助力
针对HPC数据归档之中存在的种种问题,鸿翼备份推出了HPC数据动态归档解决方案,能够统一规划海量数据管理与移动,针对业务痛点,助力用户经济高效地解决棘手问题,实现多重价值:
鸿翼归档HCP动态归档系统示意图
● 通过自主管理不同类型磁盘间的动态数据归档,大幅减少高性能SSD生产磁盘的容量和I/Os压力,迅速优化整体存储TCO;
● 赋予科研终端用户更多数据管理能力,允许其基于预定策略、管理规范或行业准则,自主实现动态归档;
● 先进的软件功能与处理机制,为IT团队提供更强大的后台管理:
多个DataMovers直接访问存储,同时发起并发移动数据流,无需经过其它业务节点;
高效、可靠的数据断点续传,避免数据归档搬移过程中不慎丢失或损坏;
灵活的归档管理结构,包括项目(目录)命名、归档组织规则等;
● 为重要数据提供更多安全保护措施:
多版本文件自动化备份;
遵循“3-2-1”数据保护原则,在不同介质上存储多份数据副本;
● 自动化数据沉淀,从中间存储层自动卸载冷数据到离线静态归档:
通过优化的数据流队列和I/Os,使用户能够在磁盘动态归档和磁带、蓝光等静态冷归档之间高效移动PB级历史数据;
● 对海量归档数据高效检索:
通过Web界面,帮助用户在归档数据集之中,快速检索项目名称、文件名或元数据组合,自动恢复检索对象到用户原始或预设磁盘空间;
实践证明,基于Web的高效检索恢复方案,相比传统存根HSM方式,在类型复杂、增长迅速的HPC海量数据环境中,运行更稳定、更可靠。
随着AI、大数据、数据分析等高精尖科技的普及,各类IT基础设施开始进行整合,而HPC也以其低廉的价格与高超的性能,为企业提供了高性价比的算力解决方案。
HPC的存储与数据管理也因此更需要得到重视,鸿翼备份以易操作、强安全、高效率的动态归档能力,助力企业实现对科学、工程、商业等领域更深层次的探索。
近日,中国软件行业协会发布2024年度推广优秀软件产品活动(第1季度)通过名单,···
近日,上海鸿翼软件技术股份有限公司(简称“鸿翼”)与上海金慧软件有限公司(简称“···
全面智能化时代,鸿翼倾力打造“知识管理+人工智能”的深度融合之作——鸿翼KM知识···
企业文档管理如何进阶至知识化的深度应用文档是企业宝贵知识资产的来源,蕴藏着巨大可···
借助大模型、InWise智能平台与组件化能力,打造全面AI化的企业数据基础设施,···
近日,中国软件行业协会发布2024年度推广优秀软件产品活动(第1季度)通过名单,···
近日,上海鸿翼软件技术股份有限公司(简称“鸿翼”)与上海金慧软件有限公司(简称“···
全面智能化时代,鸿翼倾力打造“知识管理+人工智能”的深度融合之作——鸿翼KM知识···
企业文档管理如何进阶至知识化的深度应用文档是企业宝贵知识资产的来源,蕴藏着巨大可···
借助大模型、InWise智能平台与组件化能力,打造全面AI化的企业数据基础设施,···