APP下载

单存储节点破百万 IOPS,焱融科技重新定义高性能文件存储

消息来源:baojiabao.com 作者: 发布时间:2024-05-13

报价宝综合消息单存储节点破百万 IOPS,焱融科技重新定义高性能文件存储

5 月 5 日,国内高性能文件存储和容器存储领导者焱融科技针对高性能计算应用场景,推出了全新的全闪分布式文件存储一体机焱融追光 F8000X 系列(以下简称:追光 F8000X),产品搭载了第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile,采用全 NVMe SSD、InfiniBand 高速网络,实现了单存储节点达到 40GBps 以上,2,000,000 IOPS,以极高性能充分释放数据潜力。同时,产品所具备的智能数据分层功能,不仅可以兼顾数据存储经济性,还能进一步加速 HPC、人工智能、生信分析、自动驾驶等高性能计算应用场景的存储升级。

追光 F8000X,是为了满足企业用户对大规模 AI、高性能计算平台中对数据处理具有严苛性能需求的场景,旨在助力企业用户通过极简的部署方式,快速地享受前沿的创新技术,保证有足够高的 IOPS 和宽带的支持,实现全生命周期的数据管理服务,轻松应对 GPU 高速计算对数据访问延迟的需求和高性能场景下的数据问题。

据了解,追光 F8000X 所采用的分布式架构,可实现系统随着业务需求动态,增加节点数量,使得存储容量和存储性能都以线性方式增长。同时,追光 F8000X 为了能够获得卓越的性能表现,满足高性能场景对存储系统的需求,对产品系统进行了全方位的优化升级:

在分布式并行文件系统层面,首先焱融科技针对 AI 和 HPC 场景下的海量小文件问题,提出了用横向水平扩展的方式,把单点的 MDS 集群化,采用静态子树 + 目录 Hash 两者结合的方式,实现了元数据的分布存储,从而通过扩展元数据节点,实现支持百亿级别的文件数量,极大提升了元数据的检索性能。其次,焱融科技极大程度保证了大文件 IO 的吞吐性能,将控制流和数据流(即元数据和数据存储)分离,有效减少对 MDS 更新频率的同时,大幅提高 IO 性能。

同时,为了提高小文件 IO 访问性能,焱融科技采用小文件内联、元数据缓存、文件信息 KV 化等技术手段,切实保证了 AI 场景中大量只读小文件的训练性能。最后针对目录热点问题,焱融科技通过增加虚拟子目录的方式把热点分摊到集群中所有的元数据节点,不仅解决了元数据热点问题,同时也解决了单目录下文件数量问题。通过增加虚拟子目录使单目录可以支撑 20 亿左右的文件数量,并且可以根据虚拟子目录的数量灵活调整。

在网路数据传输层面,焱融科技在高性能分布式存储里实现了 RDMA 传输的功能,支持通过 InfiniBand、RoCE 或 TCP 来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。

在物理存储层面,追光 F8000X 采用了全 NVMe SSD 构建物理存储空间,并基于 NVMe 存储架构做出的深度优化,充分释放了 SSD 性能,不仅降低了延迟,提高了 IOPS 和吞吐量,同时增强了服务器处理并发请求的能力。

在本次产品发布前,焱融科技的深度合作伙伴英伟达网络高级市场开发经理陈龙表示:"焱融科技致力于高性能存储方案不断创新与开发,在最新一代全闪解决方案中,与英伟达紧密合作,以优秀的存储架构设计结合 InfiniBand 出众的网络能力,向业界展示了高端 InfiniBand 网络全闪存储解决方案的魅力。"

作为高性能文件存储和容器存储领域的领头羊,追光 F8000X 的推出,标志着焱融科技的产品体系进一步覆盖了更多高性能场景。借助追光 F8000X 对 GPU 场景存储的全面革新,全闪分布式存储一体机也将在企业存储建设中承担起更重要的角色,助力在大规模 AI、高性能计算等场景下,实现存储容量和存储性能线性式增长。

2022-05-08 09:04:49

相关文章