单存储节点破百万 IOPS,焱融科技重新定义高性能文件存储
消息来源:baojiabao.com 作者: 发布时间:2024-05-13
5 月 5 日,国内高性能文件存储和容器存储领导者焱融科技针对高性能计算应用场景,推出了全新的全闪分布式文件存储一体机焱融追光 F8000X 系列(以下简称:追光 F8000X),产品搭载了第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile,采用全 NVMe SSD、InfiniBand 高速网络,实现了单存储节点达到 40GBps 以上,2,000,000 IOPS,以极高性能充分释放数据潜力。同时,产品所具备的智能数据分层功能,不仅可以兼顾数据存储经济性,还能进一步加速 HPC、人工智能、生信分析、自动驾驶等高性能计算应用场景的存储升级。
追光 F8000X,是为了满足企业用户对大规模 AI、高性能计算平台中对数据处理具有严苛性能需求的场景,旨在助力企业用户通过极简的部署方式,快速地享受前沿的创新技术,保证有足够高的 IOPS 和宽带的支持,实现全生命周期的数据管理服务,轻松应对 GPU 高速计算对数据访问延迟的需求和高性能场景下的数据问题。
据了解,追光 F8000X 所采用的分布式架构,可实现系统随着业务需求动态,增加节点数量,使得存储容量和存储性能都以线性方式增长。同时,追光 F8000X 为了能够获得卓越的性能表现,满足高性能场景对存储系统的需求,对产品系统进行了全方位的优化升级:
在分布式并行文件系统层面,首先焱融科技针对 AI 和 HPC 场景下的海量小文件问题,提出了用横向水平扩展的方式,把单点的 MDS 集群化,采用静态子树 + 目录 Hash 两者结合的方式,实现了元数据的分布存储,从而通过扩展元数据节点,实现支持百亿级别的文件数量,极大提升了元数据的检索性能。其次,焱融科技极大程度保证了大文件 IO 的吞吐性能,将控制流和数据流(即元数据和数据存储)分离,有效减少对 MDS 更新频率的同时,大幅提高 IO 性能。
同时,为了提高小文件 IO 访问性能,焱融科技采用小文件内联、元数据缓存、文件信息 KV 化等技术手段,切实保证了 AI 场景中大量只读小文件的训练性能。最后针对目录热点问题,焱融科技通过增加虚拟子目录的方式把热点分摊到集群中所有的元数据节点,不仅解决了元数据热点问题,同时也解决了单目录下文件数量问题。通过增加虚拟子目录使单目录可以支撑 20 亿左右的文件数量,并且可以根据虚拟子目录的数量灵活调整。
在网路数据传输层面,焱融科技在高性能分布式存储里实现了 RDMA 传输的功能,支持通过 InfiniBand、RoCE 或 TCP 来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。
在物理存储层面,追光 F8000X 采用了全 NVMe SSD 构建物理存储空间,并基于 NVMe 存储架构做出的深度优化,充分释放了 SSD 性能,不仅降低了延迟,提高了 IOPS 和吞吐量,同时增强了服务器处理并发请求的能力。
在本次产品发布前,焱融科技的深度合作伙伴英伟达网络高级市场开发经理陈龙表示:"焱融科技致力于高性能存储方案不断创新与开发,在最新一代全闪解决方案中,与英伟达紧密合作,以优秀的存储架构设计结合 InfiniBand 出众的网络能力,向业界展示了高端 InfiniBand 网络全闪存储解决方案的魅力。"
作为高性能文件存储和容器存储领域的领头羊,追光 F8000X 的推出,标志着焱融科技的产品体系进一步覆盖了更多高性能场景。借助追光 F8000X 对 GPU 场景存储的全面革新,全闪分布式存储一体机也将在企业存储建设中承担起更重要的角色,助力在大规模 AI、高性能计算等场景下,实现存储容量和存储性能线性式增长。
2022-05-08 09:04:49相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24