APP下载

EDS 存储摘两金,创新架构突破小文件性能瓶颈

消息来源:baojiabao.com 作者: 发布时间:2026-05-26

报价宝综合消息EDS 存储摘两金,创新架构突破小文件性能瓶颈

近日,由百易传媒 (DOIT) 主办的"2022 数据与存储峰会"在北京顺利举行,本次大会以"数据觉醒新时代"为主题,旨在探讨新时代数据存储的新方向和对优秀企业进行表彰,信服云企业级存储 EDS 凭借其优越性能,接连斩获"2022 年度分布式存储金奖""2022 年度文件存储金奖"两项大奖。

信服云 EDS 为何能在这次峰会上连续获得两项大奖?在深信服存储解决方案总监王志成"存储如何应对 GPU 算力爆炸增长下的小文件性能挑战"主题演讲中我们或许能知道答案。

01 GPU 算力爆发式增长下,存储面临哪些挑战?

王志成指出,以 GPU 为核心的智能算力比重由 2016 年的 3% 提升至 2020 年的 41%,GPU 算力高速发展衍生出大量数据密集性行业应用,这些应用数据的存储面临三大挑战:

存储架构受限,小文件处理性能差

很多业务生产过程都会产生海量 KB 级小文件,比如芯片设计的前端设计场景,实景三维建模场景等,但无论是传统 NAS 存储还是新兴的分布式存储,由于元数据处理架构、网络时延等限制,都难以有效解决小文件处理性能差的问题上。

数据量井喷,"存不下"成为主要挑战

以基因测序为例,受当下环境和人口老龄化的影响,一个基因测序服务企业每年新增的数据量就高达 10PB 级。传统存储跟不上现有业务的数据增长,想要扩展却要面临硬件与厂商绑定、成本高昂、扩展周期长等一系列问题。

各场景数据复杂,存储效率提高难

行业业务需求正在呈现多样化的演进趋势,对数据存储的大带宽支持能力、海量小文件访问延时和复杂场景的适应性都提出极高的要求,存储需要更高效的数据访问能力。

"在当下的环境,用户需要一套性能更高、扩展性更强的企业级存储系统,来提升业务数据生产效率。"王志成这样说到。

02 信服云分布式存储 EDS,更高性能突破瓶颈

王志成引用 Gartner 报告中"软件定义是存储唯一变革性技术"的观点,点明未来存储的发展之道。相比传统存储,以软件形式定义存储可提供更优秀的场景适应能力、更高的性价比和更灵活的扩容能力,在软件定义的基础上,信服云 EDS 通过全自研高性能文件系统 PhxDFS 和五大核心技术提升存储综合能力:

多活元数据服务,性能再提升

为了解决性能不足的问题,EDS 将一个完整目录分片后分发到各个存储节点处理,充分利用起所有节点的 CPU 算力,从而突破元数据性能瓶颈。对比 Ceph 架构的分布式存储,元数据处理能力可提升三倍以上。

元数据高效压缩算法,数据"存得下"

在海量小文件场景下,元数据的规模可能达 TB 级,为了将更多的元数据缓存到有限的存储内存空间,EDS 自研元数据压缩算法,该技术最大可支持 7:1 的压缩比。在百亿小文件场景下实现元数据、热数据百分百命中内存缓存,让数据"存得下""找得快"。

数据三级缓存机制,数据访问更快一步

EDS 追求高性能的同时,同样注重数据读取效率。在专有客户端模式下,EDS 将客户端内存、存储节点内存和大容量 NVMe 固态盘构建成三级缓存,实现数据和元数据就近访问,命中即返回,该技术将热数据的访问时延降低到 us 级别。相比过去,数据访问更快、效率更高。

高性能 RDMA 网络,网络时延再降低

EDS 在存储业务网和存储私网均支持以 RoCE v2 协议替代 TCP / IP 协议,可将网络时延降低 90% 以上,业务联通仅需 9-16us,可大幅缩短业务数据的联通时间。

数据智能聚合追加写,效率再提升

EDS 将文件 IO 在高性能层(NVMe 或 SATA SSD)聚合后追加写入容量层(机械盘),可有效解决小文件写放大造成的容量浪费,利用机械盘本身顺序写性能优势,进一步降低 EC 写惩罚影响,提升写性能的同时可有效提升 60% 以上的回刷速度,进一步减少数据存储、调用的耗时,提高业务效率。

信服云企业级存储 EDS 保护数据也敬畏数据。在不断的技术创新中积极实践,现已累计参与交付超过 20000 个客户和 300 + 例的 PB 级项目。在未来,EDS 将持续打磨产品,与用户携手共创高性能存储时代的数据宏图。

2022-12-21 18:47:34

相关文章