存储极客丨Scale-Out与全闪存似乎天然配对儿
消息来源:baojiabao.com 作者: 发布时间:2024-04-26
本文作者:冬瓜哥
Scale-Out的分散式系统为何离不开SSD/全闪存?如果没有闪存,Scale-Out为什么就让人感觉火候不太够?而Scale-Out的出现,除了得益于闪存助力,还有什么其他因素么?本文冬瓜哥就来分析分析。
本文组织
① Dell EMC XtremIO X2简介
② 说说Scale-Out架构与全闪存
Dell EMC XtremIO X2简介
2018年5月1日,Dell EMC在Dell Technologies World宣布了最新的计算和存储产品。
戴尔在5月8日宣布了对XtremIO X2的一些重要改变,XtremIO X2在其软件中添加了新功能(提供了将变化数据复制到目标系统的复制方式),这将减少在进行本地复制时传输的数据量。戴尔还宣布,未来版本的XtremIO X2将支持NVMe SCM。
Dell EMC的XtremIO X2为一款具备横向扩展能力的全闪存阵列。其相比上一代XtremIO的提升如下图所示:
每个阵列单元称之为X-Brick。每个X-Brick单元可配置18~72个SSD。
上图为XtremIO X2全闪存阵列X-Brick模块外观图。每个X-Brick高度为1U,分别由Storage Controller、DAE(SSD扩展柜)、UPS电源组成,每个控制器为1U双路服务器,每个X-Brick配置了4个16Gb光纤通道埠、4~8个10GbiSCSI埠、4个56Gb Infiniband埠(每Controller配置2个)以及2个1Gb的管理埠。
下图所示为XtremIO X2的X-Brick架构。每个控制器运行了一个定制化的轻量级的Linux内核——XIOS。为了获取最高的性能,I/O处理模块直接运行在用户态,直接操作底层硬件。节点间互联采用基于Infiniband网络的RDMA方式。
XtremIO X2已经在实验室环境中实现了8个X-Brick(16个节点)甚至更大的集群,Dell EMC估计也会很快提供8个X-Brick配置的阵列。从理论上看,8个、16个X-Brick和32个X-Brick并没有区别,但是涉及到很多测试和实际应用场景,即客户当前是否需要这么大的容量和性能。
X-Brick具有非破坏性XIOS软件及硬件升级、拥有高可靠性的热插拔升级,且不存在着单点故障。集群化的XtremIO X2阵列中各个X-Brick可以拥有不同存储容量;集成了VMware VAAI、VMware多通道I/O支持,数据分卷能够夸整个系统;拥有丰富的数据保护功能。
XtremIO X2全闪存阵列将数据分为4KB的散列块,这些4KB的散列块完全打散,不按照逻辑地址进行排列存储,而是根据物理位置进行安置。如下图所示:
数据天然带有指纹hash,这也是XtremIO X2实现重复数据消除的基础。
其他一些产品也使用了类似策略,但是其数据存储方式一般都是基于逻辑地址,时间久了之后不可避免的就会产生磁盘碎片化,从而对性能产生影响。XtremIO全闪存阵列的策略则是将数据彻底的打乱完全碎片化,基于4KB的数据块通过指纹来识别、存储、管理等。一方面可以实现全局磨损均衡,另一方面可以让重复数据消除变得非常容易。
XtremIO的数据保护机制XDP,通过双阶数据引擎避免了RAID5、RAID6的写放大外,达到了RAID6的保护效果。
说说Scale-Out架构与全闪存
分散式系统的发展有三个技术条件,分别为:高速网络、大容量硬盘、固态介质。这三者彻底解放了分散式系统的生产力。通俗一点说也就是:网络快了、盘容量大了、盘速度快了。
高速网络
高速网络是分散式系统赖以生存的根本,分散式存储系统早在上世纪中后期就已经形成了理论基础,但是一直到近几年,网络的时延和带宽才足以支撑分散式系统架构。
大容量硬盘
为了降低成本,业界兴起所谓软件定义,也就是利用廉价白牌机或者标准的机架服务器,加上分散式存储软件管理层,搭建出软件定义分散式存储系统,与传统的SAN存储系统瓜分市场。
固态介质
而分散式系统的大行其道,极大的促进了固态存储的需求量,因为为了成本考量,分散式系统中每个节点往往不会连接多级JBOD从而靠大量的硬盘形成高并发性能,而是只靠每个服务器自带的少量盘位,加上固态盘来抵消跨网络通信带来的时延增加,形成让传统机械盘系统望尘莫及的IOPS和时延性能。
所以,Scale-Out与固态盘可以说是天然的一对儿,固态存储系统用于Scale-Out分散式系统是非常自然的一种需求。
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45