参照下4年前我写的《EMC World:新统一存储Unity把硬件做到极致?》,PowerStore硬件是不是满满的EMC风格:)
目录
- PowerStore T/X系列:统一存储(文件)/ 内置VMware虚拟化
- NVRAM盘 BBU:写缓存和压缩重删原理
- Optane SSD(SCM)支持、SAS SSD扩展柜
- Scale-out和机器学习引擎
- 主机接口卡、25GbE/32Gb FC热插拔I/O Module
- 最适合SSD的宽条带化RAID、性能宣称
- 管理界面:PowerStore Manager、REST API和Cloud IQ
在昨天之前,我听说过PowerStore的名字,也听说Dell EMC拿下了商标,但我也不知道它具体哪一天发布。
等看到消息的时候,线上发布会已经在举行了,网站上一大堆介绍和技术资料也都上线了——看来许多准备工作早就在低调进行。
由于这次发布会的性质,没有太多时间讲技术细节,因此我在网页的留言区看到一些提问:比如有人问是不是类似超融合产品?和VMware vSAN有什么区别等。
经过一天的学习,我先来回答第一个问题:PowerStore既可以是全闪存阵列,也可以是“一体机”,至于算不算超融合嘛,我觉得只要理解它能实现什么功能,可以怎么用就好了。
注:我水平有限,如有理解有误之处还望不吝指正。谢谢
PowerStore T/X系列:统一存储(文件)/内置VMware虚拟化
图片点开后可放大,以下同。
首先Dell EMC PowerStore号称基于容器的存储系统,分为T和X两个系列,它们在硬件上都是2U双控制器机箱。第一点区别,就是PowerStore X内置了VMware ESXi HyperVisor(如上图)——Power Store OS阵列操作系统也是运行在上面的特殊虚拟机,同时还可以有若干别的应用虚拟机。
大家可以留意图中的双节点(PowerStore 2个物理控制器),以及2个运行存储服务的专用虚拟机。
这样做有什么好处呢?我理解:
1、可以充分利用控制器节点的CPU、内存计算资源;
2、由于基于双控99.9999%高可用性存储,传统使用外部共享存储的HA虚拟机架构只要一台2U设备就能实现,而不用像超融合那样需要至少3个节点、以及网络交换机的重度依赖。
同时PowerStoreX也能像T系列那样使用FC/iSCSI连接外部服务器,实现传统存储阵列的功能。
PowerStore T系列不像X那样集成虚拟化HyperVisor,却可以增加文件(NAS)功能,这一点上类似于之前的Unity统一存储家族。
PowerStore是为NVMe原生设计的全闪存阵列(后续计划软件更新支持端到端NVMeOF),同时支持连接SAS SSD扩展机箱。我理解它的定位介于Dell EMC中端的Unity和高端PowerMax阵列之间。
扩展阅读:《从VMAX到PowerMax:Dell EMC新一代NVMe高端阵列解析》
《DTW2019新品抢先看:Unity XT、VxFlex OS 3.0、PowerProtect X400》(去年发布时Unity XT可以支持8个NVMeSSD)
如上表,PowerStoreT系列的文件存储协议应该是新增了SMB 3.x,这样对微软Windows 2016 (含Hyper-V)环境的支持就更好了。
同时我还看到许多传统EMC存储上的名词:CloudIQ、SRM、RP4VM(RecoverPoint持续数据保护)、PowerPath多路径和VPLEX存储虚拟化等。
硬件规格表和内存配置
在硬件配置上,PowerStore T和X系列除了I/O模块之外基本一样,这部分后面我会详细讲。
先看上面的型号:PowerStore 1000、3000、5000、7000和9000对应着不同的CPU和内存配置。由于是双控制器,每个控制器节点主板上2颗Intel CPU,从8核到28核不等;384GB-2560GB内存也是指的整台设备,具体到每控制器就是一半的容量。
PowerStore使用的就是Xeon Scalable服务器上的ECC内存,上表连不同型号节点上具体的内存插法都写清楚了。
NVRAM盘 BBU:写缓存和压缩重删原理
下面讨论一个我感兴趣的地方,前面表格中有一项NVRAMdrives。其中PowerStore1000和3000型号是2个,而5000、7000和9000则是4个。这一点似乎和EMC VNX/Unity传统的设计不同?
如上图,PowerStore的2U基础控制器机箱支持25个全NVMe 2.5英寸(U.2)驱动器,其中左边的21个是为NVMe SSD设计的,而右边4个专门用于NVRAM(非易失性内存)盘。
这个是NVRAM盘的镜像关系,以及分别由哪个控制器节点的BBU备份电池来供电。
上面文字详细描述了无单点故障的设计。大家可以看到BBU电池体积很小,有朋友还记得当初CLARiiON和VNX控制器配套使用的SPS电池模块体积多大吗?(更换电池也是个麻烦事)如果从Xeon CPU的内存划一部分做写Cache,就要在断电时保证CPU和那几块磁盘的供电;而现在BBU只要给NVRAM盘供电,等数据写到里面的闪存上就保险了。
这张图以2个NVRAM写缓存盘的型号来做示例。数据写入控制器节点主内存之后,接着写入NVRAM镜像写缓存,第三步是从另一控制器节点获得Token(注意这里不用跨控制器做Cache镜像了),然后返回写ok。
从故障处理的角度,我是这样理解的:传统存储控制器的写缓存,无论在系统内存中、主板上有个专用DRAM插槽还是一个PCIe NVRAM卡,当控制器故障离线时也会一起离线,剩下的一个控制器只能临时禁用写缓存工作在影响性能的Write-Through模式。
而PowerStore的NVRAM Drive盘与控制器相对独立,甚至更换一个控制器时也不需要禁用写缓存?如果只是镜像对中的一个NVRAMDrive故障,可以快速热插拔更换。其维护时间比拆控制器 定位故障大为缩短,应该可以有效改善阵列的可用性。
同时,NVRAM写缓存还有另一个效用——作为重删/压缩处理前的缓冲区。PowerStore的压缩有专门的QAT硬件处理,当数据经过重复数据删除和压缩之后,会以2MB条带的方式来写入SSD数据盘。这个涉及到PowerStore OS底层数据结构对闪存的优化。
Optane SSD(SCM)支持、SAS SSD扩展柜
关于SCM(存储级内存),之前PowerMax上已经支持双端口的Intel Optane(傲腾)DC D4800X SSD,如今PowerStore应该也是可以用这款3D XPoint Memory介质的NVMe盘。
扩展阅读:《Intel Optane P4800X评测(1):好钢如何用在刀刃上?》
《SPDK实战、QoS延时验证:Intel Optane P4800X评测(5)》
PowerStore的控制器机箱是全NVMe盘,另外可以Scale-up外接3个25盘位的SAS SSD扩展机箱(如上图),这样总共就是96个驱动器(21*NVMe 75*SAS)。
我认为SAS SSD扩展主要是针对闪存阵列应用中偏容量的需求,因为21个NVMe SSD的性能加上数据服务(总不能快照啥的都没有吧),已经基本上够控制器Xeon CPU和I/O总线忙活了。至于为什么不用PCIeFabric连接更多的NVMe SSD?首先是SAS后端拓扑技术相当成熟了,另外Dell EMC还有高端的全闪存PowerMax,其中8000型号发布时最多支持288个NVMe SSD。
Scale-out和机器学习引擎
EMC的中端存储发展到Unity XT都只有双控,如果要多控就是高端的VMAX和PowerMax,而之前属于Dell存储的SC家族就支持联邦形式的多控。
而今PowerStore除了Scale-up之外,也支持Scale-out横向扩展了。如下图,最多是4个控制机箱8个控制器节点。
PowerStore的Scale-out也被称为高级集群。
PowerStore的Scale-out集群需要用到每个控制器上的2个以太网口,后面我还会讲到这个位置可选25G光口/10G电口网卡。我理解如果组成集群的话,25G的效率应该会好一些。
大家还记得PowerMax支持机器学习引擎的自动分层存储吗?PowerStore把机器学习引擎用在了另一个地方,下面这段文字引用自《Dell EMC PowerStore Data Sheet》文档:
——“PowerStore包含内置的智能功能,可消除大量耗时的任务和决策点。PowerStore的板载机器学习(ML) 引擎通过对单个和群集一体机进行微调,实现了初始卷安置、迁移、负载均衡和问题解决等人工密集型流程的自动化,从而优化了性能并降低了成本,即使您的环境发展变幻莫测也能轻松应对。”
主机接口卡、25GbE/32GbFC热插拔I/O Module
2U机箱的上/下部分,各有一个控制器节点
PowerStore的主机接口分为2部分,一个是上图中的深色区域——不可热插拔的4-Port Card,在25GbE/10GbE光纤或者10G/1GBaseT铜缆网卡中必选一个;另一部分是浅蓝色的(每控制器2个)热插拔IO Module选件。
在Embedded module(拔出前需断电)的一侧,就是每个控制器必选的以太网子卡。
上图列出了热插拔I/Omodule可选的类型,其中通用的是4端口32Gb或16Gb FC光纤通道,而以太网模块只能用于支持NAS文件存储的PowerStore T系列。感觉纯块存储没有提供太多iSCSI接口的数量,理由我想也是充分的——都NVMe全闪了,iSCSI的性能还是算了吧。。
I/O接口模块示例
最适合SSD的宽条带化RAID、性能宣称
PowerStore的RAID保护级别只支持4 1和8 1这两种RAID 5,对于SSD来说是性能和利用率都比较好的选择。
从资料中的上面这段文字,我验证了宽条带化RAID的判断。没有专用的热备盘,当有SSD故障时可触发所有盘进行Rebuild。首先SSD本身性能要比HDD快许多倍,另外只要不超过设计写入寿命(DWPD)固态盘的常规故障率也是明显低于机械盘的。
扩展阅读(一篇老文):《再谈RAID重建:宽条带化分布式热备盘》
《二、从“分布式热备盘”获得启发》
《三、Rebuild速度能超过单盘极限?有没有不足?》
在blocksandfiles.com网站上提到了一些PowerStore的性能数据,但我从官方文档上找到的只有上面的一句话“根据内部测试,IOPS比Unity XT提高了6倍且延迟降低了3倍…”。
Kubernetes和Ansible插件的提供,应该对容器等自动化部署环境有帮助。
管理界面:PowerStore Manager、REST API和Cloud IQ
最后挑3个GUI管理截图给大家看下吧,我就不过多解释了。
我想简单总结下Dell EMC PowerStore的几个新特点,不一定全面:
1、内置VMware HyperVisor(X系列),支持应用虚机一体化;
2、热插拔NVRAM盘 BBU:改进的写缓存设计;
3、NVMe全闪 可扩SAS SSD兼顾性能容量;
4、Scale-up Scale-out灵活扩展;
参考资料
https://www.delltechnologies.com/zh-cn/storage/powerstore-storage-appliance.htm#scroll=off&tab0=4
https://www.dell.com/support/article/zh-cn/sln320639/powerstore-technical-documents-and-videos?lang=en
注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。进一步交流技术,可以加我的QQ/490834312。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)
尊重知识,转载时请保留全文。感谢您的阅读和支持!