散布式存储架构开展及技术剖析

从云和互联网的业务场景来看，其存储域关键驳回基于主机部署散布式存储服务的融合形式，它面临如下应战 ：

1．数据保留周期与主机降级周期不婚配。大数据、人工默认等新兴业务催生出海量数据，少量数据需依照其生命周期战略（例如8~10年）启动保留。

2．性能牢靠与资源应用率难以兼得。撑持业务的散布式存储系统大抵可以分为性能型存储和容量型存储，它们均无法同时成功高性能牢靠与高资源应用率。详细地，性能型存储关键运转数据库、虚构化等关键业务，通常驳回三正本或两正本并配合独立冗余磁盘阵列卡形式 ；这类打算虽统筹了性能和牢靠性，但其大概30%的空间应用率却是对存储资源的极大糜费。

容量型系统为了优化空间应用率，驳回纠删码（Erasure Code，EC）形式，但是，EC计算环节中的读写、重构等会消耗少量网络资源，造成系统重构效率低下、重构时期长，给系统牢靠性带来危险（如图1所示）。

3．新型散布式运行的极简高效共享存储诉求。

以无主机（serverless）运行为代表的新型散布式运行在近些年涌现，这类运行从有形态化向有形态化裁减，比如数据库、信息总线等组件纷繁容器化，数据共享访问的诉求始终增多。与此同时，人工默认和机器学习等运行须要少量异构算力协同，甚至发生共享内存访问的诉求，它们关注高带宽、低时延的访问才干，仅须要轻量、方便的共享存储系统即可，不须要搭载具有复杂企业个性的传统存储。

4．数据中心税造成数据密集型运行效率低下。

面向数据密集型场景，在基于以CPU为中心的主机架构下，运行为失掉数据所交纳的“数据中心税”（datacenter tax）日益减轻。例如，主机内的CPU为处置网络及存储IO恳求，须要消耗高达30%的算力[3]；此外，因为通用CPU并不长于数据处置运算，造成其能效比低下。

传统存算分别架构将算力资源和存储资源（机械硬盘、固态硬盘等）分别至彼此独立的计算域和存储域，并经过以太网或公用存储网络（例如光纤通道）将二者互连，成功了存储资源的灵敏裁减和高效共享（如图2左侧所示）；该架构关键为复杂的传统企业个性设计，难以应答上述应战，为了让云和互联网存储域服务统筹资源应用率、牢靠性、性能、效率等泛滥诉求，亟须基于新型软配件技术构建新型存算分别架构。

一、配件技术趋向

面对数据中心在容量应用率、存力效率等方面的应战，近年来，公用数据处置器、新型网络等技术极速开展，为数据中心基础设备的重构提供了技术基础。

首先，为取代主机本地盘，很多厂商推出以太网闪存簇（Ethernet Bunch of Flash，EBOF）高性能盘框（例如，近期陆续颁布的西数OpenFlex、Vast>其次，业界涌现出越来越多的数据处置单元（Data Processing Unit，DPU）和基础设备处置单元（Infrastructure Processing Unit，IPU）公用芯片，在数据流处置门路上取代通用途理器，优化算力能效比。同时，基于可编程交流机的网存协同也是钻研热点，例如在网数据缓存的NetCache、KV-Direct，在网数据协调的NetLock、SwitchTx，在网数据聚合的SwitchML、NetEC，在网数据调度的FLAIR、AlNiCo等。

最后，数据访问网络规范也在继续增强，比如CXL协定新版本增强了内存池化方向的技术个性，同时排汇了Gen-Z（由AMD、ARM、HPE等公司动员定义的面向内存语义的技术）、OpenCAP（Open Coherent Accelerator Processor Interface，最早由IBM提出的异构计算接口）等技术的成绩，正逐渐成为业界干流高速互联规范。NVMe 2.0也在向着语义一致、Fabric一致和介质一致方向演进。

这些新型存储、计算和网络配件为构建面向云和互联网场景的新型存算分别架构带来了诸多机会，譬如经常使用DPU等公用芯片能够冲破传统以CPU为中心的主机架构，由此优化数据密集型运行的效率。

二、新型存算分别架构的特色

随着远程间接内存访问（Remote Direct MemoryAccess，RDMA）、CXL、可编程网络设备、高性能NVMe SSD、耐久性内存等新型配件技术的开展，须要构建新型存算分别架构，以确保云和互联网存储域服务能够统筹资源应用率、牢靠性、性能、效率等泛滥诉求。相较于传统架构，新型存算分别架构最为清楚的区别在于 ：

（1）更为彻底的存算解耦，该架构不再局限于将CPU和外存解耦，而是彻底冲破各类存算配件资源的边界，将其组建为彼此独立的配件资源池（例如处置器池、内存池、机械硬盘（HDD）/固态硬盘（SSD）池等），从真正意义上成功各类配件的独立裁减及灵敏共享 ；

（2）更为细粒度的处置分工，即冲破了传统以通用CPU为中心的处置逻辑，使数据处置、聚合等原本CPU不长于的义务被公用减速器、DPU等代替，从全局角度成功配件资源的最优组合，进而提供极致的能效比。

总结来说，新型存算分别架构具有如下特色 ：

1．无盘化的主机。新型存算分别架构将主机本地盘拉远构成无盘化（diskless）主机和远端存储池，同时还经过远程内存池裁减本地内存，成功了真正意义上的存算解耦，可极大优化存储资源应用率。业务经常使用时，可依据运行需求选用性能不异性能、容量的虚构盘及池化内存空间，这样一方面可以防止因为不同主机本地存储空间应用率过低造成超配形成的糜费 ；另一方面，当主机出现缺点或许降级换代时，也不影响数据的保留，不须要额外的数据迁徙。

2．多样化的网络协定。衔接计算和存储间的网络协定从的IP或光纤通道（Fibre Channel，FC）协定裁减到CXL+NoF+IP协定组合。CXL协定使得网络时延降落到亚微秒级别，有助于内存型介质的池化 ；NoF协定减速SSD池化 ；IP协定可满足HDD等慢速介质访问诉求。经过这几类协定组合构建的高通量网络，满足了多种场景池化接入诉求。

3．公用化的数据处置器。数据存储、访问等操作不再由通用途理器担任，而是卸载到公用数据处置器。此外，特定的数据操作可由公用配件减速器进后退一步减速，如纠删码、加密紧缩、网络通讯等。经过公用数据处置器，可以监禁通用途理器算力，用于服务更适宜的场景，清楚优化系统全体能效比。

4．极高存力密度的存储系统。分别式存储系统（disaggregate storage）是新型架构的关键组件，作为耐久化数据的底座，在存储介质的粗放化治理基础上，联合芯片、介质的深度协同设计，整合系统、盘两级的空间治理，经过大比例纠删码算法缩小冗余资源开支比例。此外，还可经过基于芯片减速的场景化数据缩减技术提供更多的数据可用空间。

三、面向云和互联网场景的存算分别架构

新型存算分别架构意在处置前文所提的架构面临的几大痛点应战，经过将原有架构的多级分层资源启动彻底解耦池化和重组整合，构成新的三大简化分层 ：存储模组、总线网络和算力模组，从而提供主机本地存储拉远池化、新型网络灵敏组装、以数据为中心的多元处置、高容量极简盘框等几大新兴才干。

1、存储模组

面向云和互联网数据中心，须要以更专业的存储才干从新定义云和互联网的存储架构。新型存算分别架构中，存储型模组关键以EBOF、以太网内存簇（Ethernet Bunch of Memory，EBOM）、以太网磁盘簇（Ethernet Bunch of Disk，EBOD）等新型盘框外形存在，RAID/EC/紧缩等传统存储才干下沉到新型盘框中，构成“盘即存储”的大盘技术，对外经过NoF等高速共享网络提供块、文件等规范存储服务。这一类新型盘框将传统磁盘阵列的冗余池化技术和数据缩减技术启动了高度粗放化和小型化。

云和互联网的多样业务关键分为三种典型的运行场景（如图3所示）。第一种场景是针对虚构化业务，间接将数据中心存储域主机的本地盘拉远，对散布式开源存储集群的物理硬盘层构成代替。第二种场景是为数据库、大数据服务等须要极热数据处置的业务提供大内存、键-值（Key-Value，KV）接口，减速数据处置效率 ；第三种场景是针对容器等新业务场景，为Ceph、Lustre等散布式运行间接提供文件语义，卸载本地数据规划，并允许将温热数据分级到更冷的EBOD等机械硬盘或磁带型存储模组中，优化整系统资源经常使用效率。

2、算力模组

，摩尔定律演进变缓，只要驳回公用途理器才干进一步以异构形式施展出下一阶段的算力。引入公用途理器后，算力池化是肯定选用 ；否则，假设为每台主机性能异构算力卡，不只使零件功耗渺小，还会造成资源应用率十分低下。

以DPU为代表的专业数据处置用具有老本更低、功耗更低、即插即用、即换即用等共同长处，并且在运转形态下不与业务运行出现资源争抢，保证用户业务反常运转的同时也保证了基础设备的服务品质。

3、高通量数据总线

存算分别架构中，网络技术十分关键，它选择了系统的照应速度以及吞吐才干，也选择了系统资源池化的才干范围。过去10年，万兆IP网络促使HDD池化，基于IP网络开展了允许块、文件、对象共享的访问协定。，面向热数据处置，NVMe/RoCE（RDMA over Converged Ethernet,RDMA融合以太网 ） 促 使SSD池 化 ；并 且，NVMe协定极速开展使其开局收编烟囱式协定规范。下一步，面向极热数据处置，内存型网络（例如CXL Fabric）将促使内存资源池化，为业务提供更大的共享内存空间（如图4所示）。