专题-中国计算机学会_188体育app官网

您的位置: 首页 > 出版物 > 中国计算机学会通讯 > 2017年第3期 > 分篇 > 专题

软件定义的云际存储

阅读量：748

沃天宇,杨任宇,王媛冬

收藏本文

PDF在线浏览下载本文

引言

云计算在过去几年已成为促进互联网新兴行业创新发展的重要支撑。随着“互联网+”概念和战略的深化，互联网技术和概念与各个传统行业出现了更为深入的融合，通过互联网平台，互联网技术已经创造出更多更大的生态链^[1]。然而，单一云平台难以满足云应用要求的全时全域的优质服务需求和灵活多样的个性化定制需求。

以云服务实体之间开放协作为基础，通过多方云资源深度融合进行多云之间互联的云际计算将成为新一代云计算模式。由于数据的高效存储在大数据处理、大规模数据服务支撑中会起到至关重要的作用，云际存储将作为云际计算的重要组成部分。为实现广域网环境下多云之间协作的云际服务，软件定义的方法可以将一体化的应用设计细粒度拆分，通过硬件虚拟化为上层软件层提供应用编程接口(API)，软件层则可以实现灵活高效的管理与控制^[2]。软件定义的存储能够创建跨地理分布式的存储资源池，将云中所有物理存储设备转化为统一、虚拟、共享的存储资源池中的基本单元，同时，将存储的控制与管理从物理设备中抽象与分离，形成硬件与上层应用之间的软件层。利用云际计算中云际互联的资源能够提供更为安全可靠的系统服务，提高全局的能效优化、降低运营成本；在不同的云提供商上部署应用，可以减少单一数据中心中相关性故障(correlated failure)的发生概率；通过软件定义的策略制定、配置的自适应适配，能够最大限度地减少存储服务的请求延迟，避免短时请求波动与蜂拥及其他网络不确定性对服务质量造成的负面影响。

应用场景与挑战

为了更好地理解软件定义的云际存储的功能技术细节，我们首先讨论一些典型的云际存储应用场景，进而总结云际存储的需求与挑战。

典型案例分析

用户透明的多云盘协作　无论何时、身在何处、使用哪种终端设备（个人电脑、平板电脑、智能手机）、使用哪种云存储服务(Dropbox, Google Drive, Microsoft OneDrive)，都能为用户提供数据获取和共享功能，这就是多云盘协作。云存储服务支持多种数据的存储，包括文件、图片、音乐、视频等，均能在用户的各个设备之间在线同步，并且能够与他人分享。然而，云存储服务聚合场景中面临着访问接口异构、存储特征异构、地理分布、数据强一致性等方面的挑战，对容量聚合、突发需求变化、访问性能优化、服务可用性等方面也有着迫切需求。

车联网系统中多源数据融合与溯源　如今，通过车联网手机客户端约车已成常事。智能交通出行规划、位置数据、传感器数据、车辆数据以及诸多海量多源数据都需要高效存储与共享。对这些数据的挖掘和分析，对于交通流量管理、出租车调度等起着至关重要的作用。尤其对不同特定云的不同数据源加以融合能够更好地满足以上需求。例如，交通云（包含准确的路网信息）和气象云（包含大量的气象预报信息）能够丰富出行规划的设计，提供更精确智能的行程预测。

医疗健康系统　电子健康档案(Electronic Health Records, EHRs)^[3]是由多个不同种类的医疗机构经过长期积累逐步建立起来的。这些医疗机构要求实时掌握病人的健康信息，在必要时对病人以往的健康信息（如病历、检测结果等）进行综合分析，以做出最好的病情判断。因此，云际存储在该场景中面临着数据分布广、数据共享的高效对等、隐私保护等挑战，对数据共享的认证、激励与授权、数据的同步和一致性等方面的需求尤其紧迫。

需求与挑战

弹性的存储容量与存储性能　通过利用分散在不同云服务提供者的资源，存储服务需要在不同的条件和需求下，实现全局的一致性、服务可用性的平衡。根据分布式系统的CAP理论^1[4]，云际场景由于网络阻塞、硬件故障等造成的网络延迟丢包现象普遍存在，系统往往无法在时限内达成数据一致性（即发生了分区），因此系统必须在一致性与可用性之间做出权衡。此外，当出现新增加的存储资源时，能及时进行数据重新划分，实现负载均衡和存储服务的扩容。事实上，适合数据密集型应用的数据的存储位置和数据请求的源节点通常都是跨地理分布的，不恰当的数据分布会加剧数据访问服务性能的下降，尤其是在一个特定的事务中包含多个数据操作的情况下^[5]。因此，云际管理者或数据密集型应用必须在云际资源上有效地放置数据及其副本，以保证能够灵活地提供弹性扩展能力，解决工作负载的突增和请求高峰问题。

可定制的服务质量保障　在软件定义的云际计算环境下，云服务消费者能够根据需求进行预先定义。在设计并实现一个云际存储框架时，必须全面地考虑云服务消费者预期的服务质量(QoS)指标（诸如响应时间、吞吐量、可靠性、可用性、能效等）。多个云环境的不确定性与服务性能的差异也将显著影响存储资源聚合的总体效率和可靠的数据访问服务。具体而言，在不同区域、不同时间段，每个存储节点可能存在不同的数据传输条件和模式（例如请求响应延迟、数据传输速率、最小带宽保障、能源消耗等）。我们在不同的地理位置部署了相同的客户端来调用同一数据中心的某项服务，如图1所示，请求的延迟随地理位置的不同产生了显著差异。因而，如何对不确定性进行建模与控制，如何处理请求响应性能的波动性，减少长尾延迟(tail latency)^[6]是云际存储需要解决的一大难题。

图1　同一服务来自不同位置的调用的响应延迟

安全性与可审计性　对象的易损性会受到很多因素的影响，云际环境中尤其如此。因此，数据加密、隐私保护等是加强网络安全、防止外部攻击的迫切需要。此外，如何准确有效地衡量和评估安全风险对提供一个全面的安全和风险评估模型至关重要。可审计性则是云际计算中另外一个极为重要的方面，通过跨云际的广域分布式存储，实现多源数据融合、溯源、查询等，以满足完备性与可靠性保障的审计监管的功能需求，可为云际服务的分布式记账提供数据支持。

系统容错性与高可用性　长期以来，系统容错问题一直是大规模分布式系统研究的重要课题。由于云际存储环境中不同的跨域网络条件和管理域的不确定性，容错与高可用保障技术的实现方法与机制将会变得更加复杂。当前容错的高可用性方法，例如恢复块(recovery blocks) ^[1]、N-Version编程(NVP)^[6]、检查点和回滚(checkpointing and rolling-back) ^[7]、系统软状态恢复(soft-state recovery) ^[8]等手段由于运营成本高、资源消耗大、冗余开销多、系统恢复时间不确定等原因，无法直接应用于云际存储的故障处理与高可用保障机制中。冗余磁盘阵列则由于其可靠性低、数据自恢复能力弱以及对上层应用不透明而无法用于当前环境。由于重要的软件和硬件故障繁多，故障组合千变万化，如何提供不间断的可靠服务，同时降低运营成本仍然是一大难题。

云际存储的软件定义方法

软件定义方法

软件定义的基本方法将一体化、单体式应用设计进行细粒度拆分，通过硬件虚拟化为上层软件层提供应用编程接口，再在软件层对整个硬件系统进行更为灵活的管理，实现高效灵活的智能化管控。软件定义的方法实现了软件管理与硬件实现的解耦合，以及策略与机制相分离。具体而言，机制是指有机体的构造、功能及其相互关系（运行时相对不可变）；策略则指可以实现目标的方案集合（运行时可以设计）。软件定义的方法能够在虚拟化抽象的基础上，实现软件层控制与硬件的实现机制相分离，通过这种软件定义手段，能够提高策略空间设计实现的灵活性，组合硬件存储不同粒度的资源抽象；而云存储底层的存储虚拟化则无须考虑上层的设计，只须提供对应的应用编程接口，可简化软件开发流程和上层应用的实现难度。具体而言：

资源聚合度与管控细粒度化　软件定义可以实现对传统资源（诸如网络、存储等）更灵活的管理，系统的可控可管性将更细粒度化与灵活化，提供给上层应用的资源也变得更加多样、异构。

应用一体化与服务化　应用与计算框架个性化需求日益增加，为了实现对应用的透明，系统在执行层面需要对上层应用的资源需求、约束条件、定制化的偏好等属性进行准确细致的描述。因此，软件定义系统既要能够管理与调度大规模的网络化资源（计算、存储、网络、平台），同时也要支撑这些应用与框架，同时以服务化、可编程的形式提供服务。

多源的信息、数据高度融合化　软件定义使得传统云计算中基础设施的各种软硬件资源能够通过统一的虚拟化软件层加以管理，与传统的资源管理系统相比，软件定义的云计算系统可以获得更多细粒度的信息与运行数据，例如应用层特征信息和系统层特征信息等。这些多源信息有助于对负载行为、系统的运行状态进行判别与预测。利用数据挖掘与机器学习方法可以使得资源的管控更智能，为调度决策提供更精确的信息，同时也能实现前瞻性的故障防控诊断、集群自动可扩展伸缩等。

软件定义的云际存储

相比于传统的云存储，云服务提供者之间无论在设备结构、硬件组成方面，还是在平台可用性、可靠性、能耗、隐私性、应用适配性、价格等多属性方面所存在的异构性将进一步加大，这种差异可以通过软件定义的软硬件解耦合的手段进行屏蔽，为上层存储资源的聚合与统一调度的平台提供技术支持。

通过软件定义的云际存储架构与设计，用户能够根据应用策略来配置、组合和使用存储服务，并将它们部署在一系列云际环境中的多种硬件资源上。

在服务质量控制方面，相关的数据访问和存储服务将从硬件资源池中分离出来，形成统一软件控制层。该控制层可以根据服务等级协议(Service-Level Agreement, SLA)以及消费者需求，灵活组合已有的存储资源提供存储服务，通过冗余的组件单元、数据副本来控制并降低网络服务质量不确定性所带来的影响。

在互操作性方面，软件定义的控制器将起到决定性作用，它能够通过统一的消息通信协议和消息总线对异构的接口加以整合，来消除云际间数据传输、迁移、共享中的各种障碍，使得异构的接口与协议的组件能够灵活地进行适配。

在弹性容量与可靠性方面，云服务消费者可根据上层应用动态的需求，通过软件控制层动态调整资源与配置。例如，当负载波动出现激增时灵活扩容，或根据实时价格动态调整服务水平，为高风险组件增加备份数量、提高检查点频率，保证服务性能与云服务消费者的服务质量，对系统可靠性、安全性进行统一管控。

云际存储中的关键问题

为实现广域网环境下多云之间协作的存储服务，首先我们需要创建跨地理分布式的存储资源池，将云中所有物理存储设备转化为统一、虚拟、共享的存储资源池中的基本单元。其次，把存储的控制与管理从物理设备中抽象与分离，将其纳入统一的集中化管理中，形成硬件与上层应用之间的软件层。

图2　云际存储的软件定义架构

如图2所示，我们按照软件定义的思想对系统进行了平面化设计，存储资源经过虚拟化实现了统一的资源抽象；通过控制平面与数据平面解耦合，实现了管控与运行的分离；同时辅以信息平面提供智能的数据挖掘与分析能力，提高了软件定义的云际存储的服务质量，进而为应用平面的应用部署与运行提供了强有力的支持。与此同时，由于数据是一种特殊的存储物质，我们将把数据设备从存储设备中独立出来，使得跨存储设备的数据服务成为可能。数据即服务(Data as a Service, DaaS) ^[9]将为云际计算的其他模块（例如云际资源管理与任务调度、云际网络管理等）提供更为便捷、高效的基础设施。

云际存储的可表达：抽象与需求

存储资源抽象与需求模型　为了实现应用对云际资源需求的精确评估，进而高效地利用云际间的资源，提高资源共享效率，特别是针�

188体育app官网_188体育投注

软件定义的云际存储