- 数据资源的管理与调度:云环境下数据与资源协同技术
- 王宁
- 1410字
- 2020-08-28 00:18:12
前言
云计算拓宽了用户可访问资源的范围,构建了一种服务形式弹性、按需获取各类信息资源的架构,成为当前多种信息应用部署和扩展的坚实基础。云计算强化了面向服务计算的理念,其处理的对象被视为来自用户的各类数据,满足用户需求和实现资源利用效率的提高是云计算系统处理和优化管理各类数据的出发点。受到网络环境、资源分布情况、服务形态及模式等因素的影响,数据的优化管理和高效调度问题面临诸多挑战。
在总结云计算中数据管理和优化调度成果的基础上,本书分别从数据的利用效率、各类环境因素的影响和物理节点失效等角度,重点考虑了运营成本最优化的问题,从数据管理和优化调度的角度进行了较深入的探讨,给出了基于热度的数据部署策略、部署节点性能的综合度量方法和应对节点失效的数据修复机制,并通过仿真和实验的方式进行了验证。该成果将有利于云计算服务提供商在保证服务质量的前提下,实现运营成本的优化,具有较大的理论和现实意义。
本书的主要研究工作和创新成果如下。
(1)提出了基于热度的数据块优化存储策略,实现了服务成本最优的数据块部署。针对常采用的对数据进行分块和分布式冗余存储的机制,引入了数据块热度(用户对数据块的兴趣需求)的概念,给出了不同热度数据块应具备的最优冗余存储个数;进一步考虑被用来部署服务数据节点的成本差异,得到了一种满足用户需求的存储数据块的最小服务成本策略;通过引入调整因子,得到可针对不同负载情况的自适应数据块最小服务成本策略。
(2)提出了一种刻画可用节点服务性能的综合度量方法,能实现多指标影响下的数据块优化调度部署。针对数据块的业务特性,从节点成本、负载率、带宽、网络延迟和任务的计算复杂度等角度考虑了备选部署节点的综合效用值,给出一种综合效用评价指标,并在此基础上,得到了服务质量优化的任务调度模型和策略。
(3)给出了一种能够应对节点失效的数据恢复方法,保证在服务总成本最小的情况下数据的高效恢复和使用。为应对云计算系统中的节点失效带来的数据丢失和错误,我们提出了一种基于差异对待的数据重新备份和部署机制,考虑数据块的热度,设计了选择性恢复算法和成本矩阵调整因子,实现了数据的弹性恢复,并在不改变存储数据块最小服务总成本的情况下,提高了用户对内容访问的服务性能。
本书是国家社会科学基金项目“大数据环境下中医医案数据规范与特色保护协同机制研究”(16BGL181)、山东省软科学项目“山东省共享经济下网约车出行安全监测与评估指标体系研究”(2018RKB01340)、山东省科学规划研究项目“行为数据驱动的山东省智慧交通管理模式与策略研究”、山东省高等学校科技计划项目“多模式云服务资源模型与优化调度算法研究”(J18KA386)的研究成果,得到了山东管理学院博士科研启动基金、山东省高等学校中医药数据云服务重点实验室(山东管理学院)、山东管理学院“大数据形态下异常行为检测”特色团队的资助,特此向我的科研团队及山东管理学院的领导表示衷心的感谢。同时,向本书写作过程中所有关心和帮助过我的师长、学长、朋友和家人致以最诚挚的感谢,尤其要向我的博导杨扬教授致以最崇高的谢意和敬意。此外,还要感谢本书中引用文献资料的作者及没有被注释的作者,他们的成果为本书创作提供了具有丰富价值的素材和支撑。最后,感谢电子工业出版社有限公司各位工作人员在本书出版过程中给予的支持与帮助。
受自身研究能力和知识体系的限制,本书虽经反复修改,但疏漏和不足之处仍在所难免,敬请各位专家学者批评指正!
著者
2018年11月