4月29日,信服云研发技术专家Frank．Lee在信服云《Tech Talk · 云技术有话聊》系列直播课上进行了《高业务负载虚拟机热迁移的挑战和优化实践》的分享,详细介绍了原生QEMU在高业务负载虚拟机热迁移场景里面临的挑战、导致高业务负载虚拟机热迁移困难的原因、信服云的优化实践经验分享等内容。以下是他分享的内容摘要,想要了解更多可以关注“深信服科技”公众号回顾本期直播。

一、虚拟机热迁移技术介绍

热迁移是指把虚拟机从一个物理主机(源主机)迁移到另一个物理主机(目的主机),分为:只迁移虚拟机运行位置的同存储热迁移、同时迁移虚拟机运行位置和存储位置的跨存储热迁移。在热迁移过程中,虚拟机业务不会中断,最后的停机迁移阶段,虚拟机会有短暂的停顿,热迁移完成后,虚拟机会在目的主机上继续运行。

随着越来越多的用户将核心业务部署到云平台,用户对业务的停机时间要求越来越高,甚至提出了零停机的能力要求。尤其是在物理主机维护、云平台热升级、云平台调度集群内虚拟机运行位置等场景中,虚拟机热迁移操作的性能影响、迁移结果、资源消耗、迁移时长都会影响云平台的使用体验。

二、挑战和优化实践

挑战1:算法效率低下

原生QEMU热迁移内存数据使用的压缩算法是zlib,它单核的压缩性能低,QEMU压缩线程的CPU消耗高。这些会导致:性能无法满足高负载场景,在带宽受限场景下可能无法热迁移完成,会严重消耗物理主机的CPU资源,导致物理主机其它业务系统性能下降。

信服云提出了QEMU热迁移压缩算法替换为lz4的优化实践方法,这使得速率提升7倍以上,CPU消耗降低80%。

挑战2:脏数据放大

QEMU在迁移磁盘数据时,会通过BITMAP来记录磁盘脏数据块,原生QEMU的磁盘BITMAP对应数据块的粒度大小是1M,假设某个数据块中有4K数据发生修改,BITMAP也会将整个数据块(1M大小)标记为脏,后续就需要迁移这1M的数据,由此带来了磁盘脏数据放大问题。

针对这个挑战,信服云实现了磁盘热迁移BITMAP数据块粒度动态调整机制,将BITMAP数据块粒度做成迁移前动态可配置,BITMAP数据块粒度默认值从1M改为64K。

挑战3:CPU空耗

原生QEMU进行跨存储热迁移,在增量迭代迁移阶段,热迁移流程会遍历磁盘每个数据块,检测其状态是否为脏;在磁盘热迁移进入到增量迭代的最后阶段,如果磁盘数据块总量比较多,而剩余脏数据块量比较少时,热迁移线程的CPU大量消耗在干净数据块的无效遍历。在Oracle场景的实测结果,这里会导致60%以上的CPU额外消耗。

信服云改进了磁盘脏数据块的检索机制, 对磁盘脏数据块维护一个多级检索位图;磁盘热迁移时,对脏数据块的检测方式,由遍历检测改为直接对脏数据块进行多级检索,能够更高效地定位脏数据块位置。最终实现了跨存储热迁移总耗时下降20%,热迁移线程的CPU消耗下降60%。

挑战4:业务性能受影响时间较长

进入到增量迭代迁移阶段后,如果内存脏数据的生成速率大于迁移速率时,迁移就永远无法完成。原生QEMU通过CPU节流策略来解决此问题,原生QEMU热迁移的CPU节流策略较为保守和呆板,在高业务负载场景下,CPU节流持续时间长,导致业务性能持续受到影响。

信服云实现了一套新的CPU节流策略,在热迁移过程中引入直接节流和阶段式节流两种节流方式,替换QEMU默认的节流策略,大幅缩短切换downtime时间,大约在2s内。

挑战5:热点内存的重复无效迁移

现在的业务系统在架构设计方面大多都遵循内存局部性原理,内存局部性原理分为:时间局部性和空间局部性。根据内存局部性原理,虚拟机业务在运行过程中,会存在大量的热点内存,在短时间内被频繁地访问和修改。虚拟机热迁移进入到增量迭代迁移阶段时,热点内存由于频繁修改,在每轮迭代都会变脏而重复迁移。这会导致网络带宽和CPU资源的浪费,以及热迁移时间变长。

信服云实现了一套热点内存脏数据延迟迁移机制——热点内存脏数据延迟迁移机制,减少重复内存数据传输,耗时缩短30%,内存数据量降低35%。

三、优化实践效果总结

同存储热迁移场景

(1)跑满万兆带宽,QEMU压缩线程的CPU消耗减少80%;

(2)热迁移耗时减少30%;

(3)迁移内存总量减少35%;

(4)Oracle虚拟机业务性能受影响时间控制在6s以内。

跨存储热迁移场景

(1)Oracle数据库场景(8K随机写IO模型),磁盘脏数据放大率从93下降到8,大幅降低了磁盘脏数据传输量;

(2)QEMU热迁移线程的CPU开销减少60%;

(3)跨存储热迁移总耗时减少20%;

(4)Oracle虚拟机磁盘迁移能力提升10倍。

实践证明,深信服超融合承载的Oracle业务在迁移过程中性能仅抖动了6s,其中业务中断时间仅1s,上层业务可获得近乎0中断的平滑迁移体验。

以上就是本次直播的主要内容。对云计算感兴趣的IT朋友可以关注“深信服科技”公众号回顾本期直播,了解更多云计算知识。

来源:砍柴网