Meta 如何在超大规模系统中为 Linux 打补丁

linux 热修补| 2023-12-06

弗吉尼亚州里士满–任何有技术背景的人都能为 Linux 服务器打补丁。但是，要在不停机的情况下为成千上万台服务器打上补丁并不容易。

在本月早些时候举行的 Linux 管道工大会（Linux Plumbers Conference）上，Meta Linux 内核工程师布雷诺-雷涛（Breno Leitao）解释了 Facebook 是如何基于其遍布全球的数百万台服务器来完成这项工作的。

雷涛说，如果使用普通技术，向所有机器推出新内核需要 45 天以上的时间。正如他所说，”对主机进行Draining 和 un-draining是很困难的”。

如果是小更新，这样做可能没问题，但如果是安全补丁，这样做就行不通了。

因此，Meta 与 Red Hat 的 Kpatch 一起使用内核实时补丁（KLP）来提供快速补丁。在 KLP 中，你可以在不重启的情况下将最新的安全更新应用到 Linux 内核。这最大限度地延长了系统的正常运行时间和可用性。

实时内核补丁

内核实时补丁以包含修改代码的软件包形式交付，与主内核软件包分开。实时补丁是累积性的，因此最新的补丁包含了之前内核软件包的所有修复。每个内核实时补丁包都与发布时的内核版本相关联。

不过，实时补丁并不适用于所有内容。你无法修补数据或结构。另一个问题是，制作实时补丁通常需要额外的工程工作。正如 Leitao 警告的那样：”这不仅仅是编译实时补丁，然后知道它是安全的并应用它那么简单。这些都是内核模块，一不小心就会出问题。不能保证补丁本身是正确的。

Kpatch 的工作原理是比较原始内核和打补丁的内核，然后使用定制的内核模块将新代码修补到正在运行的内核中。然后，Kpatch 进程会使用 ftrace 监视现有进程的堆栈，查看是否能在不产生任何有害影响的情况下打补丁。

在安全的情况下，它会将正在运行的代码重定向到已打补丁的功能，然后删除现已过时的代码。这样，你的服务器就打好了补丁，也不会出现停机。

当然，实际操作起来并没有那么简单。Leitao 解释说：”在 Meta，当我们应用实时补丁时，通常需要一到两秒才能将补丁应用到主机上。这是对单台主机而言，显然不是对整个服务器机群而言，但对一台主机而言，一到两秒的时间甚至比启动新内核的 Linux 内核机制 kexec 还要快。它不需要任何停机时间或工作负载迁移，你只需应用实时补丁，然后就可以开始了”。