被监控的四种资源#

• cpu
• io
• irq
• memory

PSI 输出结构#

1
some avg10=12.50 avg60=8.23 avg300=5.01
2
full avg10=2.30 avg60=1.10 avg300=0.50

PSI 目录#

• /proc/pressure/cpu
• /proc/pressure/memory
• /proc/pressure/io
• /proc/pressure/irq

memory.high 持续超标 + PSI 高#

如果某个 cgroup：

• memory.high (cgroups 内存软性限制，超过只会被限制和回收资源，不会直接触发 OOM) 被持续超过
• PSI memory pressure 高
• 持续一段时间

它就会选一个进程杀（依据 cgroups oom_score_adj 和实时计算的oom_score）

swap 用尽#

包括

• swap 使用率过高
• 系统接近swap exhaustion

此时会优先杀大内存进程

全局内存压力严重#

如果整机 memory pressure 很高，包括 PSI full超过阈值且 持续一定时间，会随机杀死 某个 service 来尝试解决内存压力。

服务使用的内存超过 memory.max 的情况#

当服务所在 cgroup 的 memory.max 被突破时，触发 OOM 的是内核（kernel），不是 systemd-oomd。

这是故意的设计，因为memory.max是内存硬限制， 必须由内核立即处理，一旦alloc_pages()失败，即刻触发。

[OOM] SECTION OPTIONS#

1. DefaultMemoryPressureLimit

当某个受管控的 cgroup 的 memory PSI 超过 指定的百分比时（比如 60%） 时，进入候选杀名单。这个百分比针对的是PSI some avg10，而不是内存使用率或 free memory 的百分比。

2. DefaultMemoryPressureDurationSec

memory pressure 超过阈值持续一定时长才触发（比如 30s），这是一个抗抖动的机制，通过设定一定的冗余时间，允许进程偶尔超过设定的标准而不被杀死。

3. SwapUsedLimit

如果 swap 使用率超过 指定的百分比（比如 90%），则可以触发 kill。

4. 典型 systemd-oomd 配置

1
[OOM]
2
DefaultMemoryPressureLimit=60%
3
DefaultMemoryPressureDurationSec=30s
4
SwapUsedLimit=90%

如何让指定的服务启动 systemd-oomd#

需要修改服务的 service 文件，增加两个参数：

• ManagedOOMMemoryPressure
• ManagedOOMSwap

都有三种可选值：

比如：

1
[Service]
2
ManagedOOMMemoryPressure=kill
3
ManagedOOMSwap=kill

为整个 slice 启用配置#

例如，要为所有 user.slice 下的服务启用配置

1. 创建 drop-in 目录：/etc/systemd/system/user.slice.d/
2. 创建配置文件：/etc/systemd/system/user.slice.d/oom.conf，写入配置，例如

1
[Slice]
2
ManagedOOMMemoryPressure=kill

3. 重载 systemd 配置 systemctl daemon-reload
4. 确认配置：systemctl show user.slice

创建独立的 slice 并将服务纳入该 slice 以实现资源组控制#

以创建一个 web slice，并为该 slice 下的 nginx 和 node 服务统一设置内存和 cpu 限制

1
[Unit]
2
Description=Web Services Slice
3

4
[Slice]
5
CPUAccounting=yes
6
MemoryAccounting=yes
7
MemoryHigh=2G
8
CPUQuota=100%
9
ManagedOOMMemoryPressure=kill

1
[Service]
2
Slice=web.slice

1
const http = require('http');
2

3
const server = http.createServer((req, res) => {
4
  res.writeHead(200, { 'Content-Type': 'text/plain' });
5
  res.end('Hello World\n');
6
});
7

8
server.listen(8000, () => {
9
  console.log('Server running at http://localhost:8000/');
10
});

1
[Unit]
2
Description=Node.js App on Port 8000
3
After=network.target
4

5
[Service]
6
Slice=web.slice # 在这里显式声明所属的slice
7
Type=simple
8
User=root
9
WorkingDirectory=/opt/node-app
10
ExecStart=/root/.nvm/versions/node/v20.19.0/bin/node /opt/node-app/app.js
11
Restart=on-failure
12
RestartSec=10
13
StandardOutput=journal
14
StandardError=journal
15
Environment=NODE_ENV=testing
16

17
[Install]
18
WantedBy=multi-user.target

1
[root@exp-bridge system]# systemd-cgls -u web.slice  # 直接查看 slice 的完整内容
2
Unit web.slice (/web.slice):
3
├─nginx.service
4
│ ├─1750 nginx: master process /usr/sbin/nginx
5
│ ├─1751 nginx: worker process
6
│ ├─1752 nginx: worker process
7
│ ├─1753 nginx: worker process
8
│ └─1754 nginx: worker process
9
└─node-app.service
10
  └─3103 /root/.nvm/versions/node/v20.19.0/bin/node /opt/node-app/app.js

1
CGroup                                                                  Tasks   %CPU   Memory  Input/s Output/s
2
/web.slice                                                                 12      -    12.8M        -        -
3
/web.slice/nginx.service                                                    5      -     5.8M        -        -
4
/web.slice/node-app.service                                                 7      -     6.9M        -        -