tencent cloud

容器服务

动态与公告
产品动态
公告
产品发布记录
产品简介
产品概述
产品优势
产品架构
应用场景
产品功能
基本概念
原生 Kubernetes 名词对照
容器服务高危操作
地域和可用区
开源组件
购买指南
购买指引
购买 TKE 标准集群
购买原生节点
购买超级节点
快速入门
新手指引
快速创建一个标准集群
入门示例
容器应用部署 Check List
集群配置
标准集群概述
集群管理
网络管理
存储管理
节点管理
GPU 资源管理
远程终端
应用配置
工作负载管理
服务和配置管理
组件和应用管理
弹性伸缩
容器登录方式
可观测配置
运维可观测性
成本洞察和优化
调度配置
调度组件概述
资源利用率优化调度
业务优先级保障调度
Qos 感知调度
安全和稳定性
容器服务安全组设置
身份验证和授权
应用安全
多集群管理
计划升级
备份中心
云原生服务指南
云原生 etcd
Prometheus 监控服务
TKE Serverless 集群指南
TKE 注册集群指南
实践教程
集群
Serverless 集群
调度
安全
服务部署
网络
发布
日志
监控
运维
Terraform
DevOps
弹性伸缩
容器化
微服务
成本管理
混合云
AI
故障处理
节点磁盘爆满排障处理
节点高负载排障处理
节点内存碎片化排障处理
集群 DNS 解析异常排障处理
集群 Kube-Proxy 异常排障处理
集群 API Server 网络无法访问排障处理
Service&Ingress 网络无法访问排障处理
Service&Ingress 常见报错和处理
Nginx Ingress 偶现 Connection Refused
CLB Ingress 创建报错排障处理
Pod 网络无法访问排查处理
Pod 状态异常与处理措施
授权腾讯云售后运维排障
CLB 回环问题
API 文档
History
Introduction
API Category
Making API Requests
Elastic Cluster APIs
Resource Reserved Coupon APIs
Cluster APIs
Third-party Node APIs
Relevant APIs for Addon
Network APIs
Node APIs
Node Pool APIs
TKE Edge Cluster APIs
Cloud Native Monitoring APIs
Scaling group APIs
Super Node APIs
Other APIs
Data Types
Error Codes
TKE API 2022-05-01
常见问题
TKE 标准集群
TKE Serverless 集群
运维类
隐患处理
服务类
镜像仓库类
远程终端类
事件类
资源管理类
服务协议
TKE Service Level Agreement
TKE Serverless Service Level Agreement
联系我们
词汇表

使用说明

PDF
聚焦模式
字号
最后更新时间: 2024-06-14 16:32:13
本文为您介绍如何基于原生节点开启并启用内存压缩能力。

环境准备

内存压缩功能要求原生节点镜像的内核更新至最新版本(5.4.241-19-0017),可通过以下方式实现:

新增原生节点

1. 登录 容器服务控制台,在左侧导航栏中选择集群
2. 在集群列表中,单击目标集群 ID,进入集群详情页。
3. 节点管理 > Worker 节点中,选择节点池页签,单击新建。
4. 选择原生节点,单击创建。
5. 在新建节点池页面的高级设置中找到 Annotations 字段,并设置 “node.tke.cloud.tencent.com/beta-image = wujing”,如下图所示:



6. 单击创建节点池
说明:
该节点池下新增的原生节点将默认安装最新内核版本(5.4.241-19-0017)的镜像。

存量原生节点

存量原生节点级内核版本可以通过 RPM 包更新实现,您可以 提交工单 与我们联系。

内核版本验证

可通过执行命令 kubectl get nodes -o wide 查看节点的 KERNEL-VERSION 已经为最新内核版本 5.4.241-19-0017.1_plus




安装 QosAgent 组件

1. 登录 容器服务控制台,在左侧导航栏中选择集群
2. 在集群列表中,单击目标集群 ID,进入集群详情页。
3. 选择左侧菜单栏中的组件管理,在组件管理页面单击新建
4. 新建组件管理页面中勾选 QoS Agent,同时在参数配置中勾选内存压缩,如下图所示:



5. 单击确定
6. 新建组件管理页面单击完成即可安装组件。
说明:
QosAgent 组件版本在1.1.5及以上才支持内存压缩能力,若您的集群已经安装过该组件,需要执行如下步骤:
1. 在集群的组件管理页面中,找到部署成功的 QoS Agent,单击右侧的升级。
2. 升级后单击更新配置,勾选内存压缩
3. 单击完成。

选择节点开启压缩开关

为方便灰度验证,QosAgent 不会默认给所有原生节点都打开内存压缩所依赖的内核配置,您还需要通过 NodeQOS 来指定哪些节点可以开启压缩能力。

部署 NodeQOS 对象

1. 部署 NodeQOS 对象。通过 spec.selector.matchLables 指定在哪些节点上开启压缩开关,示例如下:
apiVersion: ensurance.crane.io/v1alpha1
kind: NodeQOS
metadata:
name: compression
spec:
selector:
matchLabels:
compression: enable
memoryCompression:
enable: true
2. 给节点打 lable 将 node 和 NodeQOS 关联。操作步骤如下:
2.1 登录 容器服务控制台,在左侧导航栏中选择集群
2.2 在集群列表中,单击目标集群 ID,进入集群详情页。
2.3 节点管理 > Worker 节点中,选择节点池页签,单击节点池卡片的编辑
2.4 调整节点池配置页面中,修改 lable 并勾选对存量节点应用本次更新,示例中的 lable 为 compression: enable
2.5 单击确定

生效验证

当节点开启内存压缩后,您可以使用以下命令获取节点的 YAML 配置,通过 node 的 annotation 确认内存压缩是否正确开启。示例如下:
kubectl get node <nodename> -o yaml | grep "gocrane.io/memory-compression"
登录节点后依次检查 zram、swap、内核参数,确认内存压缩被正确开启,示例如下:
# 确认zram设备初始化
# zramctl
NAME ALGORITHM DISKSIZE DATA COMPR TOTAL STREAMS MOUNTPOINT
/dev/zram0 lzo-rle 3.6G 4K 74B 12K 2 [SWAP]

# 确认设置到swap
# free -h
total used free shared buff/cache available
Mem: 3.6Gi 441Mi 134Mi 5.0Mi 3.0Gi 2.9Gi
Swap: 3.6Gi 0.0Ki 3.6Gi

# sysctl vm.force_swappiness
vm.force_swappiness = 1

选择业务启用内存压缩

部署 PodQOS 对象

1. 部署 PodQOS 对象。通过 spec.lableSelector.matchLables 指定在哪些 Pod 上启用内存压缩,示例如下:
apiVersion: ensurance.crane.io/v1alpha1
kind: PodQOS
metadata:
name: memorycompression
spec:
labelSelector:
matchLabels:
compression: enable
resourceQOS:
memoryQOS:
memoryCompression:
compressionLevel: 1
enable: true
说明:
compressionLevel 代表压缩等级,取值范围1-4,对应算法 lz4、lzo-rle、lz4hc、zstd,对应压缩率由高到低,性能损失由小增大。
2. 创建工作负载和 PodQOS 中 labelSelector 相匹配,示例如下:
apiVersion: apps/v1
kind: Deployment
metadata:
name: memory-stress
namespace: default
spec:
replicas: 2
selector:
matchLabels:
app: memory-stress
template:
metadata:
labels:
app: memory-stress
compression: enable
spec:
containers:
- command:
- bash
- -c
- "apt update && apt install -yq stress && stress --vm-keep --vm 2 --vm-hang 0"
image: ccr.ccs.tencentyun.com/ccs-dev/ubuntu-base:20.04
name: memory-stress
resources:
limits:
cpu: 500m
memory: 1Gi
requests:
cpu: 100m
memory: 100M
restartPolicy: Always
注意:
Pod 中所有容器必须设置 memory limit。

生效验证

可通过 Pod annotation(gocrane.io/memory-compression)、进程内存使用情况、zram 或 swap 使用情况、cgroup 内存使用情况来确认 Pod 正确开启了内存压缩。
# qos agent 会给开启内存压缩的pod设置annotation
kubectl get pods -l app=memory-stress -o jsonpath="{.items[0].metadata.annotations.gocrane\\.io\\/memory-compression}"

# zramctl
NAME ALGORITHM DISKSIZE DATA COMPR TOTAL STREAMS MOUNTPOINT
/dev/zram0 lzo-rle 3.6G 163M 913.9K 1.5M 2 [SWAP]

# free -h
total used free shared buff/cache available
Mem: 3.6Gi 1.4Gi 562Mi 5.0Mi 1.7Gi 1.9Gi
Swap: 3.6Gi 163Mi 3.4Gi

# 查看 cgroup (一般为/sys/fs/cgroup/memory/路径下)中的 memory.zram.{raw_in_bytes,usage_in_bytes} 可以看到pod有多少内存进行了压缩、压缩后内存大小,计算差值即为节约内存
cat memory.zram.{raw_in_bytes,usage_in_bytes}
170659840
934001

# 计算差值即为节约内存大小,例子中节约了170Mi内存
cat memory.zram.{raw_in_bytes,usage_in_bytes} | awk 'NR==1{raw=$1} NR==2{compressed=$2} END{ print raw - compress }'
170659840


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈