tencent cloud

容器服务

动态与公告
产品动态
公告
产品发布记录
产品简介
产品概述
产品优势
产品架构
应用场景
产品功能
基本概念
原生 Kubernetes 名词对照
容器服务高危操作
地域和可用区
开源组件
购买指南
购买指引
购买 TKE 标准集群
购买原生节点
购买超级节点
快速入门
新手指引
快速创建一个标准集群
入门示例
容器应用部署 Check List
集群配置
标准集群概述
集群管理
网络管理
存储管理
节点管理
GPU 资源管理
远程终端
应用配置
工作负载管理
服务和配置管理
组件和应用管理
弹性伸缩
容器登录方式
可观测配置
运维可观测性
成本洞察和优化
调度配置
调度组件概述
资源利用率优化调度
业务优先级保障调度
Qos 感知调度
安全和稳定性
容器服务安全组设置
身份验证和授权
应用安全
多集群管理
计划升级
备份中心
云原生服务指南
云原生 etcd
Prometheus 监控服务
TKE Serverless 集群指南
TKE 注册集群指南
实践教程
集群
Serverless 集群
调度
安全
服务部署
网络
发布
日志
监控
运维
Terraform
DevOps
弹性伸缩
容器化
微服务
成本管理
混合云
AI
故障处理
节点磁盘爆满排障处理
节点高负载排障处理
节点内存碎片化排障处理
集群 DNS 解析异常排障处理
集群 Kube-Proxy 异常排障处理
集群 API Server 网络无法访问排障处理
Service&Ingress 网络无法访问排障处理
Service&Ingress 常见报错和处理
Nginx Ingress 偶现 Connection Refused
CLB Ingress 创建报错排障处理
Pod 网络无法访问排查处理
Pod 状态异常与处理措施
授权腾讯云售后运维排障
CLB 回环问题
API 文档
History
Introduction
API Category
Making API Requests
Elastic Cluster APIs
Resource Reserved Coupon APIs
Cluster APIs
Third-party Node APIs
Relevant APIs for Addon
Network APIs
Node APIs
Node Pool APIs
TKE Edge Cluster APIs
Cloud Native Monitoring APIs
Scaling group APIs
Super Node APIs
Other APIs
Data Types
Error Codes
TKE API 2022-05-01
常见问题
TKE 标准集群
TKE Serverless 集群
运维类
隐患处理
服务类
镜像仓库类
远程终端类
事件类
资源管理类
服务协议
TKE Service Level Agreement
TKE Serverless Service Level Agreement
联系我们
词汇表
文档容器服务实践教程网络在 TKE 上使用负载均衡直通 Pod

在 TKE 上使用负载均衡直通 Pod

PDF
聚焦模式
字号
最后更新时间： 2024-12-13 19:41:34

概述

Kubernetes 官方提供了 NodePort 类型的 Service，即给所有节点开通一个相同端口用于暴露该 Service。大多云上负载均衡 （Cloud Load Balancer，CLB） 类型 Service 的传统实现也都是基于 NodePort。即 CLB 后端绑定各节点的 NodePort，CLB 接收外界流量，转发到其中一个节点的 NodePort 上，再通过 Kubernetes 内部的负载均衡，使用 iptables 或 ipvs 转发到 Pod。示意图如下：

容器服务 TKE 使用相同的方式实现默认 CLB 类型 Service 与 Ingress，但目前还支持 CLB 直通 Pod 的方式，即 CLB 后端直接绑定 Pod IP + Port，不绑定节点的 NodePort。示意图如下：



实现方式分析

传统 NodePort 方式问题分析

通常会使用 CLB 直接绑定 NodePort 此方式来创建云上 Ingress 或 LB 类型的 Service，但此传统 NodePort 实现方式会存在以下问题：
流量从 CLB 转发到 NodePort 后还需进行 SNAT 再转发到 Pod，造成额外的性能损耗。
如果流量过于集中到某几个 NodePort 时（例如，使用 nodeSelector 部署网关到固定几台节点上），可能导致源端口耗尽或 conntrack 插入冲突。
NodePort 本身也充当负载均衡器，CLB 绑定过多节点 NodePort 时可能导致负载均衡状态过于分散，导致全局负载不均。

CLB 直通 Pod 方式优势

使用 CLB 直通 Pod 的方式不但不会存在传统 NodePort 方式的问题，还具备以下优势：
由于没有 SNAT，获取源 IP 不再需要 externalTrafficPolicy: Local。
实现会话保持更简单，仅需让 CLB 开启会话保持即可，不需要设置 Service 的 sessionAffinity。

操作场景

使用 CLB 直通 Pod 通常有如下场景：
需在四层获取客户端真实源 IP，但不期望使用 externalTrafficPolicy: Local 的方式。
需进一步提升网络性能。
需会话保持更容易。
解决全局连接调度的负载不均。

前提条件

Kubernetes 集群版本需高于1.12。 CLB 直接绑定 Pod 时检查 Pod 是否 Ready，需查看 Pod 是否 Running、是否通过 readinessProbe，及是否通过 CLB 对 Pod 的健康监测，此项依赖于 ReadinessGate 特性，该特性在 Kubernetes 1.12 开始支持。
集群网络模式必须开启 VPC-CNI 弹性网卡模式。可参考 确认是否开启弹性网卡 步骤进行确认。 目前 CLB 直通 Pod 的实现基于弹性网卡，暂不支持普通的网络模式。

操作步骤

确认是否开启弹性网卡

请对应您的实际情况，按照以下步骤进行操作：
若您在创建集群时，“容器网络插件”选择为VPC-CNI，则创建的 Pod 已默认使用了弹性网卡，请跳过此步骤。
若您在创建集群时，“容器网络插件”选择为Global Router后开启了 VPC-CNI 支持。则为两种模式混用，创建的 Pod 默认不使用弹性网卡，需使用 YAML 创建工作负载，为 Pod 指定 tke.cloud.tencent.com/networks: tke-route-eni 该 annotation 来声明使用弹性网卡，并为其中一个容器添加例如 tke.cloud.tencent.com/eni-ip: "1" 的 requests 与 limits。YAML 示例如下：
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx-deployment-eni
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      annotations:
        tke.cloud.tencent.com/networks: tke-route-eni
      labels:
        app: nginx
    spec:
      containers:
        - image: nginx
          name: nginx
          resources:
            requests:
              tke.cloud.tencent.com/eni-ip: "1"
            limits:
              tke.cloud.tencent.com/eni-ip: "1"

创建 Service 时声明直连模式

当使用 CLB 的 Service 暴露服务时，需要声明使用直连模式。步骤如下：

通过控制台创建 Service

如果通过控制台创建 Service，可以勾选“采用负载均衡直连Pod模式”，详情请参见 创建 Service。如下图所示：



通过 YAML 创建 Service

如果通过 YAML 创建 Service，需要为 Service 加上 service.cloud.tencent.com/direct-access: "true" 的 annotation。示例如下：
说明：
如何使用 YAML 创建 Service 请参见 创建 Service。
apiVersion: v1
kind: Service
metadata:
  annotations:
    service.cloud.tencent.com/direct-access: "true"
  labels:
    app: nginx
  name: nginx-service-eni
spec:
  externalTrafficPolicy: Cluster
  ports:
    - name: 80-80-no
      port: 80
      protocol: TCP
      targetPort: 80
  selector:
    app: nginx
  sessionAffinity: None
  type: LoadBalancer

创建 Ingress 时声明直连模式

当使用 Ingress 暴露服务时，同样也需要声明使用直连模式。步骤如下：

通过控制台创建 Ingress

如果通过控制台创建 Ingress，可以勾选“采用负载均衡直连Pod模式”，详情请参见 创建 Ingress。如下图所示：



通过 YAML 创建 Ingress

如果通过 YAML 创建 Ingress，需要为 Ingress 加上 ingress.cloud.tencent.com/direct-access: "true" 的 annotation。示例如下：
说明：
如何使用 YAML 创建 Ingress 请参见 创建 Ingress。
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "true"
    kubernetes.io/ingress.class: qcloud
  name: test-ingress
  namespace: default
spec:
  rules:
    - http:
        paths:
          - backend:
              serviceName: nginx
              servicePort: 80
            path: /

参考资料

TKE 基于弹性网卡直连 Pod 的网络负载均衡
集群开启 VPC-CNI 模式网络
上一篇: TKE 基于弹性网卡直连 Pod 的网络负载均衡下一篇: 在 TKE 中获取客户端真实源 IP

帮助和支持

本页内容是否解决了您的问题？

填写满意度调查问卷，共创更好文档体验。

文档反馈