动态与公告

产品动态

公告

产品发布记录

产品简介

产品概述

产品优势

产品架构

应用场景

产品功能

基本概念

原生 Kubernetes 名词对照

容器服务高危操作

地域和可用区

开源组件

购买指南

购买指引

购买 TKE 标准集群

购买原生节点

购买超级节点

快速入门

新手指引

快速创建一个标准集群

入门示例

容器应用部署 Check List

集群配置

标准集群概述

集群管理

网络管理

存储管理

节点管理

GPU 资源管理

远程终端

应用配置

工作负载管理

服务和配置管理

组件和应用管理

弹性伸缩

容器登录方式

可观测配置

运维可观测性

成本洞察和优化

调度配置

调度组件概述

资源利用率优化调度

业务优先级保障调度

Qos 感知调度

安全和稳定性

容器服务安全组设置

身份验证和授权

应用安全

多集群管理

计划升级

备份中心

云原生服务指南

云原生 etcd

Prometheus 监控服务

TKE Serverless 集群指南

TKE 注册集群指南

实践教程

集群

Serverless 集群

调度

安全

服务部署

网络

发布

日志

监控

运维

Terraform

DevOps

弹性伸缩

容器化

微服务

成本管理

混合云

故障处理

节点磁盘爆满排障处理

节点高负载排障处理

节点内存碎片化排障处理

集群 DNS 解析异常排障处理

集群 Kube-Proxy 异常排障处理

集群 API Server 网络无法访问排障处理

Service&Ingress 网络无法访问排障处理

Service&Ingress 常见报错和处理

Nginx Ingress 偶现 Connection Refused

CLB Ingress 创建报错排障处理

Pod 网络无法访问排查处理

Pod 状态异常与处理措施

授权腾讯云售后运维排障

CLB 回环问题

API 文档

History

Introduction

API Category

Making API Requests

Elastic Cluster APIs

Resource Reserved Coupon APIs

Cluster APIs

Third-party Node APIs

Relevant APIs for Addon

Network APIs

Node APIs

Node Pool APIs

TKE Edge Cluster APIs

Cloud Native Monitoring APIs

Scaling group APIs

Super Node APIs

Other APIs

Data Types

Error Codes

TKE API 2022-05-01

常见问题

TKE 标准集群

TKE Serverless 集群

运维类

隐患处理

服务类

镜像仓库类

远程终端类

事件类

资源管理类

服务协议

TKE Service Level Agreement

TKE Serverless Service Level Agreement

联系我们

词汇表

安装 CoScheduling 实现批调度

PDF

聚焦模式

字号

最后更新时间： 2024-12-24 15:48:44

背景
针对 AI、大数据等多任务协作场景，对调度有 “All-or-Nothing” 的需求，即所有的任务在同一时间被调度。CoScheduling 是一套开源的方案，在 Kubernetes 集群中将一组 Pod（或称为 PodGroup）同时调度到同一个节点上。本文将介绍如何在 TKE 上安装 CoScheduling 实现批调度。
前提条件
已创建了 TKE 集群。
已安装了 Helm。
已配置了 TKE 集群的 kubeconfig，并具有操作 TKE 集群的权限。详情请参见 连接集群。
使用 Helm 安装
将 CoScheduler 作为第二调度器完成安装
pod 调度时需要指定 schedulerName 为 scheduler-plugins-scheduler。命令示例如下：
$ git clone git@github.com:kubernetes-sigs/scheduler-plugins.git
$ cd scheduler-plugins/manifests/install/charts
$ helm install scheduler-plugins as-a-second-scheduler/ --create-namespace --namespace scheduler-plugins
验证安装成功
执行如下命令，观察 Pod 运行情况。
$ kubectl get deploy -n scheduler-plugins
预期输出：
NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
scheduler-plugins-controller   1/1     1            1           7s
scheduler-plugins-scheduler    1/1     1            1           7s
如何使用
PodGroup
PodGroup 是 CoScheduling 组件自定义资源，用来定义最少需要同时调度的 Pod 数。通过设置标签定义 Pod 属于哪一个 PodGroup。以下是 PodGroup 的 CRD 规范示例：
# PodGroup CRD spec
apiVersion: scheduling.x-k8s.io/v1alpha1
kind: PodGroup
metadata:
  name: nginx
spec:
  scheduleTimeoutSeconds: 10
  minMember: 3
---
# Add a label `scheduling.x-k8s.io/pod-group` to mark the pod belongs to a group
labels:
  scheduling.x-k8s.io/pod-group: nginx
我们将在调度程序中计算正在运行的 pod 和正在等待的 pod（假设但未绑定）的总和，如果总和大于或等于 minMember，则将创建等待 pod。同一 PodGroup 中具有不同优先级的 Pod 可能会导致意外行为，因此需要确保同一 PodGroup 中的 Pod 具有相同的优先级。
示例
假设我们有一个只能容纳3个 nginx pod 的集群。我们创建一个 replicas=6 的 ReplicaSet，并将 minMember 的值设置为3。
apiVersion: scheduling.x-k8s.io/v1alpha1
kind: PodGroup
metadata:
  name: nginx
spec:
  scheduleTimeoutSeconds: 10
  minMember: 3
---
apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 6
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      name: nginx
      labels:
        app: nginx
        scheduling.x-k8s.io/pod-group: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        resources:
          limits:
            cpu: 3000m
            memory: 500Mi
          requests:
            cpu: 3000m
            memory: 500Mi
3个 Pod 将一起被调度，如下：
$ kubectl get pods
NAME          READY   STATUS    RESTARTS   AGE
nginx-4jw2m   0/1     Pending   0          55s
nginx-4mn52   1/1     Running   0          55s
nginx-c9gv8   1/1     Running   0          55s
nginx-frm24   0/1     Pending   0          55s
nginx-hsflk   0/1     Pending   0          55s
nginx-qtj5f   1/1     Running   0          55s
如果此时修改 minMember 为4，因不满足 PodGroup 定义的 minMember 为3的要求，所有的 nginx pod 都处于 pending 状态：
$ kubectl get pods
NAME          READY   STATUS    RESTARTS   AGE
nginx-4vqrk   0/1     Pending   0          3s
nginx-bw9nn   0/1     Pending   0          3s
nginx-gnjsv   0/1     Pending   0          3s
nginx-hqhhz   0/1     Pending   0          3s
nginx-n47r7   0/1     Pending   0          3s
nginx-n7vtq   0/1     Pending   0          3s
﻿

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

tencent cloud

容器服务

安装 CoScheduling 实现批调度

背景

前提条件

使用 Helm 安装

将 CoScheduler 作为第二调度器完成安装

验证安装成功

如何使用

PodGroup

示例

帮助和支持