job,顾名思义就是任务,job的概念在很多框架中都有,而且实际业务场景中也使用非常广泛,比如大家熟悉的hadoop,客户端可以向集群提交一个job,然后集群根据一定的调度策略来处理这个job;
k8s中的job,主要用于批量处理的业务场景,比如像那种短暂的一次性任务(每个任务仅运行一次就结束);
job与pod的关系如下图
如下为job的一个模板配置yaml文件中的部分核心配置参数
apiVersion: batch/v1 # 版本号 kind: Job # 类型 metadata: # 元数据 name: # rs名称 namespace: # 命名空间 labels: controller: job spec: completions: 6 # 指定job需要成功运行Pods的次数。默认值: 1 parallelism: 3 # 指定job在任一时刻应该并发运行Pods的数量。默认值: 1 ttlSecondsAfterFinished: 5 activeDeadlineSeconds: 30 # 指定job可运行的时间期限,超过时间还未结束,系统将会尝试进行终止。 backoffLimit: 5 # 指定job失败后进行重试的次数。默认是6 manualSelector: true # 是否可以使用selector选择器选择pod,默认是false selector: # 选择器,通过它指定该控制器管理哪些pod matchLabels: # Labels匹配规则 app: counter-pod matchExpressions: # Expressions匹配规则 - {key: app, operator: In, values: [counter-pod]} template: # 模板,当副本数量不足时,会根据下面的模板创建pod副本 metadata: labels: app: counter-pod spec: restartPolicy: Never # 重启策略只能设置为Never或者OnFailure containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]
可以参照各个参数的备注加以理解,下面对其中部分参数做补充说明;
并行运行的Pod的个数,默认值为1,假如设置为3,就会同时开启3个pod去执行任务
在当前目录下创建一个jod-pod.yaml文件,配置如下内容
apiVersion: batch/v1 kind: Job metadata: name: test-job namespace: default spec: manualSelector: true selector: matchLabels: app: counter-pod template: metadata: labels: app: counter-pod spec: restartPolicy: Never containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]
使用apply创建pod
在另外的两个窗口,我们提前打开监控pod和job的执行情况,可以看到下面的完整执行过程;
从job的执行过程来看,经历了从无到有以及到最终的STATUS状态为Completed的过程,这个也和上文提到的job的生命周期描述吻合;
对于Pod的执行过程来看,从下面这张图可以清晰看到STATUS的各个阶段变化的完整过程;
其他的模板中的参数可以直接往里面添加即可在job运行过程中看到效果,比如我们在该模板文件中补充两个参数;
再次运行这个job,通过job和pod的监控信息,看到如下的效果;
CronJob
其实就是在Job
的基础上加上了时间调度,我们可以:在给定的时间点运行一个任务,也可以周期性地在给定时间点运行。这个实际上和我们Linux
中的crontab
就非常类似了。
CronJob控制器以 Job控制器资源为其管控对象,并借助它管理pod资源对象,Job控制器定义的作业任务在其控制器资源创建之后便会立即执行,但CronJob可以以类似于Linux操作系统的周期性任务作业计划的方式控制其运行时间点及重复运行的方式。也就是说,CronJob可以在特定的时间点(反复的)去运行job任务。
cronjob 运行原理图
如下为cronjob模板配置文件中核心参数;
apiVersion: batch/v1beta1 # 版本号 kind: CronJob # 类型 metadata: # 元数据 name: # rs名称 namespace: # 命名空间 labels: #标签 controller: cronjob spec: # 详情描述 schedule: # cron格式的作业调度运行时间点,用于控制任务在什么时间执行 concurrencyPolicy: # 并发执行策略,用于定义前一次作业运行尚未完成时是否以及如何运行后一次的作业 failedJobHistoryLimit: # 为失败的任务执行保留的历史记录数,默认为1 successfulJobHistoryLimit: # 为成功的任务执行保留的历史记录数,默认为3 startingDeadlineSeconds: # 启动作业错误的超时时长 jobTemplate: # job控制器模板,用于为cronjob控制器生成job对象;下面其实就是job的定义 metadata: spec: completions: 1 parallelism: 1 activeDeadlineSeconds: 30 backoffLimit: 6 manualSelector: true selector: matchLabels: app: counter-pod matchExpressions: 规则 - {key: app, operator: In, values: [counter-pod]} template: metadata: labels: app: counter-pod spec: restartPolicy: Never containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]
关于配置文件中的补充参数说明
concurrencyPolicy
concurrencyPolicy 配置策略
Cron调度语法
注意K8S的定时任务仅支持5位,从minute开始
# ┌───────────── minute (0 - 59)
# │ ┌───────────── hour (0 - 23)
# │ │ ┌───────────── day of the month (1 - 31)
# │ │ │ ┌───────────── month (1 - 12)
# │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
# │ │ │ │ │ 7 is also Sunday on some systems)
# │ │ │ │ │
# │ │ │ │ │
#* * * * *
在当前目录创建一个cron-job.yaml的配置文件,配置内容如下:
apiVersion: batch/v1beta1 kind: CronJob metadata: name: test-cronjob namespace: default labels: controller: cronjob spec: schedule: "*/1 * * * *" jobTemplate: metadata: spec: template: spec: restartPolicy: Never containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]
使用apply(或create命令)创建cronjob
通过开启其他客户端窗口,可以监控cronjob,job以及pod的运行过程中的状态;
上面的配置策略是每分钟执行,从下图的运行效果中也可以看出来;
Cron 作业对于创建周期性和重复性任务很有用,例如运行备份或发送电子邮件。Cron 作业还可以将单个任务安排在特定时间,例如,你想将作业安排在业务低峰期执行。