一、概述

helm 是 Kubernetes 生态系统中的一个软件包管理工具，类似 ubuntu 的 apt ,centos 的 yum 或 python 的 pip 一样，专门负责管理 Kubernetes 应用资源；使用 helm 可以对 Kubernetes 应用进行统一打包、分发、安装、升级以及回退等操作。

截屏2022-08-13 07.41.21

1.1. 为什么需要 Helm？

K8S上的应用对象，都是由特定的资源描述组成，包括deployment、service等。如果应用只由一个或几个服务组成，通过 kubectl apply -f 部署方式足够了～。
对于一个复杂的应用，会有很多资源描述文件，例如微服务架构应用，组成应用的服务可能多达十个，几十个。如果有更新或回滚应用的需求，可能要修改和维护所涉及的大量资源文件，而这种组织和等理应用的方式就显得力不从心了。且由于缺少对发布过的应用版本管理和控制，使Kubernetes上的应用维护和更新等面临诸多的挑战，主要面临以下问题：

  1. 如何将这些服务作为一个整体管理
  2. 这些资源文件如何高效复用
  3. 不支持应用级别的版本管理

1.2. 重要概念

Helm是一个Kubernetes的包管理工具，就像Linux下的包管理器，如yum/apt等，可以很方便的将之前打包好的yaml文件部署到kubernetes上。

  • helm

    一个命令行客户端工具，主要用于Kubermetes应用chart的创建、打包、发布和管理。

  • chart

    应用描述，一系列用于描述 k8s 资源相关文件的集合。

  • Release

    基于 chart 的部署实体，一个 chart 被 Helm 运行后将会生成对应的一个 release：将在 k8s 中创建出真实运行的资源对象。

1.3. 部署

1.3.1. Helm 客户端下载

Helm客户端下载地址：https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

1
2
3
$ wget https://get.helm.sh/helm-v3.0.0-linux-amd64.tar.gz
$ tar zxvf helm-v3.0.0-linux-amd64.tar.gz 
$ mv linux-amd64/helm /usr/bin/

1.3.2. 配置国内Chart仓库

添加存储库：

1
2
3
$ helm repo add stable http://mirror.azure.cn/kubernetes/charts
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts 
$ helm repo update

查看配置的存储库：

1
2
$ helm repo list
$ helm search repo stable

删除存储库：

1
$ helm repo remove aliyun

二、Helm 入门

2.1. 使用 chart 部署应用

查找chart：

1
2
$ helm search repo
$ helm search repo mysql

查看chart信息：

1
$ helm show chart stable/mysql

安装包：

1
$ helm install db stable/mysql

查看发布状态：

1
$ helm status db

上面部署的 mysql 并没有成功，这是因为并不是所有的 chart 都能按照默认配置运行成功，可能会需要一些环境依赖，例如PV。所以我们有时需要自定义chart 配置选项，安装过程中有两种方法可以传递配置数据：

  • –values（或-f）：指定带有覆盖的YAML文件。这可以多次指定，最右边的文件优先
  • –set：在命令行上指定替代。如果两者都用，–set优先级高

– value 使用，先将修改的变量写到一个文件中

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ helm show values stable/mysql
$ cat config.yaml 
persistence:
  enabled: true
  storageClass: "managed-nfs-storage"
  accessMode: ReadWriteOnce
  size: 8Gi
mysqlUser: "k8s"
mysqlPassword: "123456"
mysqlDatabase: "k8s"
$ helm install db -f config.yaml stable/mysql
$ kubectl get pods
NAME                                      READY   STATUS    RESTARTS   AGE
db-mysql-57485b68dc-4xjhv                 1/1     Running   0          8m51s

以上将创建具有名称的默认MySQL用户k8s，并授予此用户访问新创建的k8s数据库的权限，但将接受该图表的所有其余默认值。

命令行替代变量：

1
$ helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql

也可以把chart包下载下来查看详情：

1
$ helm pull stable/mysql --untar

该helm install命令可以从多个来源安装：

2.2. 构建 chart

除了下载已有的应用，还可以通过 helm create 构建自己的应用

2.2.1. chart 目录结构

1
2
3
4
5
6
7
8
9
10
11
12
13
$ helm create mychart
Creating mychart
$ tree mychart/
mychart/
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── ingress.yaml
│   ├── NOTES.txt
│   └── service.yaml
└── values.yaml
  • Chart.yaml：用于描述这个 Chart的基本信息，包括名字、描述信息以及版本等。
  • values.yaml ：用于存储 templates 目录中模板文件中用到变量的值。
  • Templates： 目录里面存放所有yaml模板文件。
  • charts：目录里存放这个chart依赖的所有子chart。
  • NOTES.txt ：用于介绍Chart帮助信息， helm install 部署后展示给用户。例如：如何使用这个 Chart、列出缺省的设置等。
  • _helpers.tpl：放置模板助手的地方，可以在整个 chart 中重复使用

2.2.2. 部署 chart

创建 chart 后，接下来就是将其部署：

1
$ helm install web mychart/

也可以打包推送的 charts 仓库共享别人使用。

1
2
$ helm package mychart/
mychart-0.1.0.tgz

2.2.3. 升级、回滚和删除

发布新版本的chart时，或者当要更改发布的配置时，可以使用该 helm upgrade 命令。

1
2
$ helm upgrade --set imageTag=1.17 web mychart
$ helm upgrade -f values.yaml web mychart

如果在发布后没有达到预期的效果，则可以使用helm rollback 回滚到之前的版本。

例如将应用回滚到第一个版本：

1
$ helm rollback web 2

卸载发行版，请使用以下 helm uninstall 命令：

1
$ helm uninstall web

查看历史版本配置信息

1
$ helm get --revision 1 web

三、Chart 模板

Helm 最核心的就是模板，即模板化的 K8S manifests 文件，它本质上就是一个 Go 的 template 模板。Helm 在 Go template 模板的基础上，增加了一些自定义的元数据信息、扩展的库以及一些类似于编程形式的工作流，例如条件语句、管道等。

3.1. 构建

template 目录下的 deployment.yaml 已经是一个可安装的Chart包了，通过 helm install 命令来进行安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
$ rm -rf mychart/templates/*
$ vim templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.16
        name: nginx
1
$ helm install web mychart

然后使用如下命令可以看到实际的模板被渲染过后的资源文件：

1
$ helm get manifest web

这样部署，其实与直接 apply 没什么两样😭，我们希望能在一个地方统一定义这些会经常变换的字段，这就需要用到Chart的模板啦～～～

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ vi templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.16
        name: nginx

这个 deployment 就是一个 Go template 的模板，这里定义的 Release 模板对象属于 Helm 内置的一种对象，是从 values 文件中读取出来的。这样一来，我们可以将需要变化的地方都定义变量。

下面是一些常用的内置对象：

Release.Name release 名称
Release.Time release 的时间
Release.Namespace release 的 namespace（如果清单未覆盖）
Release.Service release 服务的名称
Release.Revision 此 release 的修订版本号，从1开始累加
Release.IsUpgrade 如果当前操作是升级或回滚，则将其设置为 true。
Release.IsInstall 如果当前操作是安装，则设置为 true。

再执行 helm install chart 可以看到现在生成的名称变成了web-deployment，证明已经生效了。也可以使用命令 helm get manifest 查看最终生成的文件内容～

3、Values

Values 对象是为 Chart 模板提供值，这个对象的值有 4 个来源：

  • chart 包中的 values.yaml 文件

  • 父 chart 包的 values.yaml 文件

  • 通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件

  • 通过 --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖，而该文件同样可以被 --set 提供的参数所覆盖。

这里我们在 mychart/values.yaml 文件中添加一个副本数：replicas

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
$ cat values.yaml 
replicas: 3
image: "nginx"
imageTag: "1.17"
$ cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: {{ .Values.image }}:{{ .Values.imageTag }}
        name: nginx

查看渲染结果：

1
$ helm install --dry-run web ../mychart/

values 文件也可以包含结构化内容，例如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ cat values.yaml 
...
label:
  project: ms
  app: nginx

$ cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment 
spec:
  replicas: {{ .Values.replicas }} 
  selector:
    matchLabels:
      project: {{ .Values.label.project }}
      app: {{ .Values.label.app }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ .Values.label.app }}
    spec:
      containers:
      - image: {{ .Values.image }}:{{ .Values.imageTag }} 
        name: nginx

查看渲染结果：

1
$ helm install --dry-run web ../mychart/

3.2. 调试

Helm 提供了--dry-run --debug 调试参数，帮助验证模板正确性。在执行 helm install 时候带上这个参数就可以把对应的 values 值和渲染的资源清单打印出来，而不会真正的去部署一个 release。

1
$ helm install web2 --dry-run /root/mychart

四、Helm 进阶

4.1. 管道与函数

模板引擎还支持对拿到数据进行二次处理。

4.1.1. quote 函数

例如从.Values中读取的值变成字符串，可以使用quote函数实现：

1
2
3
4
5
$ vi templates/deployment.yaml
app: {{ quote .Values.label.app }}
$ helm install --dry-run web ../mychart/ 
        project: ms
        app: "nginx"

4.1.2. default 函数

该函数允许在模板中指定默认值，以防止该值被忽略掉。

1
2
3
4
5
6
7
8
$ cat values.yaml 
replicas: 2
$ cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
  name: {{ .Values.name | default "nginx" }}

其他函数：

缩进：{{ .Values.resources | indent 12 }}

大写：{{ upper .Values.resources }}

首字母大写：{{ title .Values.resources }}

4.2. 流程控制

流程控制是为模板提供了一种能力，满足更复杂的数据逻辑处理。Helm 模板语言提供以下流程控制语句：

  • if/else 条件块
  • with 指定范围
  • range 循环块

4.2.1. if

if/else 块是用于在模板中有条件地包含文本块的方法，条件块的基本结构如下：

1
2
3
4
5
6
7
{{ if PIPELINE }}
  # Do something
{{ else if OTHER PIPELINE }}
  # Do something else
{{ else }}
  # Default case
{{ end }}

条件判断就是判断条件是否为真，如果值为以下几种情况则为false：

  • 一个布尔类型的 假

  • 一个数字 零

  • 一个 空的字符串

  • 一个 nil（空或 null）

  • 一个空的集合（ map、 slice、 tuple、 dict、 array）

除了上面的这些情况外，其他所有条件都为 真。

1
2
3
4
5
6
7
8
9
10
11
12
13
$ cat values.yaml 
replicas: 2
label:
  project: ms
  app: product
env:
  hello: "world"
$ cat templates/deploymemt.yaml
        env:
        {{ if eq .Values.env.hello "world" }}
          - name: hello
            value: 123
        {{ end }}

其中运算符 eq是判断是否相等的操作，除此之外，还有 ne、 lt、 gt、 and、 or等运算符。

通过模板引擎来渲染一下，会得到如下结果：

1
2
3
4
5
6
$ helm install --dry-run web ../mychart/ 
...
        env:
        
          - name: hello
            value: 123

当模板引擎运行时，会将控制指令删除，可以看到渲染出来会有多余的空行，需要使用 {{- if ...}} 的方式消除此空行：

1
2
3
4
5
6
7
$ cat templates/deploymemt.yaml
...
        env:
        {{- if eq .Values.env.hello "world" }}
          - name: hello
            value: 123
        {{- end }}

判断一个空的数组

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ cat values.yaml 
resources: {}
  # limits:
  #   cpu: 100m
  #   memory: 128Mi
  # requests:
  #   cpu: 100m
  #   memory: 128Mi
$ cat templates/deploymemt.yaml
...
    spec:
      containers:
      - image: nginx:1.16
        name: nginx
        {{- if .Values.resources }}
        resources:
{{ toYaml .Values.resources | indent 10 }}
        {{- end }}

例如，判断一个布尔值

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
$ cat values.yaml 
service:
  type: ClusterIP
  port: 80

ingress:
  enabled: true 
  host: example.ctnrs.com

$ cat templates/ingress.yaml 
{{- if .Values.ingress.enabled -}}
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: {{ .Release.Name }}-ingress
spec:
  rules:
  - host: {{ .Values.ingress.host }}
    http:
      paths:
      - path: /
        backend:
          serviceName: {{ .Release.Name }}
          servicePort: {{ .Values.service.port }}
{{ end }}

4.2.2. with

with 语句可以允许将当前范围 .设置为特定的对象，比如前面一直使用的 .Values.label，可以使用 with来将 .范围指向 .Values.label：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Values.name | default "web" }}
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      project: {{ .Values.label.project }}
      app: {{ .Values.label.app }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ .Values.label.app }}
      {{- with .Values.label }}
        project: {{ .project }}
        app: {{ .app }}
      {{- end }}

上面增加了一个 {{- with .Values.label }} xxx {{- end }} 的一个块，这样的话就可以在当前的块里面直接引用 .project和 .app了。

需要注意的在 with声明的范围内，将无法从父范围访问到其他对象了，比如：

1
2
3
4
5
{{- with .Values.label }}
  project: {{ .project }}
  app: {{ .app }}
  {{ .Release.Name }}
{{- end }}

4.2.3. range

在 Helm 模板语言中，使用 range关键字来进行循环操作。

1
2
3
4
5
6
7
8
# cat values.yaml 
replicas: 2
label:
  project: ms
  app: product
env:
  hello: "world"
  test: "yes"

循环打印该列表：

1
2
3
4
env:
{{- range .Values.env }}
   {{ . }}
{{- end }}

循环内部我们使用的是一个 .，这是因为当前的作用域就在当前循环内，这个 .引用的当前读取的元素。

4.3. 变量

变量是一个语言中基本的概念，在模板中，使用变量的场合不多，但我们可以利用变量在一些场景下来简化代码

4.3.1. 获取列表键值

1
2
3
4
5
6
7
8
9
10
11
12
$ cat ../values.yaml
env:
  NAME: "gateway"
  JAVA_OPTS: "-Xmx1G"
  
$ cat deployment.yaml 
...
    env:
    {{- range $k, $v := .Values.env }}
           - name: {{ $k }}
             value: {{ $v | quote }}
        {{- end }}

在 range循环中使用 $key和 $value两个变量来接收后面列表循环的键和值。

4.3.2. with中使用变量

with语句块内不能再 .Release.Name 内置对象，否则报错，可以将该对象赋值给一个变量可以来解决这个问题

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
spec:
  replicas: {{ .Values.replicas }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ quote .Values.label.app }}
      {{- with .Values.label }}
        project: {{ .project }}
        app: {{ .app }}
        release: {{ .Release.Name }}
      {{- end }}

上面会出错

1
2
3
4
5
6
7
8
{{- $releaseName := .Release.Name -}}
{{- with .Values.label }}
  project: {{ .project }}
  app: {{ .app }}
  release: {{ $releaseName }}
  # 或者可以使用$符号,引入全局命名空间
  release: {{ $.Release.Name }}
{{- end }}

在 with 语句上面增加一句 {{-$releaseName:=.Release.Name-}}，其中 $releaseName 就是后面的对象的一个引用变量，它的形式就是 $name，赋值操作使用 :=，这样 with语句块内部的 $releaseName变量仍然指向的是 .Release.Name

4.4. 命名模板

命名模板：使用 define 定义，template引入，在 templates 目录中默认下划线 _ 开头的文件为公共模板 (_helpers.tpl)

1
2
3
4
5
6
7
8
9
10
11
$ cat _helpers.tpl
{{- define "demo.fullname" -}}
{{- .Chart.Name -}}-{{ .Release.Name }}
{{- end -}}

$ cat deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ template "demo.fullname" . }}
...

template 指令是将一个模板包含在另一个模板中的方法。但是，template函数不能用于Go模板管道。为了解决该问题，增加include功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ cat _helpers.tpl
{{- define "demo.labels" -}}
app: {{ template "demo.fullname" . }}
chart: "{{ .Chart.Name }}-{{ .Chart.Version }}"
release: "{{ .Release.Name }}"
{{- end -}}

$ cat deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "demo.fullname" . }}
  labels:
    {{- include "demo.labels" . | nindent 4 }}
...

上面包含一个名为 demo.labels 的模板，然后将值 . 传递给模板，最后将该模板的输出传递给 nindent 函数。

五、Chart仓库

  1. 启用 Harbor 的 Chart 仓库服务

    1
    $ ./install.sh --with-chartmuseum

​ 启用后，默认创建的项目就带有helm charts功能了。

  1. 安装 push 插件

    1
    $ helm plugin install https://github.com/chartmuseum/helm-push

  2. 添加 repo

    1
    $ helm repo add  --username admin --password Harbor12345 myrepo http://192.168.31.70/chartrepo/library

  3. 推送与安装 Chart

    1
    2
    $ helm push mysql-1.4.0.tgz --username=admin --password=Harbor12345 http://192.168.31.70/chartrepo/library
    $ helm install web --version 1.4.0 myrepo/demo