从Helm到 Operator：Kubernetes应用管理的进化

🧰Helm 的作用

在开始前需要先对 kubernetes  Operator 有个简单的认识。

以为我们在编写部署一些简单 Deployment 的时候只需要自己编写一个 yaml 文件然后 kubectl apply 即可。

apiVersion: apps/v1  
kind: Deployment  
metadata:  labels:  app: k8s-combat  name: k8s-combat  
spec:  replicas: 1  selector:  matchLabels:  app: k8s-combat  template:  metadata:  labels:  app: k8s-combat  spec:  containers:  - name: k8s-combat  image: crossoverjie/k8s-combat:v1  imagePullPolicy: Always  resources:  limits:  cpu: "1"  memory: 300Mi  requests:  cpu: "0.1"  memory: 30Mi
kubectl apply -f deployment.yaml

这对于一些并不复杂的项目来说完全够用了，但组件一多就比较麻烦了。

1cdd7d815f216c0223308038cebbd62d.png这里以 Apache Pulsar 为例：它的核心组件有:

  • Broker

  • Proxy

  • Zookeeper

  • Bookkeeper

  • Prometheus(可选)

  • Grafana(可选) 等组件，每个组件的启动还有这依赖关系。

必须需要等 Zookeeper 和 Bookkeeper 启动之后才能将流量放进来。

此时如何还继续使用 yaml 文件一个个部署就会非常繁琐，好在社区有提供 Helm 一键安装程序，使用它我们只需要在一个同意的 yaml 里简单的配置一些组件，配置就可以由 helm 来部署整个复杂的 Pulsar 系统。

components:  # zookeeper  zookeeper: true  # bookkeeper  bookkeeper: true  # bookkeeper - autorecovery  autorecovery: true  # broker  broker: true  # functions  functions: false  # proxy  proxy: true  # toolset  toolset: true  # pulsar manager  pulsar_manager: false  
monitoring:  # monitoring - prometheus  prometheus: true  # monitoring - grafana  grafana: true  # monitoring - node_exporter  node_exporter: true  # alerting - alert-manager  alert_manager: false

比如在 helm 的 yaml 中我们可以选择使用哪些 components，以及是否启用监控组件。

最后直接使用这个文件进行安装：

helm install pulsar apache/pulsar \--values charts/pulsar/values.yaml \--set namespace=pulsar \--set initialize=true

它就会自动生成各个组件的 yaml 文件，然后统一执行。

所以 helm 的本质上和 kubectl apply yaml 一样的，只是我们在定义 value.yaml 时帮我们处理了许多不需要用户低频修改的参数。

我们可以使用 helm 将要执行的 yaml 输出后人工审核

helm install pulsar apache/pulsar --dry-run --debug > debug.yaml

🤔Operator 是什么

💔Helm 的痛点

Helm 虽然可以帮我们部署或者升级一个大型应用，但他却没法帮我们运维这个应用。

举个例子：比如我希望当 Pulsar Broker 的流量或者内存达到某个阈值后就指定扩容 Broker，闲时再自动回收。

或者某个 Bookkeeper 的磁盘使用率达到阈值后可以自动扩容磁盘，这些仅仅使用 Helm 时都是无法实现的。

以上这些需求我们目前也是通过监控系统发出报警，然后再由人工处理。

其中最大的痛点就是进行升级：

  • 升级ZK

  • 关闭auto recovery

  • 升级Bookkeeper

  • 升级Broker

  • 升级Proxy

  • 开启auto recovery

因为每次升级是有先后顺序的，需要依次观察每个组件运行是否正常才能往后操作。

如果有 Operator 理性情况下下我们只需要更新一下镜像版本，它就可以自动执行以上的所有步骤最后将集群升级完毕。

所以相对于 Helm 来说 Operator 是可以站在一个更高的视角俯视整个应用系统，它能发现系统哪个地方需要它从而直接修复。

💎CRD(Custom Resource Definitions)

而提到 Operator 那就不得不提到 CRD(Custom Resource Definitions)翻译过来就是自定义资源。

这是 kubernetes 提供的一个 API 扩展机制，类似于内置的 Deployment/StatefulSet/Services 资源，CRD 是一种自定义的资源。

这里以我们常用的 prometheus-operator 和 VictoriaMetrics-operator 为例：

Prometheus：

  • **Prometheus**：用于定义 Prometheus 的 Deployment

  • **Alertmanager**：用于定义 Alertmanager

  • **ScrapeConfig**：用于定会抓取规则

apiVersion: monitoring.coreos.com/v1alpha1
kind: ScrapeConfig
metadata:name: static-confignamespace: my-namespacelabels:prometheus: system-monitoring-prometheus
spec:staticConfigs:- labels:job: prometheustargets:- prometheus.demo.do.prometheus.io:9090

使用时的一个很大区别就是资源的 kind: ScrapeConfig 为自定义的类型。

VictoriaMetrics 的 CRD：

  • VMPodScrape：Pod 的抓取规则

  • VMCluster：配置 VM 集群

  • VMAlert：配置 VM 的告警规则

  • 等等

# vmcluster.yaml
apiVersion: operator.victoriametrics.com/v1beta1
kind: VMCluster
metadata:name: demo
spec:retentionPeriod: "1"replicationFactor: 2vmstorage:replicaCount: 2storageDataPath: "/vm-data"storage:volumeClaimTemplate:spec:resources:requests:storage: "10Gi"resources:limits:cpu: "1"memory: "1Gi"vmselect:replicaCount: 2cacheMountPath: "/select-cache"storage:volumeClaimTemplate:spec:resources:requests:storage: "1Gi"resources:limits:cpu: "1"memory: "1Gi"requests:cpu: "0.5"memory: "500Mi"vminsert:replicaCount: 2

以上是用于创建一个 VM 集群的 CRD 资源，应用之后就会自动创建一个集群。

Operator 原理

78ddb8ade8e195145eb54915aef8ddc0.pngOperator 通常是运行在 kubernetes API server 的 webhook 之上，简单来说就是在一些内置资源的关键节点 API-server 会调用我们注册的一个 webhook，在这个 webhook 中我们根据我们的 CRD 做一些自定义的操作。

理论上我们可以使用任何语言都可以写 Operator，只需要能处理 api-server 的回调即可。

只是 Go 语言有很多成熟的工具，比如常用的 kubebuilder 和 operator-sdk.

他们内置了许多命令行工具，可以帮我们节省需要工作量。

这里以 operator-sdk 为例：

$ operator-sdk create webhook --group cache --version v1alpha1 --kind Memcached --defaulting --programmatic-validation

会直接帮我们创建好一个标准的 operator 项目:

├── Dockerfile
├── Makefile
├── PROJECT
├── api
│   └── v1alpha1
│       ├── memcached_webhook.go
│       ├── webhook_suite_test.go
├── config
│   ├── certmanager
│   │   ├── certificate.yaml
│   │   ├── kustomization.yaml
│   │   └── kustomizeconfig.yaml
│   ├── default
│   │   ├── manager_webhook_patch.yaml
│   │   └── webhookcainjection_patch.yaml
│   └── webhook
│       ├── kustomization.yaml
│       ├── kustomizeconfig.yaml
│       └── service.yaml
├── go.mod
├── go.sum
└── main.go

其中 Makefile 中包含了开发过程中常用的工具链（包括根据声明的结构体自动生成 CRD 资源、部署k8s 环境测试等等）、Dockerfile 等等。

这样我们就只需要专注于开发业务逻辑即可。

因为我前段时间给 https://github.com/open-telemetry/opentelemetry-operator 贡献过两个 feature，所以就以这个 Operator 为例：

它有一个 CRD: kind: Instrumentation，在这个 CRD 中可以将 OpenTelemetry 的 agent 注入到应用中。

apiVersion: opentelemetry.io/v1alpha1  
kind: Instrumentation  
metadata:  name: instrumentation-test-ordernamespace: test  
spec:  env:  - name: OTEL_SERVICE_NAME  value: orderselector:  matchLabels:  app: order  java:  image: autoinstrumentation-java:2.4.0-release  extensions:  - image: autoinstrumentation-java:2.4.0-release  dir: /extensions  env:  - name: OTEL_RESOURCE_ATTRIBUTES  value: service.name=order  - name: OTEL_INSTRUMENTATION_MESSAGING_EXPERIMENTAL_RECEIVE_TELEMETRY_ENABLED  value: "true"  - name: OTEL_TRACES_EXPORTER  value: otlp  - name: OTEL_METRICS_EXPORTER  value: otlp  - name: OTEL_LOGS_EXPORTER  value: none  - name: OTEL_EXPORTER_OTLP_ENDPOINT  value: http://open-telemetry-opentelemetry-collector.otel.svc.cluster.local:4317  - name: OTEL_EXPORTER_OTLP_COMPRESSION  value: gzip  - name: OTEL_EXPERIMENTAL_EXPORTER_OTLP_RETRY_ENABLED  value: "true"

它的运行规则是当我们的 Pod 在启动过程中会判断 Pod 的注解中是否开启了注入 OpenTelemetry 的配置。

如果开启则会将我们在 CRD 中自定义的镜像里的 javaagent 复制到业务容器中，同时会将下面的那些环境变量也一起加入的业务容器中。

要达到这样的效果就需要我们注册一个回调 endpoint。

mgr.GetWebhookServer().Register("/mutate-v1-pod", &webhook.Admission{  Handler: podmutation.NewWebhookHandler(cfg, ctrl.Log.WithName("pod-webhook"), decoder, mgr.GetClient(),  []podmutation.PodMutator{  sidecar.NewMutator(logger, cfg, mgr.GetClient()),  instrumentation.NewMutator(logger, mgr.GetClient(), mgr.GetEventRecorderFor("opentelemetry-operator"), cfg),  }),})

当 Pod 创建或有新的变更请求时就会回调我们的接口。

func (pm *instPodMutator) Mutate(ctx context.Context, ns corev1.Namespace, pod corev1.Pod) (corev1.Pod, error) {  logger := pm.Logger.WithValues("namespace", pod.Namespace, "name", pod.Name)}

在这个接口中我们就可以拿到 Pod 的信息，然后再获取 CRD Instrumentation 做我们的业务逻辑。

var otelInsts v1alpha1.InstrumentationList  
if err := pm.Client.List(ctx, &otelInsts, client.InNamespace(ns.Name)); err != nil {  return nil, err  
}// 从 CRD 中将数据复制到业务容器中。
pod.Spec.InitContainers = append(pod.Spec.InitContainers, corev1.Container{Name:      javaInitContainerName,Image:     javaSpec.Image,Command:   []string{"cp", "/javaagent.jar", javaInstrMountPath + "/javaagent.jar"},Resources: javaSpec.Resources,VolumeMounts: []corev1.VolumeMount{{Name:      javaVolumeName,MountPath: javaInstrMountPath,}},
})for i, extension := range javaSpec.Extensions {pod.Spec.InitContainers = append(pod.Spec.InitContainers, corev1.Container{Name:      initContainerName + fmt.Sprintf("-extension-%d", i),Image:     extension.Image,Command:   []string{"cp", "-r", extension.Dir + "/.", javaInstrMountPath + "/extensions"},Resources: javaSpec.Resources,VolumeMounts: []corev1.VolumeMount{{Name:      javaVolumeName,MountPath: javaInstrMountPath,}},})
}

不过需要注意的是想要在测试环境中测试 operator 是需要安装一个 cert-manage，这样 webhook 才能正常的回调。

009ba0d3f35f11e361efc7a9bd0b8551.png要使得 CRD 生效，我们还得先将 CRD 安装进 kubernetes 集群中，不过这些 operator-sdk 这类根据已经考虑周到了。

我们只需要定义好 CRD 的结构体：b39292b1a0405ed1763b1ffbc8d34f4b.png

然后使用 Makefile 中的工具 make bundle 就会自动将结构体转换为 CRD。

参考链接：

  • https://github.com/VictoriaMetrics/operator

  • https://github.com/prometheus-operator/prometheus-operator

    往期推荐

    如何找到并快速上手一个开源项目

    OpenTelemetry 深度定制：跨服务追踪的实战技巧

    从 Prometheus 到 OpenTelemetry: 指标监控的演进与实践

    从 Dapper 到 OpenTelemetry：分布式追踪的演进之旅

    实操 OpenTelemetry：通过 Demo 掌握微服务监控的艺术

    ab8c94efd5579def0dba183d4ba2f9c4.gif

    点分享

    9b785d96af38ff71a2611c38331dd390.gif

    点收藏

    fb8ca8057dc45a8bdd311d75971abaae.gif

    点点赞

    5147ebc5cc405c49bb6638c7c0d7a4c8.gif

    点在看

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3226026.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

qq动态删了怎么恢复？五分钟找回您的QQ动态

qq动态删了怎么恢复？五分钟找回您的QQ动态

在使用QQ空间时，我们经常会发现自己误删了一些重要的动态。这可能是由于手指滑动不慎或者误操作引起的。无论是珍贵的回忆还是重要的信息，一旦被删除，我们都希望能够找回来。那么，qq动态删了怎么恢复？ 在本文中&#…
阅读更多...
学科竞赛管理

学科竞赛管理

0034springboot学科竞赛管理 毕业论文(设计)题 目: 学科竞赛管理系统的设计与实现院(系):专业年级:姓 名:学 号:指导教师:2021年04月14日摘 要随着国家教育体制的改革，全国各地举办的竞赛活动数目也是逐年增加，面对如此大 的数目的竞赛信息&#…
阅读更多...
华为机试HJ105记负均正II

华为机试HJ105记负均正II

华为机试HJ105记负均正II 题目&#xff1a; 想法&#xff1a; 分别记录输入中的正数和负数&#xff0c;根据规则计算平均值即可 count 0 sum 0 sum_count 0 while True:try:number float(input())if number < 0:count 1elif number > 0:sum numbersum_count 1e…
阅读更多...
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce

Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce

章节内容 上节我们完成了&#xff1a; Sqoop 介绍Sqoop 下载配置环境等Sqoop 环境依赖&#xff1a;Hadoop、Hive、JDBC 等环境补全 背景介绍 这里是三台公网云服务器&#xff0c;每台 2C4G&#xff0c;搭建一个Hadoop的学习环境&#xff0c;供我学习。 之前已经在 VM 虚拟机…
阅读更多...
深度解析C++重载、隐藏、重写

深度解析C++重载、隐藏、重写

重载 函数重载是指两个函数在同一个作用域并且函数名相同、参数(参数个数或类型或类型顺序 )不同的一种特殊情况 // 1、参数类型不同 int Add(int left, int right){cout << "int Add(int left, int right)" << endl;return left right; } double Add…
阅读更多...
数据结构（初阶1.复杂度）

数据结构（初阶1.复杂度）

文章目录 一、复杂度概念 二、时间复杂度 2.1 大O的渐进表示法 2.2 时间复杂度计算示例 2.2.1. // 计算Func2的时间复杂度&#xff1f; 2.2.2.// 计算Func3的时间复杂度&#xff1f; 2.2.3.// 计算Func4的时间复杂度&#xff1f; 2.2.4.// 计算strchr的时间复杂度&#xff1f; …
阅读更多...
华为HCIP Datacom H12-821 卷34

华为HCIP Datacom H12-821 卷34

1.单选题 防火墙默认已经创建了一些安全区域,以下哪一个安全区域不是防火墙上默认存在的? A、Trust B、DMZ C、Internet D、Local 正确答案&#xff1a; C 解析&#xff1a; 防火墙默认情况下为我们提供了三个安全区域&#xff0c;分别是 Trust、DMZ和Untrust 2.判断题 …
阅读更多...
案例|水上水下一体化测量，为九寨沟精准把脉

案例|水上水下一体化测量，为九寨沟精准把脉

​ 九寨沟&#xff0c;被誉为“人间仙境”&#xff0c;其湖群以独特的地理位置和优美的自然景观吸引着世界各地的游客&#xff0c;更是九寨沟生态系统中不可或缺的重要组成部分。因此&#xff0c;精准地掌握湖群的地形数据、水体分布及变化情况&#xff0c;能够揭示水下生态系…
阅读更多...
Operator 部署Prometheus

Operator 部署Prometheus

安装说明 kube-prometheus https://prometheus-operator.dev/docs/https://github.com/prometheus-operator/kube-prometheus 该存储库收集 Kubernetes 清单、Grafana仪表板和Prometheus 规则以及文档和脚本&#xff0c;以使用 Prometheus Operator 通过Prometheus提供易于操…
阅读更多...
提升困难生学工支持：智慧校园的新功能介绍

提升困难生学工支持：智慧校园的新功能介绍

智慧校园的学工管理系统内嵌的困难生信息管理功能&#xff0c;是一个综合性的服务平台&#xff0c;专注于精准识别校园内的经济困难学生&#xff0c;并给予他们必要的帮助与关怀&#xff0c;确保每位学生都能在公平的环境中追求学业和个人成长。这一功能通过一系列信息化手段&a…
阅读更多...
1Panel 安装常见问题与解决方案指南

1Panel 安装常见问题与解决方案指南

安装 参考 1Panel 文档 - 在线安装 部分&#xff0c;这里仅作常见安装失败的问题解析。 常见Q&A 收集自 1Panel微信群&#xff0c;论坛以及GitHub issue Q1. 安装过程中提示 docker 安装失败 [1Panel Log]: … 启动 docker Failed to enable unit: Unit file docker.ser…
阅读更多...
【React】基础数据回填--useForm与setFieldsValue详解

【React】基础数据回填--useForm与setFieldsValue详解

相关属性 1.form 2.setFieldsValue 代码 import{Form }from"antd";const Publish =
阅读更多...
阿里云通义千问开源两款语音基座模型分别是SenseVoice和CosyVoice

阿里云通义千问开源两款语音基座模型分别是SenseVoice和CosyVoice

阿里巴巴近期发布了开源语音大模型项目FunAudioLLM&#xff0c;该项目包含了两个核心模型&#xff1a;SenseVoice和CosyVoice。可以精准多语言识别并且进行语音克隆。 SenseVoice&#xff1a;精准多语言识别与情感辨识 SenseVoice主要致力于高精度多语言语音识别、情感辨识和…
阅读更多...
CSS技巧专栏：一日一例 1.纯CSS实现 会讨好的热情按钮 特效

CSS技巧专栏：一日一例 1.纯CSS实现 会讨好的热情按钮 特效

题外话： 从今天开始，我准备开设一个新的专栏，专门写 使用CSS实现各种酷炫按钮的方法，本专栏目前准备写40篇左右，大概会完成如下按钮效果： 今天，我来介绍第一个按钮的实现方法：会讨好的热情按钮。为什么我给它起这样的名字呢？你看它像不像一个不停摇尾巴的小黄？当你鼠…
阅读更多...
【模块化与包管理】：解锁【Python】编程的高效之道

【模块化与包管理】：解锁【Python】编程的高效之道

目录 1.什么是模块&#xff1f; 2. 模块的导入过程 3. 理解命名空间 4. import语句的多种形式 5. 模块的执行与重新导入 6. 包&#xff08;Package&#xff09; 7. sys模块和os模块 sys模块 常用属性 示例&#xff1a;使用sys模块 os模块 常用功能 示例&#xff1…
阅读更多...
vue使用 “xlsx-style“: “^0.8.13“ 报错

vue使用 “xlsx-style“: “^0.8.13“ 报错

关于jszip not a constructor报错配置config.js文件后可能还报错的问题&#xff1a; 在node_modules处找到node_modules\xlsx-style\xlsx.js 文件。 将 if(typeof jszip undefined) jszip require(./jszip).JSZip;(应该在xlsx.js文件1339行左右) 替换成 if(typeof jszip und…
阅读更多...
二进制安装nexus

二进制安装nexus

今天安装nexus&#xff0c;想看看别人怎么安装的&#xff0c;结果找了一圈&#xff0c;没有一个靠谱的&#xff0c; 有些题目是二进制安装nexus&#xff0c;内容是东家长李家短胡扯&#xff0c;一个字&#xff0c;不要脸&#xff1b; 详细安装步骤如下&#xff0c;一起学习&…
阅读更多...
Java 期末速成

Java 期末速成

其他题 import java.util.*; public class Test {public static void main(String[] args) {Scanner scanner new Scanner(System.in);int arr[] new int[100];int value scanner.nextInt();int s scanner.nextLine(); // 键盘输入多个字符int result 0;System.out.print…
阅读更多...
智驭未来：人工智能与目标检测的深度交融

智驭未来：人工智能与目标检测的深度交融

在科技日新月异的今天&#xff0c;人工智能&#xff08;AI&#xff09;如同一股不可阻挡的浪潮&#xff0c;正以前所未有的速度重塑着我们的世界。在众多AI应用领域中&#xff0c;目标检测以其独特的魅力和广泛的应用前景&#xff0c;成为了连接现实与智能世界的桥梁。本文旨在…
阅读更多...
LangChain教程：构建基于GPT的应用程序

LangChain教程：构建基于GPT的应用程序

ChatGPT和GPT-4的成功表明&#xff0c;通过使用强化学习训练的大型语言模型&#xff0c;可以构建可扩展且功能强大的自然语言处理应用程序。 然而&#xff0c;响应的有用性取决于提示信息&#xff0c;这导致用户探索了提示工程领域。此外&#xff0c;大多数现实世界的自然语言…
阅读更多...
最新文章

Copyright @ 2022~2023