KubeDoor 微服务容量管理平台全新架构，灵活部署方案

花折 - KubeDoor 1.0发布！全新架构，多K8S管控支持，多K8S统一监控、告警、展示最佳实践

VictoriaMetrics全套方案：多K8S统一监控远程写，统一告警规则管理。

目录

• 0. KubeDoor 1.0组件说明
• 1. 全新部署（您的K8S没有部署监控系统）
• 2. 独立部署ClickHouse与VictoriaMetrics
• 3. 接入部署（已经有完整的多K8S监控系统）
• 4. 仅Master部署（已经有完整的多K8S监控系统）

组件说明

master端(安装在kubedoor命名空间)

• kubedoor-master: 对接agent，提供api接口
• kubedoor-web: 前端界面，整合nginx
• kubedoor-dash: Grafana
• kubedoor-alarm: 接收alertmanager的告警，执行通知与入库
• kubedoor-collect: 定时任务，调用api采集高峰期资源

基础设施(默认和master端部署在一起)

• alertmanager: 告警路由服务
• vmalert: 告警规则计算与管理，触发告警后通知到alertmanager
• VictoriaMetrics: 时序数据库
• ClickHouse:列式数据库

agent端(安装在kubedoor命名空间)

• kubedoor-agent: 对接master，调用K8S API
• vmagent: 替代Prometheus，采集监控指标
• KubeStateMetrics: 获取K8S的指标
• NodeExporter: 获取主机的指标

部署方案

0. 下载并进入目录

### 【下载helm包】
wget https://StarsL.cn/kubedoor/kubedoor-1.1.0.tgz
tar -zxvf kubedoor-1.1.0.tgz
cd kubedoor

1. 全新部署（您的K8S没有部署监控系统）

全新部署不会影响您已有的监控服务，如果您原监控没有使用vm远程存储，建议使用全新部署，体验多K8S统一监控最佳实践

• master部署:

1. 配置文件修改: values-master.yaml

1. 完成配置修改后执行检查与安装：

# try
helm install kubedoor . --namespace kubedoor --create-namespace --values values-master.yaml --dry-run --debug
# install
helm install kubedoor . --namespace kubedoor --create-namespace --values values-master.yaml

1. 访问WebUI：使用K8S节点IP + kubedoor-web的NodePort访问，默认账号密码都是 kubedoor
2. 告警逻辑说明：vmalert从VictoriaMetrics读取数据，并进行规则比较后，如果触发了告警就会通知到alertmanager，alertmanager收到告警后会路由到kubedoor-alarm进行告警通知和入库。即使您的K8S内已经有alertmanager也不用担心，KubeDoor的alertmanager会安装在kubedoor命名空间，不会冲突。

• agent部署:

1. 配置文件修改: values-agent.yaml

1. 完成配置修改后执行检查与安装：

# try
helm install kubedoor-agent . --namespace kubedoor --create-namespace --values values-agent.yaml --dry-run --debug
# install
helm install kubedoor-agent . --namespace kubedoor --create-namespace --values values-agent.yaml

1. 访问KubeDoor-Web，点击agent管理，找到您部署agent的K8S名称，状态应该是在线，先开启自动采集，设置好高峰期时段，再执行采集：输入需要采集的历史数据时长，点击采集，即可采集历史数据并更新高峰时段数据到管控表。

开启自动采集后，每天凌晨1点会采集前一天的高峰期数据，并将10天内最大资源消耗日的数据写入到更新管控表。

重复执行采集不会导致重复写入数据，请放心使用；每次采集后都会自动将10天内最大资源消耗日的数据写入到管控表。如果耗时较长，请等待采集完成或缩短采集时长。

如果您是新安装的监控系统，并且已过了当天的高峰期时段，将会无法采集到数据；需要等第二天高峰期时段之后才能采集到数据。

1. 在其它的K8S部署agent。

helm install kubedoor-agent . --namespace kubedoor --create-namespace --values values-agent.yaml --set tsdb.external_labels_value=xxxxxx

2. 独立部署ClickHouse与VictoriaMetrics

• ClickHouse可以使用docker compose在主机上部署。

# 默认使用docker compose运行，部署在/opt/clickhouse目录下。
curl -s https://StarsL.cn/kubedoor/install-clickhouse.sh|sudo bash
# 启动ClickHouse（启动后会自动初始化表结构）
cd /opt/clickhouse && docker compose up -d

• VictoriaMetrics可以使用docker compose在主机上部署。

mkdir -p /opt/victoriametrics/data
wget https://StarsL.cn/kubedoor/victoriametrics-docker-compose.yaml -O /opt/victoriametrics/docker-compose.yaml
# 请编辑下载的yaml文件修改账号密码和数据存储时长
cd /opt/victoriametrics/
docker compose up -d

3. 接入部署（已经有完整的多K8S监控系统）

前提1：每个K8S内已经部署Prometheus/vmagent，采集的数据统一远程写到已有的 VictoriaMetrics

前提2：已经部署好的ClickHouse

前提3：如果使用已有的ClickHouse，需要逐条运行建库建表sql。初始化数据库SQL

• master部署:

1. 配置文件修改: values-master.yaml

1. 完成配置修改后执行检查与安装：

# try
helm install kubedoor . --namespace kubedoor --create-namespace --values values-master.yaml --dry-run --debug
# install
helm install kubedoor . --namespace kubedoor --create-namespace --values values-master.yaml

1. 访问WebUI：使用K8S节点IP + kubedoor-web的NodePort访问，默认账号密码都是 kubedoor
2. 告警逻辑说明：vmalert从VictoriaMetrics读取数据，并进行规则比较后，如果触发了告警就会通知到alertmanager，alertmanager收到告警后会路由到kubedoor-alarm进行告警通知和入库。即使您的K8S内已经有alertmanager也不用担心，KubeDoor的alertmanager会安装在kubedoor命名空间，不会冲突。

• agent部署:

1. 配置文件修改: values-agent.yaml

1. 调整你已有的Prometheus/vmagentJOB配置（因为您的JOB配置可能与KubeDoor需求的会有不一样，请参考以下配置调整。）配置完成后确保您的有以下指标：

vmagent-job-config.yaml

• container_cpu_usage_seconds_total
• container_memory_working_set_bytes
• container_spec_cpu_quota
• kube_pod_container_info
• kube_pod_container_resource_limits
• kube_pod_container_resource_requests

1. 完成配置修改后执行检查与安装：

# try
helm install kubedoor-agent . --namespace kubedoor --create-namespace --values values-agent.yaml --dry-run --debug
# install
helm install kubedoor-agent . namespace kubedoor --create-namespace --values values-agent.yaml

1. 访问KubeDoor-Web，点击agent管理，找到您部署agent的K8S名称，状态应该是在线，先开启自动采集，设置好高峰期时段，再执行采集：输入需要采集的历史数据时长，点击采集，即可采集历史数据并更新高峰时段数据到管控表。

开启自动采集后，每天凌晨1点会采集前一天的高峰期数据，并将10天内最大资源消耗日的数据写入到更新管控表。

重复执行采集不会导致重复写入数据，请放心使用；每次采集后都会自动将10天内最大资源消耗日的数据写入到管控表。如果耗时较长，请等待采集完成或缩短采集时长。

如果您是新安装的监控系统，并且已过了当天的高峰期时段，将会无法采集到数据；需要等第二天高峰期时段之后才能采集到数据。

1. 在其它的K8S部署agent。

helm install kubedoor-agent . --namespace kubedoor --create-namespace --values values-agent.yaml --set tsdb.external_labels_value=xxxxxx

4. 仅Master部署（已经有完整的多K8S监控系统）

如果你已经有完整的K8S监控系统（满足3个前提），并且你也不需要KubeDoor去操作你的K8S（KubeDoor-Web上对K8S执行扩缩容、重启、Pod隔离/Dump等等操作）,那么你也可以完全不安装KubeDoor-agent，仅安装KubeDoor-Master即可。（监控、告警、高峰期数据的展示分析能力Master从ClickHouse与VictoriaMetrics中获取数据即可。）

欢迎大家一键三连，有问题可以提issue和pr

github地址：
https://github.com/CassInfra/KubeDoor/tree/main