百度360必应搜狗淘宝本站头条
python类型转换python计时python异常python进度条python吧
当前位置：网站首页 > 技术资源 > 正文

k8s环境搭建（k8s搭建harbor）

off999 2025-03-28 19:53 43 浏览 0 评论

概述

我在之前的文章中使用VirutBox安装了一个Ubuntu系统，这次我们在这个Ubuntu系统上安装一个k8s集群。
k8s的安装步骤繁多似乎有点复杂，今天我来更新一篇k8s的安装过程。至于我们为什么使用k8s我觉得我不用说太多，我觉得两个关键点：自动化和保证应用健康。

在本地搭建k8s集群有很多种方式：

  1. minikube(最简方式：DockerDesktop+minikube)
  2. Linux + k8s
  3. Kind
  4. MicroK8s
  5. k3s
  6. DockerDesktop

我们这里选择Linux + k8s官方的方式，是想让大家感受一下k8s安装的复杂过程，然后通过安装过程可以很直观的了解到k8s的一些关键点，比如：容器和流量分发。

在做k8s安装时我们还是要做很多选择：

  1. 容器运行时(CRI)使用Docker,Containerd还是其他的
  2. 网络转发用iptables还是ipvs
  3. k8s的网络组件用什么？flannel还是canal还是Calico还是什么？
  4. …

我们这儿选择了containerd,ipvs和Calico（tigera是公司的名字，这个公司开源了Calico）。

如果你想选择其他比如：docker,iptable, cannel也是可以，根据自己的喜好而定，毕竟是学习类。

我们在安装一些组件使用了Helm，Helm是k8s yaml生成工具，大家先了解下就可以了。

安装过程的组织：

  1. Linux环境配置
  2. Containerd安装
  3. k8s安装
  4. k8s集群初始化
  5. k8s服务部署

k8s版本为：1.28,目前最新版本为1.29

1. 安装K8s

1.1 配置containerd运行环境

创建
/etc/modules-load.d/containerd.conf配置文件，确保在系统启动时自动加载所需的内核模块，以满足容器运行时的要求:

cat << eof> /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

COPY

使配置生效


modprobe overlay
modprobe br_netfilter

COPY

1.2 创建/etc/sysctl.d/99-kubernetes-cri.conf


cat << eof> /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
user.max_user_namespaces=28633
EOF

COPY

配置生效


sysctl -p /etc/sysctl.d/99-kubernetes-cri.conf

COPY

1.3 开启ipvs


cat > /etc/modules-load.d/ipvs.conf <<EOF
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
EOF

COPY

配置生效


modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh

COPY

安装ipvsadm


apt install -y ipset ipvsadm

COPY

1.5 安装containerd


wget https://github.com/containerd/containerd/releases/download/v1.7.3/containerd-1.7.3-linux-amd64.tar.gz

COPY

解压缩


tar Cxzvf /usr/local containerd-1.7.3-linux-amd64.tar.gz

COPY

1.6 安装runc:


wget https://github.com/opencontainers/runc/releases/download/v1.1.9/runc.amd64
install -m 755 runc.amd64 /usr/local/sbin/runc

COPY

1.7 生成containerd配置


mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml

COPY

配置containerd使用systemd作为容器cgroup driver，大概在136行下面(这个一定要找对地方)


[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true

COPY


国内已经修改sanbox image为阿里云的Registry，这样就不会有网络访问问题了，大概在65行。

[plugins."io.containerd.grpc.v1.cri"]
  ...
  # sandbox_image = "registry.k8s.io/pause:3.8"
  sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"

COPY

1.8 下载containerd.service

链接：
https://raw.githubusercontent.com/containerd/containerd/main/containerd.service,如果无法下载可以直接复制下面的内容


cat << eof> /etc/systemd/system/containerd.service
[Unit]
Description=containerd container runtime
Documentation=https://containerd.io
After=network.target local-fs.target

[Service]
#uncomment to enable the experimental sbservice (sandboxed) version of containerd/cri integration
#Environment="ENABLE_CRI_SANDBOXES=sandboxed"
ExecStartPre=-/sbin/modprobe overlay
ExecStart=/usr/local/bin/containerd

Type=notify
Delegate=yes
KillMode=process
Restart=always
RestartSec=5
# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNPROC=infinity
LimitCORE=infinity
LimitNOFILE=infinity
# Comment TasksMax if your systemd version does not supports it.
# Only systemd 226 and above support this version.
TasksMax=infinity
OOMScoreAdjust=-999

[Install]
WantedBy=multi-user.target
EOF

COPY

1.9 配置Containerd开机启动


systemctl daemon-reload
systemctl enable containerd --now 
systemctl status containerd

COPY

1.10 安装Crictl


wget https://github.com/kubernetes-sigs/cri-tools/releases/download/v1.28.0/crictl-v1.28.0-linux-amd64.tar.gz
tar -zxvf crictl-v1.28.0-linux-amd64.tar.gz
install -m 755 crictl /usr/local/bin/crictl

COPY

测试Crictl


crictl --runtime-endpoint=unix:///run/containerd/containerd.sock  version

Version:  0.1.0
RuntimeName:  containerd
RuntimeVersion:  v1.7.3
RuntimeApiVersion:  v1

COPY

1.11 更新apt仓库


sudo apt-get update
# apt-transport-https may be a dummy package; if so, you can skip that package
sudo apt-get install -y apt-transport-https ca-certificates curl

COPY

1.12 下载k8s包仓库公钥


curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

COPY

1.13 添加k8s apt 仓库


echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

COPY

1.14 安装kubelet, kubeadm和kubelet


sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

COPY

1.15 关闭系统swap


swapoff -a

COPY

永久关闭


vim /etc/fstab

COPY

开机启动kubelet


systemctl enable kubelet

COPY

2. 初始化K8s集群


kubeadm init --apiserver-advertise-address=your_host-only-ip --pod-network-cidr=10.244.0.0/16

COPY

初始化完成后


mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

COPY

3. 安装Helm


wget https://get.helm.sh/helm-v3.12.3-linux-amd64.tar.gz
tar -zxvf helm-v3.12.3-linux-amd64.tar.gz
install -m 755 linux-amd64/helm  /usr/local/bin/helm

COPY

4. 安装k8s网络插件

下载tigera-operator


wget https://github.com/projectcalico/calico/releases/download/v3.26.1/tigera-operator-v3.26.1.tgz

COPY

查看chart中可定制的配置


helm show values tigera-operator-v3.26.1.tgz

COPY

做点简单配置定制,保存为vlaues.yaml


apiServer:
  enabled: false
installation:
  kubeletVolumePluginPath: None

COPY

Heml安装colico


helm install calico tigera-operator-v3.26.1.tgz -n kube-system  --create-namespace -f values.yaml

COPY

等待Pod处于Running


kubectl get pod -n kube-system | grep tigera-operator

COPY

安装kubectl插件


cd /usr/local/bin
curl -o kubectl-calico -O -L  "https://github.com/projectcalico/calicoctl/releases/download/v3.21.5/calicoctl-linux-amd64" 
chmod +x kubectl-calico

COPY

验证是否正常工作


kubectl calico -h

COPY

5. 测试

5.1 验证k8s DNS


kubectl run curl --image=radial/busyboxplus:curl -it
nslookup kubernetes.default

COPY

5.2 发布一个nginx

命令


kubectl apply -f nginx.yaml

COPY

yaml文件如下：


apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  annotations:
    change-cause: "Rollout test"
spec:
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
  selector:
    matchLabels:
      app: nginx
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: 200m
          limits:
            cpu: 500m
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
    - protocol: TCP
      port: 40000
      targetPort: 80
      nodePort: 32000

COPY

命令执行完成后执行

kubectl get pods

COPY

执行结果如下图所示：

6. FAQ

  1. Nameserver limits exceeded" err="Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 10.22.16.2 10.22.16.254 10.245.0.10"

/run/systemd/resolve/resolv.conf
# 注释掉几个ip

COPY

  1. Master节点作为Node

kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-

COPY

  1. 忘记join集群命令

kubeadm token create --print-join-command

COPY

  1. 部署curl测试

kubectl run curl --image=radial/busyboxplus:curl -it

COPY

  1. kubelet日志查看

journal -xeu kubelet
journal -xeu kubelet > kubelet.log

COPY

  1. kubeadm初始化有问题可以尝试reset后重新初始化

kubeadm reset

COPY

7. 总结

k8s安装步骤还是比较繁杂，不过通过k8s安装过程你可以学习到一些k8s底层原理。k8s是在容器技术之上，使用Linux的流量分发技术并将自己的流量路由规则应用到Linux的分发技术之上。

至于k8s的技术自动化就在于它对于你提出需求的严格保证，这里的需求就是我们发布到K8s应用中的资源需求（比如：几个Replica,多少CPU，多少内存，多少硬盘）。

最后，一个小点，我发现k8s官网域名ICP备案是在北京。

相关推荐

python入门到脱坑经典案例—清空列表

在Python中，清空列表是一个基础但重要的操作。clear()方法是最直接的方式，但还有其他方法也可以实现相同效果。以下是详细说明：1.使用clear()方法（Python3.3+推荐）...

python中元组，列表，字典，集合删除项目方式的归纳

九三，君子终日乾乾，夕惕若，厉无咎。在使用python过程中会经常遇到这四种集合数据类型，今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表（List）是一种有序和可更改的集合。允许重复...

Linux 下海量文件删除方法效率对比，最慢的竟然是 rm

Linux下海量文件删除方法效率对比，本次参赛选手一共6位，分别是：rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...

数据结构与算法——链式存储(链表)的插入及删除，

持续分享嵌入式技术，操作系统，算法，c语言/python等，欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法，本篇我们主要将一下链表的插入删除操作，以及采用堆栈方式如何创建链表。链...

Python自动化:openpyxl写入数据，插入删除行列等基础操作

importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...

在Linux下软件的安装与卸载（linux里的程序的安装与卸载命令）

通过apt安装/协助软件apt是AdvancedPackagingTool，是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式：安装软件：sudoapt...

Python 批量卸载关联包 pip-autoremove

pip工具在安装扩展包的时候会自动安装依赖的关联包，但是卸载时只删除单个包，无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装：pipinsta...

用Python在Word文档中插入和删除文本框

在当今自动化办公需求日益增长的背景下，通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器，既能承载多模态信息（如文字、图像），又可实现独...

Python 从列表中删除值的多种实用方法详解

#Python从列表中删除值的多种实用方法详解在Python编程中，列表（List）是一种常用的数据结构，具有动态可变的特性。当我们需要从列表中删除元素时，根据不同的场景（如按值删除、按索引删除、...

Python 中的前缀删除操作全指南（python删除前导0）

1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除：#1.使用removeprefix()方法(Python3.9+)text="...

每天学点Python知识:如何删除空白

在Python中，删除空白可以分为几种不同的情况，常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白（空格、\t、\n等）使用.strip()方法：s...

Linux系统自带Python2&amp;yum的卸载及重装

写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时，需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时，少写了个3，不小心将系统自带的python2也...

如何使用Python将多个excel文件数据快速汇总?

在数据分析和处理的过程中，Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例，展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据，并最终生成一个包含...

【第三弹】用Python实现Excel的vlookup功能

今天继续用pandas实现Excel的vlookup功能，假设我们的2个表长成这样：我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说，先上代码：importpandasaspd...

python中pandas读取excel单列及连续多列数据

案例：想获取test.xls中C列、H列以后（当H列后列数未知时）的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.