一、背景概述
deployment与daemonset部署服务方式的差异点：
- deployment部署的副本pod可以分布在各个node上，每个node可以运行多个副本，可以根据资源压力配置HPA。
- daemonset在于每个node上最多只能运行一个副本，常用场景有运行日志收集、运行监控等。
公司早期公共集群部署ingress-nginx的模式为:
- daemonset + node label（设置节点label为：ingress=on）
- ingress pod的网络模式为：hostNetwork: true
- pod nodeSelector设置为： ingress: "on"
部署架构图：
这种部署方式的优点是：
- 可以根据标签方便的管控pod落在集群的指定节点
- daemonset模式部署的pod可以尽可能的独占系统资源
二、为什么要改造
在业务及流量比较稳定的情况下，daemonset模式可以较为稳定运行。但是，随着业务向容器云公共集群迁移，业务流量在短时间或者特定时间段内出现暴涨，集群承接流量的压力也会暴增。高并发量下会将部分ingress pod 服务打爆（配置了存活健康检查，在指定时间内如无法探活，kubelet会将ingress pod重启，导致pod出现CrashLoopBackOff的状态，无法提供服务）。
此时应对的措施有：
- 可以根据预案向不同机房切流量
- 需要运维同学手动操作如下步骤：hulk平台申请新的主机——>初始化节点（加入集群,配置节点label）——>将主机加入hulk平台vip
考虑到当前上云业务逐渐增多及运维成本，决定对ingress nginx 的daemonset模式改造成deployment模式。改造涉及的操作步骤：
- 压测：ingress nginx本身作为基础服务是CPU密集型，需要大概知晓各个核数配置下能够承接的最大流量情况（本次改造使用基准测试）
- deployment yaml文件的调整，配置pod资源需求以及HPA：参考压测、集群高峰流量配置pod的requests及limits指标，配置水平扩缩HPA
- hpa弹出的pod可以自动挂载到容器云的vip：涉及到LB controller改造；vip从hulk迁移到容器云
三、压测
①压测方法
- 压测工具：ab、wrk2
- 压测方法：
- 集群中部署nginx服务，配置ingress服务；使用集群中一台裸金属（24核 64G）去压测集群中的另外一台部署了ingress pod的裸金属（24核 64G）；调整ingress pod 的CPU核数、内存情况：看1核、2核、4核、8核、12核、16核下压测数据
- 压测要点：尽可能压出单个ingress pod在特定的CPU核数下，延迟时间可控（如延迟300ms以内）的最大QPS（实际场景下需具体分析用户行为，便于wrk2真实模拟）
②压测数据及结论
③结论（可接受延迟情况下95%请求300ms）：
- 1核: QPS约为：3.6k/s
- 2核: QPS约为：7k/s
- 4核: QPS约为：18k/s
- 8核: QPS约为：30k/s
- 12核: QPS约为：40k/s
- 16核：QPS约为：44k/s
四、deployment改造
①改造内容
- 设置pod优先级（防止基础组件在资源紧张情况下被驱逐）
- 使用非主机网络，改用集群网络
- ingress pod资源配置、滚动更新策略
- 集群ingress pod资源配置(不限制limits)，如：流量小的集群：2C、2G；流量大的集群：4C、4G
- 配置pod副本数
- 限制每个节点上pod数量
- 设置pod反亲和性
- hpa副本、扩缩容配置
- 扩：按照CPU利用率55%、持续窗口期5秒允许15秒内扩节点副本数的100% 缩：窗口期300秒，允许15秒内最大缩小副本数的20% hpa最小副本数：视集群流量大小设为3~30不等
②调整后的deployment及hpa配置
---
apiVersion: apps/v1
kind: Deployment
...
spec:
replicas: 1
...
strategy:
rollingUpdate:
maxSurge: 10%
maxUnavailable: 10%
type: RollingUpdate
template:
...
spec:
priorityClassName: system-node-critical
affinity:
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
podAffinityTerm:
labelSelector:
matchExpressions:
- key: app.kubernetes.io/name
operator: In
values:
- ingress-nginx
topologyKey: "kubernetes.io/hostname"
containers:
resources:
requests:
cpu: 2
memory: 2Gi
...
dnsPolicy: ClusterFirst
nodeSelector:
ingress: "deployment"
topologySpreadConstraints:
- labelSelector:
matchLabels:
app.kubernetes.io/name: ingress-nginx
maxSkew: 3
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: DoNotSchedule
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
namespace: ingress-nginx
name: ingress-nginx-hpa
spec:
minReplicas: 3
maxReplicas: 30
metrics:
- resource:
name: cpu
target:
type: Utilization
averageUtilization: 55
type: Resource
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: ingress-nginx-controller
behavior:
scaleDown:
stabilizationWindowSeconds: 300
policies:
- type: Percent
value: 20
periodSeconds: 15
scaleUp:
stabilizationWindowSeconds: 5
policies:
- type: Percent
value: 100
periodSeconds: 15
五、灰度上线
- 找到集群对应的vip，在hulk平台设置其中1个RS的权重为0
- 设置节点node的label为ingress=deployment
- 执行deployment yaml文件，观察pod启动及HPA
- 将vip权重调回，观察流量情况
- 逐个处理剩余RS节点
- 底层操作hulk vip迁移到容器云集群的vip
六、前后ingress服务对比
- 改造前
- 改造后
60智汇云是以"汇聚数据价值，助力智能未来"为目标的企业应用开放服务平台，融合360丰富的产品、技术力量，为客户提供平台服务。
目前，智汇云提供数据库、中间件、存储、大数据、人工智能、计算、网络、视联物联与通信等多种产品服务以及一站式解决方案，助力客户降本增效，累计服务业务1000+。
智汇云致力于为各行各业的业务及应用提供强有力的产品、技术服务，帮助企业和业务实现更大的商业价值。
搜索“360智汇云”get更多产品信息~
欢迎使用我们的产品！
关注公众号，干货满满的前沿技术文章等你来。想看哪方面内容，也欢迎留言和我们交流！