百万并发实战:Nginx +LVS+ Keepalived架构方案!

“618零点刚过，页面卡了3秒，老板在群里甩出一张订单流失图——90万笔飞走，原因只是LVS主节点没来得及切VIP。”

看到这张图，再稳的运维也手抖。

百万并发不是口号，是每一秒都在算账的真金白银。

原帖给的Nginx+LVS+Keepalived三板斧够用，但真扛洪峰，还得往缝隙里再塞点“土办法”。

先说LVS的DR模式，原帖一句“性能最高”带过，可没人提它最怕ARP闹妖。

Linux默认arp_ignore=0，同网段随便一台机子都能回VIP的ARP，流量一半被“热心同事”吸走。

上线前把arp_ignore改1、arp_announce改2，再写个udev规则，网卡重启也不丢，这才能安心睡觉。

NAT模式被嫌弃“单点瓶颈”，其实加两条iptable贴标签就能玩成“伪多核”。

把后端服务器按端口段拆成几组，Director机器多绑几个CPU软中断，实测小包转发能再提30%，跨机房也不用非TUN不可。

Keepalived的VRRP原帖只给了调interval，真坑在“脑裂”。

云环境偶尔丢三秒UDP，主备一起抢VIP，数据库被双写，谁恢复谁背锅。

把vrrp_strict关掉，改用unicast_peer单播，再配track_script实时拉nginx_status，脚本返回非200直接权重-20，比单纯killkeepalived温柔，却更快。

Nginx长连接keepalive_timeout=65s看着省握手，可高并发下TIME_WAIT会炸。

把upstream里keepalive数设成“CPU核数2”，再开reuseport，让内核别把握手都挤在一个队列里。

一个小改动，同等机器从5万QPS涨到8万，风扇声都没变。

缓存不止proxy_cache。

把热点接口302重定向到本地内存盘，Nginx只回Location，不走业务，带宽直接砍半。

配合Lua脚本，TTL按秒级热更新，秒杀品下架立刻清缓存，比清CDN还快。

监控原帖给了Prometheus+ELK，可指标一多，Grafana面板就成墙纸。

只盯三个：LVS每秒转发包、Nginx 499数、Keepalived切换次数。

499一涨，说明后端已卡；切换次数>1，说明网络抖；转发包掉，才是真挂。

把这三个推给钉钉，手机一震就知道要不要起床，别整花里胡哨的十几张图。

最后，云原生不是救命稻草，只是让扩容更快。

提前把这套裸金属配置打成ansibleplaybook，扔进K8s宿主机层，Ingress节点崩了30秒就能拉起新节点。

云厂商的SLB做兜底，流量高峰先扛一波，再切回自管LVS，成本能省一半。

百万并发没有魔法，就是把每个“小概率”提前掐死。

真出一次，丢的不只是订单，还有下一次大促的预算。

今晚回去checklist打勾，明早老板再甩图，至少手不会抖了。