上篇文章使用 consul-template模板方式,来实现了nginx动态负载均衡的实现,但是会有一些问题,如果后端服务经常变动,那nginx需要重新reload,会有一些性能损耗,今天再分享另外一种不需要reload的方式即可实现动态负载均衡
上一篇地址:有兴趣的可以看一下 Nginx利用Consul实现动态负载均衡
1. 准备工作
由于需要使用到lua的一些第三方包,以前都是手动下载包,这次使用lua包管理器LuaRocks来管理第三方包
1.1安装LuaRocks
#下载
wget https://luarocks.org/releases/luarocks-3.9.1.tar.gz --no-check-certificate
#解压
tar -zxvf luarocks-3.9.1.tar.gz
#编译 安装 我的openresty安装目录在 默认安装目录/usr/local/openresty
./configure --prefix=/usr/local/openresty/luajit --with-lua=/usr/local/openresty/luajit --with-lua-include=/usr/local/openresty/luajit/include/luajit-2.1
#安装
make && make install
#将可执行文件移动到/usr/bin目录中(此步骤可省) 方便在哪都可以运行
mv luarocks /usr/bin/
1.2 安装 openresty中的lua扩展依赖 lua-resty-http
lua-resty-http 是Openresty的http客户端 是基于cosocket 实现的,也是可以实现同步非阻塞的,你懂的吧? 推荐使用,但是到现在为止 它是在init_by_lua和init_worker_by_lua下不能使用的,所以只能使用luasocket,但是这个是阻塞的,效率不高,慎用!!
#安装lua-resty-http
luarocks install lua-resty-http
#安装 luasocket,可能需要安装gcc
yum install gcc (如果需要则安装)
luarocks install luasocket1.3 修改nginx.conf配置,添加lua自定义模块路径和定义共享内存大小
#vim /usr/local/openresty/nginx/conf/nginx.conf
#在http块下添加内容如下:
#配置dns解析
#设置共享内存大小 这里的位置一定要放在加载lua文件前
lua_shared_dict upstream_list 10m;
#配置lua自定义模块路径,我把lua文件都放在了lua_script目录下(这个可以自定义)
lua_package_path "/usr/local/openresty/nginx/lua_script/?.lua;;";
2 编写自定义lua模块
- 创建upstreams.lua文件
local http=require "socket.http"
local cjson= require "cjson"
local ltn12=require "ltn12"
local _M={}
-- 更新列表
function _M:update_upstreams()
local resp ={}
http.request{url="http://10.10.100.3:8500/v1/catalog/service/go-server",sink=ltn12.sink.table(resp)}
local resp=table.concat(resp)
local resp=cjson.decode(resp)
local upstreams ={}
for i,v in ipairs(resp) do
upstreams[i]={ip=v.ServiceAddress,port=v.ServicePort}
end
local s =ngx.shared.upstream_list
ngx.shared.upstream_list:set("go-server",cjson.encode(upstreams))
end
-- 获取负载列表
function _M:get_upstreams()
local upstreams_str=ngx.shared.upstream_list:get("go-server")
local tmp_upstreams=cjson.decode(upstreams_str)
return tmp_upstreams
end
return _M
- nginx.conf的配置如下(我这里写到了一个新conf文件中)
#第一次初始化
init_by_lua_block {
local upstreams=require("upstreams")
upstreams.update_upstreams()
}
#定时更新
init_worker_by_lua_block {
local upstreams =require("upstreams")
local resty_lock=requrie("resty.lock")
local handle=nil
handle=function()
-- 这里可以使用resty.lock来做下并发控制
local lock,err=resty_lock:new("my-lock")
if lock then
upstreams.update_upstreams()
lock:unlock()
end
ngx.timer.at(5,handle)
end
ngx.timer.at(5,handle)
#在定时更新时,也可以做些健康检查的动作
}
upstream go-server {
server 0.0.0.1 down; #占位符
balancer_by_lua_block {
local balancer =require("ngx.balancer")
local upstreams=require("upstreams")
local tmp_upstreams =upstreams.get_upstreams()
local ip_port=tmp_upstreams[math.random(1,table.getn(tmp_upstreams))]
balancer.set_current_peer(ip_port.ip,ip_port.port)
}
local tmp_upstreams =upstreams.get_upstreams()
local ip_port=tmp_upstreams[math.random(1,table.getn(tmp_upstreams))]
balancer.set_current_peer(ip_port.ip,ip_port.port)
}
}
server {
listen 8001;
server_name localhost;
location /test {
default_type text/html;
proxy_pass http://go-server;
}
error_page 404 /404.html;
location = /40x.html {
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
}
}- 其他问题
- 在主动拉取列表时,是可以对服务做健康检查的,这里没有实现
- 另一个问题,由于定时拉取,所以更新是不及时的,有延迟,但是 也可以解决, nginx可以暴露接口,让服务主动推送也是可以的
- 这里均衡算法是有问题的 ,生产环境还需要重新设计
- 我这里由于consul中设置的是 故障检查失败后30s才删除服务,所以会导致 网站有短暂的不可访问,解决办法:
- 1 缩短故障检查失败后删除时间间隔,
- 2 在定时器中做健康检查,发现异常,直接删除缓存中的数据
总结:
实现nginx无reload 即可更新配置的的要点
需要利用lua_shared_dict 参数来实现多个进程间共享数据,
通过 定时器 ngx.timer.at 实现定时更新数据