百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

OpenResty+Lua限流实战_openresty 限流

off999 2025-02-16 22:27 35 浏览 0 评论

OpenResty+Lua限流实战

当业务量越来越大的时候，为了能保证服务的运行，限流是必不可少的！OpenResty是一个高性能网关

OpenResty? is a dynamic web platform based on NGINX and LuaJIT.

OpenResty = Nginx + Lua，Lua是高性能脚本语言，有着C语言的执行效率但是又比C简单，能很方便的扩展OpenResty 的功能。

Lua 是由巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组于1993年开发的一种轻量、小巧的脚本语言，用标准 C 语言编写，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。

官网：http://www.lua.org/

实战环境

docker + CentOS8 + Openresty 1.17.8.2

Lua限流模块

https://github.com/openresty/lua-resty-limit-traffic

Lua的库一般都是小巧轻便且功能都具备，这个限流库核心文件一共就四个，几百行代码就能实现限流功能，Lua的其他库也是这样，比如redis的库还是Http的库，麻雀虽小五脏俱全！

环境准备

docker run -dit --name gw ?--privileged centos /usr/sbin/init
docker exec -it gw bash

在gw中

# 安装openresty
yum install -y yum-utils
yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
yum install -y openresty

# 安装工具等
yum install -y net-tools vim telnet git httpd

# Openresty自带了lua-resty-limit-traffic组件，如果没有带，下载到/usr/local/openresty/lualib/resty/limit/文件夹即可
# 下载lua-resty-limit-traffic组件
[ `ls /usr/local/openresty/lualib/resty/limit/ | wc -l` = 0 ] && ?echo '请安装限速组件' || echo '已经安装限速组件'
# 安装了请忽略
cd ~ && git clone https://github.com/openresty/lua-resty-limit-traffic.git
mkdir -p /usr/local/openresty/lualib/resty/limit/
cp  lua-resty-limit-traffic/lib/resty/limit/*.lua /usr/local/openresty/lualib/resty/limit/

# 启动openresy
openresty

限并发

场景：按照 ip 限制其并发连

参考：
https://moonbingbing.gitbooks.io/openresty-best-practices/content/ngx_lua/lua-limit.html
https://github.com/openresty/lua-resty-limit-traffic/blob/master/lib/resty/limit/conn.md
https://developer.aliyun.com/article/759299

原理：lua_share_dict是nginx所有woker和lua runtime共享的，当一个请求来，往lua_share_dict记录键值对ip地址:1，当请求完成时再-1，再来一个在+1，设置一个上限5，当超过5时则拒绝请求，一定要注意内部重定向的问题！

  • OpenResty执行阶段 tag：lua执行流程;执行阶段;openresty执行流程
  • 为啥access_by_lua执行两次

环境搭建

新建utils/limit_conn.lua模块

mkdir -p /usr/local/openresty/lualib/utils
cat > /usr/local/openresty/lualib/utils/limit_conn.lua <= 0.001 then
 ? ? ?  ngx.log(ngx.WARN, "delaying conn, excess ", delay,
 ? ? ? ? ? ? ? ?"s per binary_remote_addr by limit_conn_store")
 ? ? ?  ngx.sleep(delay)
 ?  end
end

function _M.leaving()
 ?  local ctx = ngx.ctx
 ?  local key = ctx.limit_conn_key
 ? ?if key then
 ? ? ?  local latency = tonumber(ngx.var.request_time) - ctx.limit_conn_delay
 ? ? ?  local conn, err = limit:leaving(key, latency)
 ? ? ? ?if not conn then
 ? ? ? ? ?  ngx.log(ngx.ERR,
 ? ? ? ? ? ?"failed to record the connection leaving ",
 ? ? ? ? ? ?"request: ", err)
 ? ? ?  end
 ?  end
end

return _M

EOF

重点在于这句话local limit, limit_err = limit_conn.new("limit_conn_store", 8, 2, 0.05)，允许的最大并发为常规的8个，突发的2个，一共8+2=10个并发，详情参考
https://github.com/openresty/lua-resty-limit-traffic/blob/master/lib/resty/limit/conn.md#new

被拒绝的请求直接返回503

if err == "rejected" then
 ? ?return ngx.exit(503) -- 超过的请求直接返回503
end

修改nginx配置文件

# 备份一下配置文件
cd /usr/local/openresty/nginx/conf/ && \cp nginx.conf nginx.conf.bak

# 添加配置
echo '' > /usr/local/openresty/nginx/conf/nginx.conf
vim /usr/local/openresty/nginx/conf/nginx.conf

添加如下内容

worker_processes  1;

events {
 ? ?worker_connections  1024;
}
http {
 ? ?include ? ? ? mime.types;
 ? ?default_type  application/octet-stream;
 ? ?sendfile ? ? ?  on;
 ? ?keepalive_timeout  65;
 ? ?lua_code_cache on; ? ?
 ? 
 ? ?# 注意 limit_conn_store 的大小需要足够放置限流所需的键值。
 ? ?# 每个 $binary_remote_addr 大小不会超过 16 字节(IPv6 情况下)，算上 lua_shared_dict 的节点大小，总共不到 64 字节。
 ? ?# 100M 可以放 1.6M 个键值对
 ? ?lua_shared_dict limit_conn_store 100M;
 ? ?
 ? ?server {
 ? ? ? ?listen 80;
 ? ? ? ?location / {
 ? ? ? ? ? ?access_by_lua_block {
 ? ? ? ? ? ? ? ?local limit_conn = require "utils.limit_conn"
 ? ? ? ? ? ? ? ?-- 对于内部重定向或子请求，不进行限制。因为这些并不是真正对外的请求。
 ? ? ? ? ? ? ? ?if ngx.req.is_internal() then
 ? ? ? ? ? ? ? ? ?  ngx.log(ngx.INFO,">> 内部重定向")
 ? ? ? ? ? ? ? ? ? ?return
 ? ? ? ? ? ? ? ?end
 ? ? ? ? ? ? ? ?limit_conn.incoming()
 ? ? ? ? ? ? ?  ngx.log(ngx.INFO,">>> 请求进来了！")
 ? ? ? ? ?  }
 ? ? ? ? ? ?content_by_lua_block {
 ? ? ? ? ? ? ? ?-- 模拟请求处理时间，很重要，不加可能测试不出效果
 ? ? ? ? ? ? ? ?-- 生产中没有请求是只返回一个静态的index.html的！
 ? ? ? ? ? ? ?  ngx.sleep(0.5)
 ? ? ? ? ?  }
 ? ? ? ? ? ?log_by_lua_block {
 ? ? ? ? ? ? ? ?local limit_conn = require "utils.limit_conn"
 ? ? ? ? ? ? ? ?limit_conn.leaving()
 ? ? ? ? ? ? ?  ngx.log(ngx.INFO,">>> 请求离开了！")
 ? ? ? ? ?  }
 ? ? ? ? ? ?
 ? ? ?  }
 ?  }
}

重点在于这句话，模拟每个请求0.5秒处理完成

content_by_lua_block {
    ngx.sleep(0.5)
}

注意在限制连接的代码里面，我们用 ngx.ctx 来存储 limit_conn_key。这里有一个坑。内部重定向（比如调用了 ngx.exec）会销毁 ngx.ctx，导致 limit_conn:leaving() 无法正确调用。 如果需要限连业务里有用到 ngx.exec，可以考虑改用 ngx.var 而不是 ngx.ctx，或者另外设计一套存储方式。只要能保证请求结束时能及时调用 limit:leaving() 即可。

重新加载配置文件

openresty -s reload

测试

上面的配置是每个请求处理0.5秒，并发是10

  • 10个请求，并发为1
ab -n 10 -c 1 ?127.0.0.1/

# 请求全部成功，用时5s左右
Concurrency Level: ? ? ?1
Time taken for tests: ? 5.012 seconds 
Complete requests: ? ? ?10 
Failed requests: ? ? ? ?0
  • 10个请求，并发为10
ab -n 10 -c 10 ?127.0.0.1/

# 请求全部成功，用时1.5s左右
Concurrency Level: ? ? ?10
Time taken for tests: ? 1.505 seconds
Complete requests: ? ? ?10
Failed requests: ? ? ? ?0
  • 20个请求，并发为10，并发为10并不会触发限制条件，所以能成功！注意和下面并发11的区别！
ab -n 20 -c 10 ?127.0.0.1/

# 请求全部成功，用时2s左右
Concurrency Level: ? ? ?10
Time taken for tests: ? 2.005 seconds
Complete requests: ? ? ?20
Failed requests: ? ? ? ?0
  • 22个请求，并发为11 重点解释一下：并发不是qps，并发11不是说第一秒发11个请求，然后第二秒再发送11个请求，而是发完第一波紧接着发第二波，每一波的间隔时间不一定是1秒，下面的1.506 seconds就能看出来，按理应该是2s但是并不是第一波11个请求发送过去了，但是只能处理10个，所以成功了10个，紧接着第二波11个请求发过去了，但是第一波大部分未处理完成所以第二波的都失败了，也有处理完成了的可以接着处理，所以至少会成功10个，下面显示的是11个此处的大量失败应该是并发超过了10，触发了限制条件让nginx worker线程睡眠了，所以导致后面的请求大量失败-- 触发限制条件
    if delay >= 0.001 then
    ngx.sleep(delay) -- ngx worker睡眠
    end
ab -n 22 -c 11 ?127.0.0.1/

# 11个成功，11个失败
Concurrency Level: ? ? ?11
Time taken for tests: ? 1.506 seconds
Complete requests: ? ? ?22
Failed requests: ? ? ? ?11
Non-2xx responses: ? ? ?11 # HTTP状态非2xx的有11个，说明限并发成功（只有有非2xx的返回才会显示这句话）

反向代理

上面测试的是content_by_lua，也就是内容直接在lua中生成，但是实际中内容有可能是后端服务器生成的，所以可以设置反向代理或者负载均衡，如下为反向代理配置

location / {
 ? ?access_by_lua_block {
 ? ? ? ?local limit_conn = require "utils.limit_conn"
 ? ? ? ?-- 对于内部重定向或子请求，不进行限制。因为这些并不是真正对外的请求。
 ? ? ? ?if ngx.req.is_internal() then
 ? ? ?      return
 ? ? ? ?end
 ? ? ? ?limit_conn.incoming()
 ?  }
 ? ?log_by_lua_block {
 ? ? ? ?local limit_conn = require "utils.limit_conn"
 ? ? ? ?limit_conn.leaving()
 ?  }
 ? ?
 ? ?# 反向代理
 ? ?proxy_pass http://172.17.0.3:8080;
 ? ?proxy_set_header Host $host;
 ? ?proxy_redirect off;
 ? ?proxy_set_header X-Real-IP $remote_addr;
 ? ?proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 ? ?proxy_connect_timeout 60;
 ? ?proxy_read_timeout 600;
 ? ?proxy_send_timeout 600;

}

内部重定向

location / {
 ?access_by_lua_block {...}
 ?content_by_lua_block {...}
 ?log_by_lua_block {...}
}

nginx是按照阶段来执行指令的，和配置文件顺序没有关系，nginx是先执行access_by_lua_block，再执行content_by_lua_block，最后执行log_by_lua_block的，当在访问curl 127.0.0.1/时，如果没有content_by_lua_block，这里有一个内部重定向，会将127.0.0.1/的请求重定向到127.0.0.1/index.html，所以会按顺序再次执行access_by_lua_block，所以access_by_lua_block执行了两次，log_by_lua_block却执行了一次，当时的我十分懵逼，而加上content_by_lua或者proxy_pass则不会导致重定向，总之有内容来源时不会重定向，没有则会去找index.html导致重定向！

测试

vim /usr/local/openresty/nginx/conf/nginx.conf

# 修改成如下内容
server {
  listen 80;
  location / {
 ? ?  access_by_lua_block {
 ? ? ? ?  ngx.log(ngx.ERR,">>> access")
 ? ?  }
 ? ?  log_by_lua_block {
 ? ? ? ?  ngx.log(ngx.ERR,">>> log")
 ? ?  }
  }
}

# 查看日志
tail -f /usr/local/openresty/nginx/logs/error.log
  • 测试curl 127.0.0.1日志输出如下 access_by_lua_block执行了两次，并且页面上的内容是index.html的内容，说明发生了重定向 如果加上index.html，即curl 127.0.0.1/index.html，则不会发生重定向
...[lua] access_by_lua(nginx.conf:24):2: >>> access, client: 127.0.0.1, server: , request: "GET / HTTP/1.1", host: "127.0.0.1"
...[lua] access_by_lua(nginx.conf:24):2: >>> access, client: 127.0.0.1, server: , request: "GET / HTTP/1.1", host: "127.0.0.1"
...[lua] log_by_lua(nginx.conf:27):2: >>> log while logging request, client: 127.0.0.1, server: , request: "GET / HTTP/1.1", host: "127.0.0.1"
  • 加上content_by_lua则访问http://127.0.0.1不会发生重定向

lua初始化

这句话local limit_conn = require "utils.limit_conn"，limit_conn中的local limit, limit_err = limit_conn.new("limit_conn_store", 8, 2, 0.05)只会初始化一次，之后都是用的都一个实例，不会每个请求进来都要new一个limit_conn有点浪费性能而且还把参数都重置了，是不可取的，所以封装到了utils.limit_conn中！

限制接口时间窗请求数(非平滑)

场景：限制 ip 每1s只能调用 10 次（允许在时间段开始的时候一次性放过10个请求）也就是说，速率不是固定的

也可以设置成别的，比如120/min，只需要修改个数和时间窗口（resty.limit.count和resty.limit.req区别在于：前者传入的是个数，后者传入的是速率）

新建utils/limit_count.lua模块

mkdir -p /usr/local/openresty/lualib/utils
cat > /usr/local/openresty/lualib/utils/limit_count.lua <

修改nginx配置文件

echo '' > /usr/local/openresty/nginx/conf/nginx.conf
vim /usr/local/openresty/nginx/conf/nginx.conf

添加如下内容

worker_processes  1;

events {
 ? ?worker_connections  1024;
}
http {
 ? ?include ? ? ? mime.types;
 ? ?default_type  application/octet-stream;
 ? ?sendfile ? ? ?  on;
 ? ?keepalive_timeout  65;
 ? ?lua_code_cache on; ? ?
 ? 
 ? ?lua_shared_dict my_limit_count_store 100M;
 ? ?
 ? ?# resty.limit.count 需要resty.core
 ? ?init_by_lua_block {
        require "resty.core"
    }
 ? ?
 ? ?server {
 ? ? ? ?listen 80;
 ? ? ? ?location / {
 ? ? ? ? ? ?access_by_lua_block {
 ? ? ? ? ? ? ? ?local limit_count = require "utils.limit_count"
 ? ? ? ? ? ? ? ?-- 对于内部重定向或子请求，不进行限制。因为这些并不是真正对外的请求。
 ? ? ? ? ? ? ? ?if ngx.req.is_internal() then
 ? ? ? ? ? ? ? ? ? ?return
 ? ? ? ? ? ? ? ?end
 ? ? ? ? ? ? ?  limit_count.incoming()
 ? ? ? ? ?  } ? ? ? ? ? ?
 ? ? ? ? ? ?
 ? ? ? ? ? ?content_by_lua_block {
 ? ? ? ? ? ? ?  ngx.sleep(0.1)
 ? ? ? ? ? ? ?  ngx.say('Hello')
 ? ? ? ? ?  }
 ? ? ? ? ? ?# 如果内容源是反向代理
 ? ? ? ? ? ?#proxy_pass http://172.17.0.3:8080;
 ? ? ? ? ? ?#proxy_set_header Host $host;
 ? ? ? ? ? ?#proxy_redirect off;
 ? ? ? ? ? ?#proxy_set_header X-Real-IP $remote_addr;
 ? ? ? ? ? ?#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 ? ? ? ? ? ?#proxy_connect_timeout 60;
 ? ? ? ? ? ?#proxy_read_timeout 600;
 ? ? ? ? ? ?#proxy_send_timeout 600;

 ? ? ?  }
 ?  }
}

重新加载配置文件

openresty -s reload

测试

上面的配置是10/s，不叠加

  • 10个请求，并发为10，1s内完成
ab -n 10 -c 10 ?127.0.0.1/

# 请求全部成功
Concurrency Level: ? ? ?10
Time taken for tests: ? 0.202 seconds
Complete requests: ? ? ?10
Failed requests: ? ? ? ?0
  • 20个请求，并发为20，1s内完成
ab -n 20 -c 20 ?127.0.0.1/

# 请求成功10个，其余全部失败
Concurrency Level: ? ? ?20
Time taken for tests: ? 0.202 seconds
Complete requests: ? ? ?20
Failed requests: ? ? ? ?10
 ? (Connect: 0, Receive: 0, Length: 10, Exceptions: 0)
Non-2xx responses: ? ? ?10
  • 查看请求头curl -I 127.0.0.1，可以看到接口限流信息

HTTP/1.1 200 OK
Server: openresty/1.17.8.2
Date: Sat, 12 Sep 2020 09:46:06 GMT
Content-Type: application/octet-stream
Connection: keep-alive
X-RateLimit-Limit: 10 # 当前限制10个
X-RateLimit-Remaining: 9 # 剩余9个

限制接口时间窗请求数(平滑)

桶（无容量）

场景：限制 ip 每1min只能调用 120次（平滑处理请求，即每秒放过2个请求），速率是固定的，并且桶没有容量(容量为0)

新建utils/limit_req_bucket.lua模块

mkdir -p /usr/local/openresty/lualib/utils
cat > /usr/local/openresty/lualib/utils/limit_req_bucket.lua <

修改nginx配置文件

echo '' > /usr/local/openresty/nginx/conf/nginx.conf
vim /usr/local/openresty/nginx/conf/nginx.conf

添加如下内容

worker_processes  1;

events {
 ? ?worker_connections  1024;
}
http {
 ? ?include ? ? ? mime.types;
 ? ?default_type  application/octet-stream;
 ? ?sendfile ? ? ?  on;
 ? ?keepalive_timeout  65;
 ? ?lua_code_cache on; ? ?
 ? 
 ? ?lua_shared_dict my_limit_req_store 100M;
 ? ?
 ? ?server {
 ? ? ? ?listen 80;
 ? ? ? ?location / {
 ? ? ? ? ? ?access_by_lua_block {
 ? ? ? ? ? ? ? ?local limit_count = require "utils.limit_req_bucket"
 ? ? ? ? ? ? ? ?-- 对于内部重定向或子请求，不进行限制。因为这些并不是真正对外的请求。
 ? ? ? ? ? ? ? ?if ngx.req.is_internal() then
 ? ? ? ? ? ? ? ? ? ?return
 ? ? ? ? ? ? ? ?end
 ? ? ? ? ? ? ?  limit_count.incoming()
 ? ? ? ? ?  } ? ? ? ? ? ?
 ? ? ? ? ? ?
 ? ? ? ? ? ?content_by_lua_block {
 ? ? ? ? ? ? ?  ngx.sleep(0.1)
 ? ? ? ? ? ? ?  ngx.say('Hello')
 ? ? ? ? ?  }
 ? ? ? ? ? ?# 如果内容源是反向代理
 ? ? ? ? ? ?#proxy_pass http://172.17.0.3:8080;
 ? ? ? ? ? ?#proxy_set_header Host $host;
 ? ? ? ? ? ?#proxy_redirect off;
 ? ? ? ? ? ?#proxy_set_header X-Real-IP $remote_addr;
 ? ? ? ? ? ?#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 ? ? ? ? ? ?#proxy_connect_timeout 60;
 ? ? ? ? ? ?#proxy_read_timeout 600;
 ? ? ? ? ? ?#proxy_send_timeout 600;

 ? ? ?  }
 ?  }
}

重新加载配置文件

openresty -s reload

测试

上面的配置是2/s即为120/min

  • 请求时间限制为1s
ab -t 1 127.0.0.1/

# 实际请求1.1s，成功3个请求，符合预期
Time taken for tests: ? 1.100 seconds
Complete requests: ? ? ?8656
Failed requests: ? ? ? ?8653
 ? (Connect: 0, Receive: 0, Length: 8653, Exceptions: 0)
Non-2xx responses: ? ? ?8653
  • 请求时间限制为5s
ab -t 5 127.0.0.1/

# 实际请求5.1s，成功11个请求，符合预期
Concurrency Level: ? ? ?1
Time taken for tests: ? 5.100 seconds
Complete requests: ? ? ?40054
Failed requests: ? ? ? ?40043
 ? (Connect: 0, Receive: 0, Length: 40043, Exceptions: 0)
Non-2xx responses: ? ? ?40043

漏桶（有桶容量）

场景：限制 ip 每1min只能调用 120次（平滑处理请求，即每秒放过2个请求），速率是固定的，并且桶的容量有容量（设置burst）

新建utils/limit_req_leaky_bucket.lua模块

只需要在桶（无容量）的基础之上增加burst的值即可，并且增加delay的处理

mkdir -p /usr/local/openresty/lualib/utils
cat > /usr/local/openresty/lualib/utils/limit_req_leaky_bucket.lua <= 0.001 then
 ? ? ? ?ngx.sleep(delay)
 ? ?end
end

return _M

EOF

修改nginx配置文件

echo '' > /usr/local/openresty/nginx/conf/nginx.conf
vim /usr/local/openresty/nginx/conf/nginx.conf

添加如下内容

worker_processes  1;

events {
 ? ?worker_connections  1024;
}
http {
 ? ?include ? ? ? mime.types;
 ? ?default_type  application/octet-stream;
 ? ?sendfile ? ? ?  on;
 ? ?keepalive_timeout  65;
 ? ?lua_code_cache on; ? ?
 ? 
 ? ?lua_shared_dict my_limit_req_store 100M;
 ? ?
 ? ?server {
 ? ? ? ?listen 80;
 ? ? ? ?location / {
 ? ? ? ? ? ?access_by_lua_block {
 ? ? ? ? ? ? ? ?local limit_count = require "utils.limit_req_leaky_bucket"
 ? ? ? ? ? ? ? ?-- 对于内部重定向或子请求，不进行限制。因为这些并不是真正对外的请求。
 ? ? ? ? ? ? ? ?if ngx.req.is_internal() then
 ? ? ? ? ? ? ? ? ? ?return
 ? ? ? ? ? ? ? ?end
 ? ? ? ? ? ? ?  limit_count.incoming()
 ? ? ? ? ?  } ? ? ? ? ? ?
 ? ? ? ? ? ?
 ? ? ? ? ? ?content_by_lua_block {
 ? ? ? ? ? ? ? ?-- 模拟每个请求的耗时
 ? ? ? ? ? ? ?  ngx.sleep(0.1)
 ? ? ? ? ? ? ?  ngx.say('Hello')
 ? ? ? ? ?  }
 ? ? ? ? ? ?# 如果内容源是反向代理
 ? ? ? ? ? ?#proxy_pass http://172.17.0.3:8080;
 ? ? ? ? ? ?#proxy_set_header Host $host;
 ? ? ? ? ? ?#proxy_redirect off;
 ? ? ? ? ? ?#proxy_set_header X-Real-IP $remote_addr;
 ? ? ? ? ? ?#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 ? ? ? ? ? ?#proxy_connect_timeout 60;
 ? ? ? ? ? ?#proxy_read_timeout 600;
 ? ? ? ? ? ?#proxy_send_timeout 600;

 ? ? ?  }
 ?  }
}

重新加载配置文件

openresty -s reload

测试

上面的配置是2/s，漏桶容量为1/s，即总共3/s，模拟的每个请求耗时为0.1s，那么1s内能处理至少10个请求

  • 请求时间限制为1s
ab -t 1 127.0.0.1/

# 实际请求1.102s，成功3个请求，1s两个请求，一个是delay，符合预期
Time taken for tests: ? 1.103 seconds
Complete requests: ? ? ?3
Failed requests: ? ? ? ?0

令牌桶

场景：限制 ip 每1min只能调用 120次（平滑处理请求，即每秒放过2个请求），但是允许一定的突发流量（突发的流量，就是桶的容量（桶容量为60），超过桶容量直接拒绝

令牌桶其实可以看着是漏桶的逆操作，看我们对把超过请求速率而进入桶中的请求如何处理，如果是我们把这部分请求放入到等待队列中去，那么其实就是用了漏桶算法，但是如果我们允许直接处理这部分的突发请求，其实就是使用了令牌桶算法。

这边只要将上面漏桶算法关于桶中请求的延时处理的代码修改成直接送到后端服务就可以了，这样便是使用了令牌桶

新建utils/limit_req_token_bucket.lua模块

mkdir -p /usr/local/openresty/lualib/utils
cat > /usr/local/openresty/lualib/utils/limit_req_token_bucket.lua <= 0.001 then
 ? ? ? ?-- 不做任何操作，直接放行突发流量
 ? ? ? ?-- ngx.sleep(delay)
 ? ?end
end

return _M

EOF

修改nginx配置文件

echo '' > /usr/local/openresty/nginx/conf/nginx.conf
vim /usr/local/openresty/nginx/conf/nginx.conf

添加如下内容

worker_processes  1;

events {
 ? ?worker_connections  1024;
}
http {
 ? ?include ? ? ? mime.types;
 ? ?default_type  application/octet-stream;
 ? ?sendfile ? ? ?  on;
 ? ?keepalive_timeout  65;
 ? ?lua_code_cache on; ? ?
 ? 
 ? ?lua_shared_dict my_limit_req_store 100M;
 ? ?
 ? ?server {
 ? ? ? ?listen 80;
 ? ? ? ?location / {
 ? ? ? ? ? ?access_by_lua_block {
 ? ? ? ? ? ? ? ?local limit_count = require "utils.limit_req_token_bucket"
 ? ? ? ? ? ? ? ?-- 对于内部重定向或子请求，不进行限制。因为这些并不是真正对外的请求。
 ? ? ? ? ? ? ? ?if ngx.req.is_internal() then
 ? ? ? ? ? ? ? ? ? ?return
 ? ? ? ? ? ? ? ?end
 ? ? ? ? ? ? ?  limit_count.incoming()
 ? ? ? ? ?  } ? ? ? ? ? ?
 ? ? ? ? ? ?
 ? ? ? ? ? ?content_by_lua_block {
 ? ? ? ? ? ? ? ?-- 模拟每个请求的耗时
 ? ? ? ? ? ? ?  ngx.sleep(0.1)
 ? ? ? ? ? ? ?  ngx.say('Hello')
 ? ? ? ? ?  }
 ? ? ? ? ? ?# 如果内容源是反向代理
 ? ? ? ? ? ?#proxy_pass http://172.17.0.3:8080;
 ? ? ? ? ? ?#proxy_set_header Host $host;
 ? ? ? ? ? ?#proxy_redirect off;
 ? ? ? ? ? ?#proxy_set_header X-Real-IP $remote_addr;
 ? ? ? ? ? ?#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 ? ? ? ? ? ?#proxy_connect_timeout 60;
 ? ? ? ? ? ?#proxy_read_timeout 600;
 ? ? ? ? ? ?#proxy_send_timeout 600;

 ? ? ?  }
 ?  }
}

重新加载配置文件

openresty -s reload

测试

上面模拟的每个请求耗时为0.1s，那么1s内能处理至少10个请求

  • 时间限制为1s
ab -n 10 -c 10 ?-t 1 127.0.0.1/

# 实际请求1s，成功13个请求，可以看到是远远超过2个请求的，多余就是在处理突发请求
Concurrency Level: ? ? ?10
Time taken for tests: ? 1.000 seconds
Complete requests: ? ? ?12756
Failed requests: ? ? ? ?12743
 ? (Connect: 0, Receive: 0, Length: 12743, Exceptions: 0)
Non-2xx responses: ? ? ?12743

组合各种limter

上面的三种限速器conn、count、req可以进行各种组合，比如一个限速器是限制主机名的，一个是限制ip的，可以组合起来使用

参考：
https://github.com/openresty/lua-resty-limit-traffic/blob/master/lib/resty/limit/traffic.md

相关推荐

用python3 实现生成二维码代码示例

要实现生成离线二维码，你可以使用qrcode库。下面是一个示例代码：```pythonimportqrcode#生成离线二维码函数defgenerate_qr_code(image_path,...

在 Excel 中实现二维码生成+手机扫码功能，可通过以下 3 种方法操作

在Excel中实现二维码生成+手机扫码功能，可通过以下3种方法操作（附详细步骤）：方法1：插入二维码图片（静态）适用：快速生成固定内容的二维码步骤：安装二维码插件（如「BarcodeFon...

Python 生成条形码、二维码 (Code 128、EAN-13、QR code等)

条形码和二维码是现代信息交换和数据存储的重要工具，它们将信息以图形的形式编码，便于机器识别和数据处理，被广泛应用于物流、零售、医疗、教育等各领域。本文将介绍如何使用Python快速生成各种常见的条形码...

Python制作二维码_python制作二维码 插件

文/陈新龙二维码又称二维条码，是用某种特定的几何图形按一定规律在平面（二维方向上）分布的、黑白相间的、记录数据符号信息的图形。而不同种类的二维码遵循的规律就是码制，常用的码制有：DataMatrix...

python如何实现二维码的生成和识别

安装：pipinstallmyqrpipinstallpyzbrpipinstallpil报错请切换pipinstallpillow最后，小编想说：我是一名python开发工程师，...

Python 虚拟环境是什么?它到底是怎么工作的?

刚开始学Python的时候，经常有人会告诉你一句话：“一定要用虚拟环境！”那问题来了：什么是虚拟环境？它为什么这么重要？它背后到底是怎么运作的？先看问题：依赖地狱Python项目往往依赖很多第三...

trae 配置 python 开发环境_python interpreter配置

安装python解释器安装包Anaconda3-2021.05对应python3.8.8版本（兼容win7的最新的Anaconda安装包）安装的时候，选择设置path路径。下载地址mirro...

零基础学MCP(2)| MCP 开发环境配置

2025最新实战指南：10分钟搭建跨平台MCP开发环境，支持Python/Node.js双生态一、环境准备：跨平台兼容方案在开始MCP开发前，确保你的系统满足以下条件：组件要求检测命令操作系统Wind...

实用小技巧:三分钟教会在python使用虚拟环境(virtualenv)

简介virtualenv可以通过搭建虚拟且独立的Python环境，将我们所需的依赖安装进去。这样就可以使每个项目环境与其他项目独立开来，保持环境的干净，同时也解决了包冲突的问题注意win使用虚拟环...

一键搞定环境变量配置:管理员权限下的.bat脚本神器

在Windows系统运维与开发场景中，环境变量配置堪称基础却棘手的环节。手动操作不仅步骤繁琐，还易因路径拼写错误、权限不足导致配置失效。今日热贴中这款“快速设置环境变量脚本.bat”，正以自动化优势...

如何在PyCharm中配置虚拟环境?_pycharm使用虚拟环境

若要使用PyCharm工具开发Flask程序，既可以另行创建新的虚拟环境，也可以使用创建好的虚拟环境进行开发。接下来，在PyCharm工具中新建一个项目，并为该项目配置虚拟环境flask_env。首次...

在MBP上面设置python虚拟环境三步骤

为测试python脚本需求新搞了一台MBP，平常用惯了Windows系统，还没在MAC上整过，经过实践整理配置步骤如下，给有同样需求的小伙伴们参考第一步：pipinstall安装前先确认自己已经安装...

MCP零基础学习(2):开发环境配置指南

2025全新实战指南：10分钟搭建跨平台MCP开发环境，兼容Python与Node.js双生态一、环境准备：跨平台兼容方案在开始MCP开发前，确保你的系统满足以下条件：组件要求检测命令操作系统Wind...

Flask框架学习之环境配置_flask框架安装与配置

Flask框架作为轻量级Web应用框架，最大的特征是轻便灵活，第三方库的选择面广，容易上手，试错成本低。为了帮助大家学习并掌握Flask框架，本文将会带着大家一步步的完成Flask安装的环境配置工作，...

Python 模型部署不用愁!容器化实战，5 分钟搞定环境配置

你是不是也遇到过这种糟心事：花了好几天训练出的Python模型，在自己电脑上跑得顺顺当当，一放到服务器就各种报错。要么是Python版本不对，要么是依赖库冲突，折腾半天还是用不了。别再喊“我...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.