百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Nginx借助lua-resty-upload库获取Post(form-data)的请求参数

off999 2025-03-03 19:46 48 浏览 0 评论

导读:本文将讨论如何实现 Nginx 接收 Post 请求(数据格式为 form-data),并将 RequestBody 按照规定的 format 格式写入到 Nginx 的日志中。下面将分为以下几点展开讨论:

  • Post 请求中 form-data 和 x-www-form 格式的区别
  • Lua 在 Nginx 中的应用及 lua-resty-upload 库
  • Lua 脚本具体实现
  • 配置 Nginx 日志格式
  • 配置 Nginx Server
  • 用 POSTMAN 模拟请求并观察日志输出

Post 请求中 form-data 和 x-www-form 格式的区别

下面这篇文章很详细地描述了两者数据格式间的区别.

https://www.cnblogs.com/k5210202/p/13819449.html

这里我们重点关注 form-data 数据格式。form-data 是一种重视数据的方式,通常我们在 value 值中会发送大量的文本信息或者直接传送一个文件,数据直接编码为二进制发送,不会产生多余的字节,比较适合大文本的传输。下面是一个典型的 form-data 数据格式:

POST /users/ HTTP/1.1
Host: localhost:8000
Content-Type: multipart/form-data; boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW

------WebKitFormBoundary7MA4YWxkTrZu0gW--,
Content-Disposition: form-data; name="country"

中国
------WebKitFormBoundary7MA4YWxkTrZu0gW--
Content-Disposition: form-data; name="city"

北京
------WebKitFormBoundary7MA4YWxkTrZu0gW--

解析:在header头信息中,Content-Type: multipart/form-data; boundary=
----WebKitFormBoundary7MA4YWxkTrZu0gW 分别指定了格式和
boundary(分割字符串),在body中使用了这个 boundary 指定的字符串作为分割,从而可以轻易地还原为key:value的形式

Lua 在 Nginx 中的应用及 lua-resty-upload 库

为了灵活实现上述场景,这里我使用 OpenResty 提供的 lua-nginx-module 方案实现 Nginx Lua 扩展。关于 Lua 在 Nginx 中的应用在下面的文章中已详细描述,这里笔者就不再赘述。

https://www.cnblogs.com/wangzhaobo/p/12768707.html

获取 Post 请求采用默认的 “x-www-form-urlencoded” 数据格式的请求参数比较简单,我们只需要通过以下代码即可实现:

local args, err = ngx.req.get_post_args()

而要实现对于 "multipart/form-data" 格式的 POST 参数获取,我们需借助 lua-resty-upload 库。以下是该 Lua 库的 github 地址以及实现的理念。

https://github.com/openresty/lua-resty-upload

Lua 脚本具体实现

该 Lua 脚本主要由三个方法组成:

  • split() 方法用于切割字符串
  • post_form_data() 核心方法,将数据处理成键值对存放到 Lua Table 中
  • table2json() 将 Lua Table 转换为 json 字符串形式
package.path  = '/usr/local/nginx/conf/?.lua;;' .. package.path

local args = {}
local upload = require "resty.upload";
local cjson = require "cjson"
local chunk_size = 4096
local form, err = upload:new(chunk_size)

function split(s, delim)

    if type(delim) ~= "string" or string.len(delim) <= 0 then
        return nil
    end
 
    local start = 1
    local t = {}

    while true do
        local pos = string.find (s, delim, start, true)
        
        if not pos then
            break
        end
 
        table.insert (t, string.sub (s, start, pos - 1))
        start = pos + string.len (delim)
    end

    table.insert (t, string.sub (s, start))
 
    return t
end


function post_form_data(form,err)

  if not form then
    ngx.say(ngx.ERR, "failed to new upload: ", err)
    ngx.exit(500)
  end

  form:set_timeout(1000)

  local paramTable = {["s"]=1}
  local tempkey = ""
  while true do
    local typ, res, err = form:read()
    if not typ then
        ngx.say("failed to read: ", err)
        return {}
    end
    local key = ""
    local value = ""
    if typ == "header" then
    	local key_res = split(res[2],";")
   	key_res = key_res[2]
    	key_res = split(key_res,"=")
    	key = (string.gsub(key_res[2],"\"",""))
    	paramTable[key] = ""
    	tempkey = key
    end	
    if typ == "body" then
    	value = res
    	if paramTable.s ~= nil then paramTable.s = nil end
    	paramTable[tempkey] = value
    end
    if typ == "eof" then
        break
    end
  end
  return paramTable
 end

args = post_form_data(form,err)		

function table2json(t)
        local function serialize(tbl)
                local tmp = {}
                for k, v in pairs(tbl) do
                        local k_type = type(k)
                        local v_type = type(v)
                        local key = (k_type == "string" and "\"" .. k .. "\":")
                            or (k_type == "number" and "")
                        local value = (v_type == "table" and serialize(v))
                            or (v_type == "boolean" and tostring(v))
                            or (v_type == "string" and "\"" .. v .. "\"")
                            or (v_type == "number" and v)
                        tmp[#tmp + 1] = key and value and tostring(key) .. tostring(value) or nil
                end
                if table.maxn(tbl) == 0 then
                        return "{" .. table.concat(tmp, ",") .. "}"
                else
                        return "[" .. table.concat(tmp, ",") .. "]"
                end
        end
        assert(type(t) == "table")
        return serialize(t)
end

ngx.var.request_body_data = table2json(args);
ngx.say('{"code":0,"message":""}');

配置 Nginx 日志格式

这里按实际需求定义了一个 Nginx 日志 Format(这里有一个细节,由于 $request_body 是默认变量,所以笔者将自己处理完的请求体内容存于 $request_body_data 变量中)。

http {
   ... 省略其他内容
  log_format  yw_log        escape=json '{'
                                                                '"timestamp":"$time_iso8601",'
                                                                '"host":"$host",'
                                                                '"remote_addr":"$remote_addr",'
                                                                '"request_method":"$request_method",'
                                                                '"request_uri":"$request_uri",'
                                                                '"request_status":"$status",'
                                                                '"request_length":$request_length,'
                                                                '"request_time":$request_time,'
                                                                '"request_body":"$request_body_data"'
                                                                '}';
}

配置 Nginx Server

配置一个 uri,并指定我们编写好的 Lua 脚本运行的时机,最后指定日志输出的位置。

     location ~ ^/api/yw/(\w+) {
            # lua_need_request_body on;
            set $request_body_data '';
            content_by_lua_file conf/lua-script/mulformData.lua;
            set  $log_name "$1";
            access_log  /data/logs/nginx/${log_name}.log  yw_log;
        }

这里笔者踩了一个坑,就是被注释掉的这句 “lua_need_request_body on” 。 假设开启的话,那么当我们编写的 mulformData.lua 脚本执行到 upload:new(chunk_size) 这句代码时就会出现如下错误:

Failed to new upload: request body already exists

因为开启 lua_need_request_body 会导致你的 Lua 代码被执行前,请求体就被 ngx_lua 自动读取完毕了,所以报了 request body already exists。解决方案则是将其注释即可,默认 off。


用 POSTMAN 模拟 Post form-data 请求

我们查看 Nginx 日志结果输出,自此我们便成功的得到了请求参数,并按我们想要的格式写入到 Nginx 的日志中。

最后

以上就是关于笔者实现 Nginx 借助 lua-resty-upload 库获取 Post(form-data) 的请求参数并按指定格式写入到 Nginx 日志中的实践,分享出来希望对各位有所帮助。

感谢您的阅读,如果喜欢本文欢迎关注和转发,转载需注明出处,本头条号将持续分享IT技术知识。对于文章内容有其他想法或意见建议等,欢迎提出共同讨论共同进步。

参考文章

http://www.bubuko.com/infodetail-3556484.html

http://t.zoukankan.com/lidabo-p-4177146.html

https://www.cnblogs.com/k5210202/p/13819449.html

https://github.com/openresty/lua-resty-upload

https://www.cnblogs.com/wangzhaobo/p/12768707.html

相关推荐

免费全本电子书(免费全本电子书漫画)

我在手机上看用的微信读书APP,里面阅读时长可以换书币,书币买书看,还可以抽无限读书卡,基本够用,我都买了180多本书啦,还可以,你可以下一个体验一下。可以用语音播放软件,直接生成音频就可以听了。...

智联招聘网最新招聘(太原智联招聘网最新招聘)

58和赶集网比较乱~里面还有买卖物品什么的不是专业的人才网~~新安人才网在安徽是最好最正规最专业的人才网~而且每次登录上去都有提示你能看到哪家企业浏览过你的简历~不像他妈的有的人才网想看下哪家公司看过...

233游戏盒下载游戏(233游戏盒大全)

1.233游戏盒里有很多种游戏可以玩。2.因为233游戏盒是一个游戏平台,它提供了各种各样的游戏供玩家选择,包括休闲游戏、竞技游戏、角色扮演游戏等等,所以游戏的种类非常丰富。3.在233游戏盒里...

qq号免费注册(怎样下载qq号码免费注册)
  • qq号免费注册(怎样下载qq号码免费注册)
  • qq号免费注册(怎样下载qq号码免费注册)
  • qq号免费注册(怎样下载qq号码免费注册)
  • qq号免费注册(怎样下载qq号码免费注册)
免费中英文翻译在线(免费中英文翻译网站)

1、腾讯翻译君是腾讯出品的实时语音对话翻译软件,支持中英日韩等多国语言。可以满足口语练习、办公查询、出国旅游的需求。它的界面极简,基佬紫为主基调,图标样式采用了流行的扁平化样式,除了基本的翻译功能外还...

qq网页版在线登录入口(qq网页登陆入口_在线qq登录)
  • qq网页版在线登录入口(qq网页登陆入口_在线qq登录)
  • qq网页版在线登录入口(qq网页登陆入口_在线qq登录)
  • qq网页版在线登录入口(qq网页登陆入口_在线qq登录)
  • qq网页版在线登录入口(qq网页登陆入口_在线qq登录)
金山打字通2003官方免费版(金山打字通2013免费下载)
金山打字通2003官方免费版(金山打字通2013免费下载)

1.首先需要在电脑上打开360安全卫士2.点击软件管家3.搜索框输入金山打字通4.选择金山打字通,点击右侧的一键安装即可...

2026-01-20 00:51 off999

对对碰游戏(发财对对碰游戏)

推荐“连连好对对碰”小游戏。这是一款朋友生日的祝福游戏,每关都有一张祝福卡片调寄心声,成功过关后会有惊喜哦。在这一款休闲益智类小游戏中,玩家只需用鼠标点击相同图案牌,然点击【next】——【开始】,开...

心跳直播(心跳直播间现场直播)

直播伴侣的心率图标是用来反映直播主现在的情绪状态和体力消耗的。原因:直播伴侣的心率图标是通过主播穿戴的智能手环或腕表,采集主播的心率数据,然后呈现在直播页面上的,所以可以反映主播的心态和身体状态。一般...

腾讯首页官网(www.qq.com)
腾讯首页官网(www.qq.com)

QQ在线登录入口:http://im.qq.com/,可以下载QQPC版在电脑上进行登录,也可在手机上下载QQ进行登录。扩展资料:QQ(TencentQQ)是腾讯公司借鉴于ICQ开发的一款基于Internet的即时通信(IM)软件,于1...

2026-01-20 00:03 off999

手机游戏开挂神器(手机游戏开挂神器香肠派对)

是不可以的,使用游戏修改器是需要root手机的,我们的智能机目前没有开放root权限。主要有两个方面的原因:①root开放后,可能会导致手机使用异常,死机重启等问题。②从安全角度考虑,一些非法程序,...

天天动听音乐播放器(天天动听音乐播放器怎么没有了)

插入有线耳机,在音乐应用打开状态下,如果开启了应用的线控耳机控制播放功能,误触到耳机线控按钮,或者按钮老化,导致手机自动播放音乐。可以通过关闭应用的“支持线控耳机控制播放”功能来解决问题~操作步骤:以...

少女在线观看高清完整版免费动漫

美少女战士crystal现在在搜狐上已经播放了10集,一共有26集。我的妹妹小桃子哈尔的移动城堡红猪千与千寻麦兜的故事之菠萝油王子名侦探柯南之迷宫的十字路口龙猫魔女宅即便我的邻居山田君天空之城侧耳...

王码五笔字根表(王码五笔字根表 高清)

比较常用的五笔输入法有万能五笔,极点五笔,王码五笔,现代五笔和搜狗五笔。王码五笔86版,是现在使用最广的一类输入法。以王码五笔86版编码规则为基础的衍生品很多,如念青五笔、万能五笔、QQ五笔...

愤怒的小鸟下载游戏中文版(愤怒的小鸟官方版下载)

我假设你想问的是如何在手机或电脑上下载并玩愤怒的小鸟(AngryBirds)这款游戏。如果是这个问题,下面是一些基本步骤:1.下载安装应用商店(AppStore或GooglePlay):首...

取消回复欢迎 发表评论: