OpenResty原理和介绍
off999 2025-03-13 19:08 9 浏览 0 评论
是一个基于Nginx与Lua的高性能Web平台,其内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
OpenResty通过汇聚各种设计精良的Nginx模块,从而将Nginx有效地变成一个强大的通用Web应用平台。这样,Web开发人员和系统工程师可以使用Lua脚本语言调Nginx支持的各种C以及Lua模块,快速构造出足以胜任10K乃至1000K以上单机并发连接的高性能Web应用系统。
从上面官网的描述信息中,可以看出OpenResty主要包含两方面的技术:
- Nginx:一款轻量级、高性能、高并发的Web服务器。
- Lua:一种轻量、小巧、可移植、快速的脚本语言;LuaJIT即时编译器会将频繁执行的Lua代码编译成本地机器码交给CPU直接执行,执行效率更高,OpenResty会默认启用LuaJIT。
工作原理如下图所示:
Nginx使用了管理进程+工作进程的设计。管理进程为工作进程的父进程,负责外部指令的接收,工作进程状态的监管,负载均衡等。工作进程负责客户端请求的处理和响应,工作进程一般是按照CPU的核数配置的,并且可以和处理器一一绑定,降低进程间切换的开销。OpenResty本质上是将LuaJIT的虚拟机嵌入到Nginx的管理进程和工作进程中,同一个进程内的所有协程都会共享这个虚拟机,并在虚拟机中执行Lua代码。在性能上,
OpenResty接近或超过Nginx的C模块,而且开发效率更高。下面深入介绍一下OpenResty的原理。
OpenResty原理剖析
OpenResty的原理可以从三个方面进行剖析:Lua协程、cosocket、多阶段处理。01Lua协程Lua脚本语言用标准的C语言编写并以源代码形式开放,其设计目的是嵌入应用程序中,从而为应用程序提供灵活的扩展和定制服务。目前Lua大量应用于Nginx、嵌入式设备、游戏开发等方面。
协程又称为微线程,是这一种比线程更加轻量级的存在,正如一个进程可以拥有多个线程一样,一个线程也可以拥有多个协程。Lua协程与线程类似,拥有独立的堆栈、独立的局部变量、独立的指令指针,同时又与其他协同程序共享全局变量和其他大部分东西。
线程和协程的主要区别在于,一个具有多个线程的程序可以同时运行几个线程,而协程却需要彼此协作的运行。在任一时刻只有一个协程在运行,并且这个正在运行的协程只有明确的被要求挂起的时候才会被挂起。
从这里我们可以看出,协程是不被操作系统内核所管理的,而完全由程序控制(也就是用户态执行),这样带来的好处就是性能得到了极大地提升。进程和线程切换要经过用户态到内核态再到用户态的过程,而协程的切换可以直接在用户态完成,不需要陷入内核态,切换效率高,降低资源消耗。
cosocketOpenResty中的核心技术
cosocket将Lua协程和Nginx的事件机制结合在一起,最终实现了非阻塞网络IO。不仅和HTTP客户端之间的网络通信是非阻塞的,与MySQL、Memcached以及Redis等众多后端之间的网络通信也是非阻塞的。
在OpenResty中调用一个cosocket相关的网络函数,
内部关键实现如图所示:
从图中可以看出,用户的Lua脚本每触发一个网络操作,都会有协程的yield和resume。当遇到网络IO时,Lua协程会交出控制权(yield),把网络事件注册到Nginx监听列表中,并把运行权限交给Nginx。当有Nginx注册网络事件到达触发条件时,便唤醒(resume)对应的协程继续处理。这样就可以实现全异步的Nginx机制,不会影响Nginx的高并发处理性能。03多阶段处理基于Nginx使用的多模块设计思想,Nginx将HTTP请求的处理过程划分为多个阶段。
这样可以使一个HTTP请求的处理过程由很多模块参与处理,每个模块只专注于一个独立而简单的功能处理,可以使性能更好、更稳定,同时拥有更好的扩展性。OpenResty在HTTP处理阶段基础上分别在Rewrite/Access阶段、Content阶段、Log阶段注册了自己的handler,加上系统初始阶段master的两个阶段,共11个阶段为Lua脚本提供处理介入的能力。下图描述了OpenResty可以使用的主要阶段:
OpenResty将我们编写的Lua代码挂载到不同阶段进行处理,每个阶段分工明确,代码独立。
- init_by_lua*:Master进程加载Nginx配置文件时运行,一般用来注册全局变量或者预加载Lua模块。
- init_worker_by_lua*:每个worker进程启动时执行,通常用于定时拉取配置/数据或者进行后端服务的健康检查。
- set_by_lua*:变量初始化。
- rewrite_by_lua*:可以实现复杂的转发、重定向逻辑。
- access_by_lua*:IP准入、接口权限等情况集中处理。
- content_by_lua*:内容处理器,接收请求处理并输出响应。
- header_filter_by_lua*:响应头部或者cookie处理
- body_filter_by_lua*:对响应数据进行过滤,如截断或者替换
- log_by_lua*:会话完成后,本地异步完成日志记录
04性能对比OpenResty基于高性能的Nginx,虽然在实现上采用了“小众”的开发语言Lua,但它的开发效率和运行效率都非常高效。下面,以一个简单的测试案例对比目前较为流行的Web开发环境:NodeJs、Java和Python。本次测试各自实现了一个输出“Hello World”的简单HTTP服务,测试工具使用ApacheBench,测试机为1核2G。压测命令:ab –c 100 –n 10000
http://127.0.0.1:8000/hello压测结果:
从压测结果中可以看出,OpenResty在各项指标上都更胜一筹。聊完OpenResty的原理,我们结合自身的业务Jshop活动平台,介绍一下它的具体应用。//OpenResty应用//01Jshop活动平台Jshop活动平台是京东内部一个能够快速搭建店铺和专题活动的平台,帮助商家和运营对活动页面进行可视化装修,通过添加布局、模块来搭建页面。Jshop活动平台核心流程如下图所示:
图中涉及到5个应用,分别是:
- Jshop-cms:商家或运营使用cms系统完成活动页面的装修,除此之外,cms还提供了权限管理和数据魔方。
- Jshop-engine:Jshop-engine是一个页面渲染引擎,将页面装修所使用的布局、模块和模板渲染成一个完整的静态页面,并将渲染后的页面推送到Redis进行存储。为了防止Redis不可用的情况,也向sale的服务集群推送一份。
- Jshop-worker:主要是一些定时任务,如活动下线,页面定时渲染等。
- sale:sale是基于OpenResty构建的Jshop的活动浏览系统,根据客户端请求URL中活动ID,返回对应的页面静态数据。
- Jshop-act:客户端拿到页面静态数据后,会请求Jshop-act完成页面的动态呈现,例如页面的个性化数据模块、优惠券盖戳、定向投放等。
【文章福利】:C/C++Linux服务器开发/后台架构师【公开课学习】(C/C++,Linux,golang技术,内核,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,ffmpeg,大厂面试题 等)有需要的可以点击793599096加群领取哦~
鉴于本文主要涉及活动浏览相关的内容,sale系统会是接下来我们讨论的重点,首先让我们看一下sale系统为什么采用OpenResty。02sale系统技术选型sale系统主要面向的是C端用户,承载618和双11的大促活动流量,因此高并发、高性能和高可用是我们重点关注的内容。另外,sale系统实现的功能比较简单,核心逻辑就是根据用户请求的活动ID,返回对应的页面数据。我们最终选择基于OpenResty构建sale系统,主要是考虑到以下优势:
- 基于成熟的技术Nginx和Lua来搭建,降低入门门槛和学习成本。
- 依托于LuaJIT,执行效率更高。
- 非阻塞的访问网络IO。
- OpenResty在内存使用率,CPU占用率等方面性能要更好。
- 有完备的缓存机制,不仅支持Redis、Memcached等外部缓存,也在自己的进程内有缓存系统。
- 同步的写代码逻辑,更加符合开发者的思维习惯,无需显式的处理异步回调,调试方便。
- OpenResty工作在七层网络之上,依托于强大灵活的正则规则,可以针对HTTP应用的域名做一些分流和转发策略,既能做负载又能做反向代理。
03sale部署架构sale系统的部署架构如下图所示:
从图中可以看出,我们的请求来源于多个渠道,需要对多端进行适配。为了应对大促期间的流量,在请求到达sale之前还开启了CDN和Nginx缓存。sale系统默认采用的是本地磁盘文件和Redis的模式,Jshop-engine在执行完渲染页面任务后,会同时更新页面内容到Redis和本地磁盘上。这样就能保证极端情况下,Redis不可用时,sale系统依然可以通过本地文件的方式对外提供服务。04多级缓存sale系统基于OpenResty实现了多级缓存,一般缓存的设计遵循以下两个原则:
- 缓存越靠近用户的请求越好。比如,能用本地缓存就不用发送HTTP请求,能用CDN缓存的就不要打到源站。所以在sale的部署架构中,我们启用了CDN缓存。
- 尽量使用本进程和本机的缓存。跨进程和机器甚至机房,缓存的网络开销就会非常大,这在高并发的时候会非常明显。
根据这两个原则,设计如下:
首先利用了lua-resty-lrucache实现了worker进程内的L1缓存,Nginx启用了多少个worker,就会有多少份缓存数据。由于worker独占的特性,不会触发锁,所以非常高效,缺点就是多份缓存占用了较多的内存。
lua_shared_dict实现了L2缓存,缓存的数据有且只有一份,所有的worker都共用这一份缓存数据。L1缓存没有命中的情况下,就会来查询L2缓存。它的内部使用了自旋锁来保证操作的原子性,因此在并发量非常高的时候,可能会存在一些性能问题。L3缓存使用了Redis,在L2没有命中的情况下,通过回调函数去Redis查询后再缓存到L2中。为了避免缓存风暴,会使用lua-resty-lock来保证只有一个worker去数据源获取数据。如果L3缓存也没有命中,则意味着页面已经过期下线。从整个过程可以看出,缓存的更新是由客户端的请求来被动触发的。
总结
OpenResty是一个兼具开发效率和性能的服务端开发平台,虽然它基于Nginx去实现,但其适用范围早已远远超出了反向代理和负载均衡。目前,国内的很多公司都在特定的场景下使用OpenResty,大多用来处理入口流量,比如负载均衡、安全校验、降级、限流、缓存等。虽然OpenResty是一个广泛应用的技术,但不是一个热门的技术。
OpenResty理论上可以实现各种复杂的web应用,但Lua语言是一门小众的语言,不适合业务逻辑比较重的场景,适合一些轻量级的性能高的WEB服务。
来源网址:https://blog.csdn.net/weixin_46837673/article/details/105410995?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168145200516800197052208%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=168145200516800197052208&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~hot_rank-21-105410995-null-null.142%5Ev83%5Einsert_down1,239%5Ev2%5Einsert_chatgpt&utm_term=Openresty%20&spm=1018.2226.3001.4187
相关推荐
- Python自动化脚本应用与示例(python自动化脚本教程)
-
Python是编写自动化脚本的绝佳选择,因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例,帮助你快速上手:一、常见自动化场景文件与目录操作O批量重命名文件...
- 如何使用Python实现一个APP(如何用python做一个程序)
-
要使用Python实现一个APP,你可以选择使用一些流行的移动应用开发框架,如Kivy、PyQt或Tkinter。这里以Kivy为例,它是一个跨平台的Python框架,可以用于创建漂亮的图形用户界面(...
- 免费定时运行Python程序并存储输出文档的服务推荐
-
免费定时运行Python程序并存储输出文档的服务推荐以下是几种可以免费定时运行Python程序并存储输出结果的云服务方案:1.PythonAnywhere特点:提供免费的Python托管环境支持定时...
- 【Python程序开发系列】如何让python脚本一直在后台保持运行
-
这是我的第385篇原创文章。一、引言让Python脚本在后台持续运行,有几种常见的方式,具体方式可以根据你的系统环境和需求选择。二、Linux或macOS系统2.1使用nohup命令no...
- 运行和执行Python程序(运行python的程序)
-
一、Python是一种解释型的脚本编程语言,这样的编程语言一般支持两种代码运行方式:交互式编程在命令行窗口中直接输入代码,按下回车键就可以运行代码,并立即看到输出结果;执行完一行代码,你还可以继续...
- Python 初学者指南:计算程序的运行时长
-
在编写Python程序时,了解程序的运行时长是一项很有用的技能。这不仅能帮助你评估代码的效率,还能在优化程序性能时提供关键的数据支持。对于初学者来说,计算程序运行时长其实并不复杂,接下来就让我们看...
- pyest+appium实现APP自动化测试,思路全总结在这里
-
每天进步一点点,关注我们哦,每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号:自动化软件测试码同学抖音号:小码哥聊软件测试01appium环境搭建安装nodejshttp://nodej...
- 血脉觉醒后,编程小白我是如何通过Deepseek和Trae轻松开发软件的
-
以下就是作为一个编程小白的我,是如何一步步开发软件的保姆级教程,请点赞收藏:第一步:打开#deepseek#(首先关闭深度思考和联网搜索)输入或复制你要让它做一个什么样软件的要求和提示词(你可以先用...
- 我用Deepseek+Trae写的python小软件,小白也能轻松用上模型啦!
-
利用AI大模型deepseek,搭配TraeCN,用半个小时做了一个本地Ollama安装部署和一键卸载的小工具,哈哈哈!感觉还不错#deepseek#一直想做一个本地Ollama安装部署和一键卸载...
- 在安卓设备上运行Python的方法(安卓能运行python吗)
-
技术背景在安卓设备上运行Python可以为开发者提供更多的开发选择和灵活性,能够利用Python丰富的库和简洁的语法来开发各种应用,如游戏、脚本工具等。然而,由于安卓系统原生不支持Python,需要借...
- 零基础小白,DeepSeek全自动编程,超详细提示词,一键生成软件!
-
我前面发表了文章,详细说了编程零基础小白,如何利用DeepSeek进行编程的全过程,感兴趣的可以去看看:DeepSeek全自动编程很多人不会写提示词,不知道怎么开始对话。话不多说,请先看下图中的对话,...
- 小白用DeepSeek+Python编写软件(用python制作软件)
-
周末无事,用DeepSeek生成全部代码,写了一个mp3音乐播放器,几分钟搞定,DeepSeek确实太强大了。我的提示语是这么写的:“请用Python语言写一个音乐播放器,支持常见音乐格式,我是Pyt...
- 零基础使用DeepSeek开发Windows应用程序,超简单超实用!
-
你敢相信,我居然用DeepSeek开发了一个能用的Windows软件!整个过程就像和学霸同桌组队做作业,我负责提需求,DeepSeek负责写代码改bug,全程碰到任何问题直接丢给DeepSeek即可。...
- 第二篇:如何安装Python并运行你的第一个程序
-
欢迎回到我的Python入门教程系列!在上一篇中,我们讨论了为什么Python是一门值得学习的编程语言。今天,我们将迈出第一步:安装Python并运行你的第一个程序。无论你是Windows、macOS...
- Python 运行,带你找入口,快速读懂程序
-
有C或Java编程开发经验的软件开发者,初次接触python程序,当你想快速读懂python项目工程时,是否觉得python程序有些太过随意,让你看有些无所适从,进而有些茫然。这是...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- Python自动化脚本应用与示例(python自动化脚本教程)
- 如何使用Python实现一个APP(如何用python做一个程序)
- 免费定时运行Python程序并存储输出文档的服务推荐
- 【Python程序开发系列】如何让python脚本一直在后台保持运行
- 运行和执行Python程序(运行python的程序)
- Python 初学者指南:计算程序的运行时长
- pyest+appium实现APP自动化测试,思路全总结在这里
- 血脉觉醒后,编程小白我是如何通过Deepseek和Trae轻松开发软件的
- 我用Deepseek+Trae写的python小软件,小白也能轻松用上模型啦!
- 在安卓设备上运行Python的方法(安卓能运行python吗)
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)