百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Nginx 超时事件的处理机制

off999 2025-02-26 13:19 33 浏览 0 评论


本文基于Nginx 0.8.55源代码,并基于epoll机制分析

对于nginx而言,事件机制的处理无非就是几个部分:

  • 网络IO事件的处理
  • 文件IO事件的处理
  • 定时器事件的处理

(当然还有许多其他的不过我现在并不是很关心。。)
我在读Nginx定时器事件相关的代码时看到了很多有趣的设计和考量,感觉还是值得写一写的,当然大佬们可能司空见惯了……嘛。

1. nginx的时间缓存

首先,由于较早期的Linux中,gettimeofday()本身是一个系统调用,对它的频繁调用会有比较大的开销,因此,Nginx采用了在本地缓存时间的做法。

Nginx是用几个全局变量来缓存时间的:

volatile ngx_msec_t      ngx_current_msec;                                        
volatile ngx_time_t     *ngx_cached_time;                                         
volatile ngx_str_t       ngx_cached_err_log_time;                                 
volatile ngx_str_t       ngx_cached_http_time;                                    
volatile ngx_str_t       ngx_cached_http_log_time;                                
复制代码

从命名和类型也能看出来,Nginx给各个模块提供了各种类型的缓存变量,以供其他需要调用ngx_time()和ngx_timeofday()的模块提供当前时间,从而避免了gettimeofday()等系统调用的开销(当然,较新版本的Linux中gettimeofday()已经不是传统意义上的系统调用了,但是比较新的Nginx源码我也没看……)

Nginx还提供了几个队列来缓存时间的更新历史:

static ngx_time_t        cached_time[NGX_TIME_SLOTS];                             
static u_char            cached_err_log_time[NGX_TIME_SLOTS]                      
                                    [sizeof("1970/09/28 12:00:00")];              
static u_char            cached_http_time[NGX_TIME_SLOTS]                         
                                    [sizeof("Mon, 28 Sep 1970 06:00:00 GMT")];    
static u_char            cached_http_log_time[NGX_TIME_SLOTS]                     
                                    [sizeof("28/Sep/1970:12:00:00 +0600")];       
复制代码

事实上上面那些缓存变量的实际值最终都指向了这些队列中的值,不过我grep了一下源码,这些队列好像也没在别处派上用场…所以对他们也不详细介绍了,简而言之就是Nginx维护了一个slot全局变量,每次在ngx_time_update函数中调用gettimeofday()获取当前时间,在队列后插入新时间然后移动slot来指示当前缓存值,并且把ngx_cache_time等指针指向最新的cache_time[slot]就行了。

具体可以看ngx_time_update()的实现即可。

【文章福利】:小编整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面,有需要的可以自行添加哦!832218493(群需要自取)


2. Nginx何时更新缓存

这里我们主要关注的问题是,Nginx更新时间缓存的时机是什么时候呢?

当然初启动和cycle的初始化有几次更新的时机,这里我们主要考虑事件处理过程中时间更新的时机。

这里Nginx给出了两种不同的解决方案,由ngx_time_resolution变量决定:

  • 在ngx_timer_resolution为0的时候,Nginx会在每次调用epoll_wait后进行一次时间缓存的更新
  • 在ngx_timer_resolution不为0的时候,这个值代表着时间精度,即“多长时间更新一次缓存”,这时候Nginx会在时间模块初始化的时候设置定时器,让定时器的中断时间为ngx_timer_resolution规定的毫秒数,每触发一次SIGALRM信号,就调用一次ngx_time_update()。

当然,我们断然不会允许信号处理函数本身占用过多的CPU时间,所以其信号处理函数的实现非常简单:

void                                                                               
ngx_timer_signal_handler(int signo)                                                
{                                                                                  
    ngx_event_timer_alarm = 1;                                                     
                                                                                   
#if 1                                                                              
    ngx_log_debug0(NGX_LOG_DEBUG_EVENT, ngx_cycle->log, 0, "timer signal");    
#endif                                                                             
}                                                                                  
复制代码

而真正调用ngx_time_update()则是在ngx_process_events()中:

static ngx_int_t                                                                  
ngx_epoll_process_events(ngx_cycle_t *cycle, ngx_msec_t timer, ngx_uint_t flags)
{                                                                                 
    int                events;                                                    
    uint32_t           revents;                                                   
    ngx_int_t          instance, i;                                               
    ngx_uint_t         level;                                                     
    ngx_err_t          err;                                                       
    ngx_log_t         *log;                                                       
    ngx_event_t       *rev, *wev, **queue;                                        
    ngx_connection_t  *c;                                                         
                                                                                  
    /* NGX_TIMER_INFINITE == INFTIM */                                            
                                                                                  
    ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,                            
                   "epoll timer: %M", timer);                                     
                                                                                  
    // 调用epoll_wait                                                             
    events = epoll_wait(ep, event_list, (int) nevents, timer);                    
                                                                                  
    err = (events == -1) ? ngx_errno : 0;                                         
                                                                                  
    // 这里时更新时间的时机之一                                                   
    // 如果SIGALRM的回调函数被调用,那么ngx_event_timer_alarm设为1,此时更新时间
    if (flags & NGX_UPDATE_TIME || ngx_event_timer_alarm) {                       
        ngx_time_update();                                                        
    }                                                                             
                                                                                  
    if (err) {                                                                    
        if (err == NGX_EINTR) {                                                   
                                                                                  
            // 如果是被时钟中断,那么返回NGX_OK                                   
            if (ngx_event_timer_alarm) {                                          
                ngx_event_timer_alarm = 0;                                        
                return NGX_OK;                                                    
            }                                                                     
                                                                                  
            level = NGX_LOG_INFO;                                                 
                                                                                  
        } else {                                                                  
            level = NGX_LOG_ALERT;                                                
        }                                                                         
                                                                                  
        ngx_log_error(level, cycle->log, err, "epoll_wait() failed");             
        return NGX_ERROR;                                                         
    }
    /* 省略处理事件的代码 */
}

复制代码

这里我们可以看到,函数中首先会检查一下flag参数的NGX_UPDATE_TIME标志位,这是ngx_timer_resolution为0的时候才会设置的位,表示每次事件处理都会更新时间缓存。而这之外的情况则是ngx_timer_resolution不为0,由软中断设置标志位才会触发时间缓存的更新。

这里也处理了当epoll_wait被信号中断的情况,如果错误正好是EINTR且ngx_event_timer_alarm正好为1,那么就认为是该信号中断了epoll_wait,并把ngx_event_timer_alarm清0。

3. 定时事件的组织方式

对于定时事件,或者超时事件的处理,我们有一个非常简单的直觉:给每个定时事件注册一个定时器,在定时器回调中去处理过期事件不就好了?代码写起来多简单,要是再有个lambda表达式……

可惜不行 ,系统底层提供的定时器数量肥肠有限,不过我们倒是可以把API设计成这样……扯远了。

Nginx这里采用了一个很简单而有效的策略:选择一个合适的时机,尽可能地检查最近要过期的事件是不是已经过期,有的话就处理,没有的话就跳过。

那么维护一个可以很快取得“最近要过期的结构”就显得很重要了,而且在繁复的事件处理过程中,定时事件会随机地插入,所以简单的队列也无法胜任——这个时候熟悉数据结构的同学可能很快就想到了红黑树。

没错,Nginx就是采用红黑树来管理定时事件(或者我们叫他超时事件)。以到期时间为key管理这颗红黑树,那么红黑树中最左边的事件就是即将超期的事件。而当事件的消费者要插入事件,消费完之后要删除事件,包括寻找即将超期的事件,这些操作的时间复杂度都控制在O(logN)内,效率是相当高的。(关于红黑树这种数据结构的细节,请参考数据结构的专著)

这是Nginx管理超时事件的基调。具体的代码实现可以参照
src/event/ngx_event_timer.c的三个函数,基本上就是一些红黑树的增删改查然后调回调啊之类的。

4. 处理定时事件的时机

超时事件的处理时机,当然还是放在大的事件循环中,为了减少accept锁的占用时间,超时事件的处理当然还是放在释放accept锁的时机之后。

为了防止不开启timer_resolution的情况下,epoll_wait()占用太多时间,在调用ngx_process_events(cycle, timer, flags)之前,Nginx会先计算距离最近超时事件的时间,然后把这个时间记录在timer变量中传给epoll_wait的超时参数,来控制epoll_wait的占用时长。

此外,Nginx还会计算ngx_process_events调用所占用的时长(delta变量),唯有delta > 0的情况,才会调用ngx_event_expire_timers()来处理超时事件,以此来避免无意义的搜索(真是煞费苦心啊)。

下面可以整体看看在事件循环中超时事件处理所占的位置:

void
ngx_process_events_and_timers(ngx_cycle_t *cycle)                              
{                                                                              
    ngx_uint_t  flags;                                                         
    ngx_msec_t  timer, delta;                                                  
                                                                               
    if (ngx_timer_resolution) {                                                
        timer = NGX_TIMER_INFINITE;                                            
        flags = 0;                                                             
                                                                               
    } else {                                                                   
        // 把距离最近的超时事件的时间记录在timer中                             
        timer = ngx_event_find_timer();                                        
        flags = NGX_UPDATE_TIME;                                               
    }                                                                          
                                                                               
    // 这里是处理负载均衡锁和accept锁的时机                                    
	/* 省略了accept锁的竞争 */                                                                               
    delta = ngx_current_msec;                                                  
                                                                               
    // 调用事件处理模块的process_events,处理一个epoll_wait的方法              
    (void) ngx_process_events(cycle, timer, flags);                            
delta = ngx_current_msec - delta; //计算处理events事件所消耗的时间         
                                                                               
    // 如果有延后处理的accept事件,那么延后处理这个事件                        
    if (ngx_posted_accept_events) {                                            
        ngx_event_process_posted(cycle, &ngx_posted_accept_events);            
    }                                                                          
                                                                               
    // 释放accept锁                                                            
    if (ngx_accept_mutex_held) {                                               
        ngx_shmtx_unlock(&ngx_accept_mutex);                                   
    }                                                                          
                                                                               
    // 处理所有的超时事件                                                      
    if (delta) {                                                               
        ngx_event_expire_timers();                                             
    }
    /* 省略了延后事件的处理 */


作者:NOWHERE50622
链接:
https://juejin.cn/post/6844903729188044813

来源:掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

相关推荐

python:从 12 分钟到 20 秒的奇迹之旅

大家好,我是一个常年与代码和数据打交道的程序员。最近,我经历了一次令人头疼的性能挑战。我的一个Python脚本需要处理一个超过一百万行的数据集,任务是对数据进行筛选、清洗并导出结果。然而,这个本该...

玩星露谷还能学Python?比刷题更上瘾的学习方法

最近朋友在玩星露谷,想起之前网上安利的星露谷编程游戏,然后就被带入坑了。本以为是普通种田游戏,结果全程用Python写代码通关,边摸鱼边学,打工人狂喜!举个游戏里怎么用Python?比如“自动收...

大数据计算学习,难度究竟几何?_大数据算法怎么学

大数据计算学习,难度究竟几何?在当今这个数字化的时代,大数据计算就像是一颗闪耀的明星,吸引着无数人的目光。很多小伙伴都对学习大数据计算充满了好奇,但又担心它的难度太高,自己学不会。那么,大数据计算学习...

不是活爹们 你们学Python都不刷项目的吗

在当今这个科技飞速发展的时代,编程语言就像是一把把神奇的钥匙,能为我们打开不同的职业大门。而Python,无疑是其中最耀眼的那一把。但现在问题来了,Python实操项目怎么学习呢?今天咱们就来好好唠唠...

Python的 10 个“天坑”:搞懂这些,才算真正迈入高手之列

引言:Python的“表里不一”作为一名从业多年的Python开发者,我深知Python的魅力所在:它语法简洁,入门门槛低,似乎几个月的学习就能让你自信满满地写出代码。然而,正是这种“表面上...

Python:开启编程世界的万能钥匙_python编程窗口怎么打开

一、引言嘿,老铁们!在当今的编程世界里,Python就像一把万能钥匙,能打开无数扇门。它以其简洁的语法、丰富的库和广泛的应用领域,受到了越来越多人的喜爱。无论是初出茅庐的编程小白,还是经验丰富的开发者...

这 6 个 Python 项目,带你从新手蜕变为实战高手

你是不是也有过这样的经历?刷完了YouTube上所有的Python教程,写了不下五六个“待办事项”应用,却依然感到自己离一个真正的开发者遥不可及。打开Udemy,课程列表满满当当,但总感觉...

用Python做WiFi嗅探?5分钟上手黑客同款技能(附代码)

本文是【Python网络安全】入门教学文章,建议收藏!适合安全学习者、网络审计员、Python进阶者阅读。有没有想过,你的电脑其实可以像个“监听器”,实时捕捉周围WiFi的蛛丝马迹?是的,哪怕你不是...

用 Python 守护你的 API:从入门到实践的安全监测指南

今天我们聊聊一个既技术又务实的话题——如何用Python进行API安全监测。在互联网快速发展的今天,API已成为现代应用程序的核心桥梁,从前端到后端,从移动端到物联网设备,几乎无处不在。可与...

学计算机专业,到底学些啥玩意儿?

#计算机专业##学计算机#跟你们说个真事儿:我表弟去年报志愿,听人说“学计算机能拿高薪”,咔咔就选了软件工程。结果开学第一周就给我发消息:“哥,啥是‘数据结构’?老师讲指针的时候,我感觉自己脑子像...

Python 12 个鲜为人知的宝藏库,让运维工作量减少 90%

Python12个鲜为人知的宝藏库,让运维工作量减少90%作为一名开发者,你可能对Jenkins流水线、繁琐的配置和午夜紧急回滚习以为常。尽管你可能是Python编程高手,但面对运维的日...

别小看“拖延症”:Python 惰性(Lazy)求值的 9 种用法

如果要选出一个最能体现Python优雅之处的特性,我会毫不犹豫地选择——惰性(lazy)求值。所谓惰性求值(LazyEvaluation),就是将计算延迟到真正需要的时候才执行。这种机制让P...

学 Python 就像谈恋爱:从暧昧到正式牵手,我用 8 个瞬间讲透了!

你有没有发现,人生里很多重要的事情,第一步都是最难的。第一次约会、第一次上台讲话、第一次进健身房……总有点怯场。学Python也一样。很多人一听到“编程”两个字,脑海里浮现的画面是:黑屏幕上飞...

Python 入门不用愁!5 个核心知识 + 3 个偷懒技巧,小白 3 天就能上手

提到编程,很多人会觉得“太难了,学不会”。但Python不一样,它就像编程语言里的“白话文”,语法简单、逻辑清晰,哪怕是零基础小白,掌握几个核心知识点和小技巧,也能快速上手。今天就带大家解锁...

信息技术专业学什么?从敲代码到搞安全,这些内容要掌握

提到信息技术专业,很多人第一反应是“写代码的”。其实这个专业的学习内容远不止于此,它更像一个“数字时代工具箱”,既教你搭建系统,也教你维护网络,还能让你搞懂数据背后的逻辑。下面就用大白话讲讲这个专...

取消回复欢迎 发表评论: