技术积淀----NGINX缓存
off999 2025-01-13 16:48 18 浏览 0 评论
整洁的代码,合理的架构是一个性能卓越的应用不可或缺的优点。同时在很多案例中,开发者投入一些精力在一些最基本的技术上,也可以带来非常大的性能提升。这些基础的技术包括就包括缓存技术。本文主要介绍下如何利用NGINX缓存提升系统性能。
nginx常常被当做反向代理、负载均衡器。同时nginx还具备强大的缓存特性,接下来我们将介绍如何配置nginx缓存。
如何配置最基础的缓存。
使用最基本的缓存功能,只需要两个NGINX指令:proxy_cache_path 和 proxy_cache。 proxy_cache_path 指令设置缓存路径和一些缓存配置,proxy_cache 指令用来使用NGINX缓存。
proxy_cache_path 指令包含下面这些配置:
/path/to/cache/ 指定缓存存放的磁盘目录。
levels=1:2 设置缓存存放的目录结构为两级,这个也是官方推荐的设置。设置默认是一级目录结构,实验表明在大量缓存文件被频繁读取的场景,文件读取性能会降低。
keys_zone 设置一个共享的区域,用来存放缓存的key以及元数据,用来计算定时,缓存是不是命中等信息。1M的共享区域可以存储大约8000个key,本例子设置的10M,大约可以存储8万个key。
max_size 设置允许nginx缓存使用的最大磁盘空间,比如本例子中允许使用的最大空间是10G,如果不设置,表示允许使用所有的磁盘空间。如果缓存占用达到了设置的上限,缓存管理器会自动移除最近最少使用的数据。
inactive 指定一个缓存项最大多长时间,不被使用将被删除。本例子中设置的是60m,表示如果一个缓存项,超过60分钟没有被再次请求,那么缓存管理器会自动删除此缓存,不管缓存是不是过期。inactive 内容和缓存过期(Expired)是两个不同的概念。Nginx不会自动删除缓存过期的内容,Expired (stale)内容只会在Inactive时间到了后,才会被缓存管理器删除。
use_temp_path 官方推荐设置为off,用来改变nginx默认首次缓存文件被写入临时文件。设置为off后,缓存文件将不会先写入临时文件,然后后续移动到缓存目录,避免缓存文件被copy带来的系统开销。
最后proxy_cache 指令用来控制如何使用nginx缓存,如上面例子,请求满足配置规则进入location,请求到的内容将会被缓存。
proxy_cache 也可以在直接在server指令的作用域设置,如果location没有设置proxy_cache,那么将直接使用server的缓存设置。
NGINX中缓存的key是什么格式?
nginx默认的缓存key 是$scheme$proxy_host$request_uri,然后做MD5 hash。$schema是nginx内置的变量,表示http 或者https。$proxy_host,$request_uri如何理解,请看下面的例子。
http://www.example.org/my_image.jpg请求对于上面的配置,缓存key就应该是md5(“http://my_upstream:80/my_image.jpg”)。
大家注意到$proxy_host被用在了生成缓存key。$proxy_host如何理解呢?location中proxy_pass指令指定的名字和端口,端口默认是80。
同时nginx缓存也支持,用户自定义缓存的key,可以通过proxy_cache_key 进行设置,比如proxy_cache_key $uri$is_args$args;
ps: $is_args 代表请求中的 ?
如何指定缓存过期时间?
要理清楚此问题,首先需要了解http请求,是如何控制缓存的以及如何校验缓存是不是失效。
缓存控制大家最常见到的是Pragma,Cache-Control,Expires关键字。
http不同的版本控制缓存方式是不一样的,我们先讲http1.0,1.0时代控制比较简单:Pragma: no-cache时,表示禁用缓存,Expires的值是一个GMT时间,表示该缓存的有效时间,但是实际使用的时候,本地时间和服务器时间可能不一致。
http1.1通过Cache-Control来控制缓存。使用Last-Modified,或者etag来校验缓存。
首先讲一下Last-Modified。服务端在返回资源时,会将该资源的最后更改时间通过Last-Modified字段返回给客户端。客户端下次请求时通过If-Modified-Since或者If-Unmodified-Since带上Last-Modified,服务端检查该时间是否与服务器的最后修改时间一致:如果一致,则返回304状态码,不返回资源;如果不一致则返回200和修改后的资源,并带上新的时间,如下图:
单纯的以修改时间来判断还是有缺陷,比如文件的最后修改时间变了,但内容没变。对于这样的情况,我们可以使用etag来处理。
etag的方式是这样:服务器通过某个算法对资源进行计算,取得一串值(类似于文件的md5值),之后将该值通过etag返回给客户端,客户端下次请求时通过If-None-Match或If-Match带上该值,服务器对该值进行对比校验:如果一致则不要返回资源。
If-None-Match和If-Match的区别是:
If-None-Match:告诉服务器如果一致,返回状态码304,不一致则返回资源
If-Match:告诉服务器如果不一致,返回状态码412
如上http1.0、http1.1现在的http2.0,一些开发为了兼容复杂的环境,索性代码中一并兼容。
nginx默认不支持http1.0。如果要NGINX识别Pragma。开发者需要额外配置。
nginx默认支持是1.1的缓存控制,如果请求响应Cache-Control设置为Private, No-Cache, or No-Store 或者携带 cookie,nginx默认行为是不会缓存结果的。同时GET,HEAD请求才有可能被缓存。
服务器端可以Cache-Control:max-age=xxx (xxx is numeric),开控制缓存的过期时间。
NGINX 可以改变缓存Cache-Control的行为吗?
如上截图,nginx通过proxy_ignore_headers 指令可以忽略Cache-Control头部,强行设置缓存有效期是30分钟。如果没有设置有效期,nginx默认行为是不会缓存内容的。
缓存失效后,如何控制并发更新?
nginx提供了proxy_cache_lock 指令,这个指令打开后,如果并发请求未命中缓存(MISS),只允许一个请求到后端请求结果,其他请求等待结果,从缓存中拿数据。这个相当于一个分布式锁。在高并发场景非常有用。如果没有设置的话,多个请求都会直接回源到后端。
proxy_cache_lock_age、proxy_cache_lock_timeout 可以进一步控制锁的行为。
缓存失效后,如果触发自动更新?
如上面截图,proxy_cache_use_stale指令中增加updating,同时proxy_cache_background_update 设置为on,当一个请求 返现缓存是过期的内容或者缓存正在被更新过程中,那么此时会先返回给客户端一个过期的内容,同时后台会自动更新缓存。
缓存未失效,如何手动越过缓存直接回源?
这样的场景,我理解可能有两种,一种是想验证下缓存是不是正确,第二种场景强制手动更新缓存。可以通过nginx缓存提供的proxy_cache_bypass指令来实现。
proxy_cache_bypass告诉nginx缓存,如果请求参数或者cookie中有nocache,那么请求将回源到后端服务,而不是优先从缓存中取,请求之后的结果会被再次缓存。如下面这个请求http://www.example.com/?nocache=true。
如何统计缓存命中率?
nginx内置的变量 $upstream_cache_status,可以获得缓存的使用情况,开发可以将此状态打在日志中,或者增加到http头部,此变量可能有的取值,MISS, BYPASS, EXPIRED, STALE, UPDATING, REVALIDATED, HIT。统计请求中缓存状态,就可以知道缓存使用情况。
后端服务挂了,服务如何降级?
nginx缓存功能一大特点是当后端服务不能正常响应的时候,比如服务挂了,或者出现临时出现毛刺,可以通过配置服务降级,直接从缓存中取出内容,尽管此时缓存中的内容,已经不是最新值。在某些场景下,服务降级比服务直接挂了,会带来更好的用户体验。
proxy_cache_use_stale 指令可以设置服务出现问题后缓存的表现。
和上面同样的配置,只是额外增加proxy_cache_use_stale 指令,如果nginx收到后端服务error,timeout,或者500,502,503,504响应的时候,缓存虽然已经过期,但是还没有被缓存缓存管理器删除,那么此时nginx就可以直接给用户返回已经过期的内容。
参考:
https://my.oschina.net/u/1024333/blog/495780
https://blog.csdn.net/u012375924/article/details/82806617
相关推荐
- 阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?
-
TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对...
- 高流量大并发Linux TCP性能调优_linux 高并发网络编程
-
其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为...
- 性能测试100集(12)性能指标资源使用率
-
在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总...
- Linux 服务器常见的性能调优_linux高性能服务端编程
-
一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里...
- Nginx性能优化实战:手把手教你提升10倍性能!
-
关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe...
- 高并发场景下,Spring Cloud Gateway如何抗住百万QPS?
-
关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m...
- Kubernetes 高并发处理实战(可落地案例 + 源码)
-
目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB...
- 高并发场景下,Nginx如何扛住千万级请求?
-
Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统...
- Spring Boot+Vue全栈开发实战,中文版高清PDF资源
-
SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...
- Docker-基础操作_docker基础实战教程二
-
一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true...
- 你有空吗?跟我一起搭个服务器好不好?
-
来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手...
- 部署你自己的 SaaS_saas如何部署
-
部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。...
- Docker Compose_dockercompose安装
-
DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,...
- 京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统
-
前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论...
- Kubernetes (k8s) 入门学习指南_k8s kubeproxy
-
Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
慕ke 前端工程师2024「完整」
-
失业程序员复习python笔记——条件与循环
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
