百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

真实客户数据库优化及数据库读写分离实施方案

off999 2025-09-21 21:05 4 浏览 0 评论

随着监控系统的不间断运行,数据库中数据量也随之增加,数据库出现查询缓慢、锁等待情况,因此需要对数据库进行优化,提高数据库性能,加快查询速度。

版本

操作

描述

人员

时间

V1.0

新增

文档编写

郭佳明

2021/12/15

V2.0

新增

文档优化

陈壹

2021/12/20

V2.5

完善

文档完善

刘志虎

2021/12/27

技术方案

1. 关闭AHI

通过对数据库存储引擎信息的查询,发现Innodb等待次数非常高

注:第一列是引擎名称 第二类是索类型加代码文件行数 第三个是等待次数

通过翻看mysql 源码(5.7.33):\storage\innobase\btr\btr0sea.cc,发现是跟自适应哈希索引(Adaptive Hash Index,AHI)相关的函数

随后翻阅官方文档,官方文档提到这在高负载工作的情况下,可能是一个争用点。

结合上金所这边的实际情况,需要将AHI进行关闭。


2. 读写分离

  • 从目前的数据量上,SQL本身已经很难进行优化,通过对慢Sql日志分析,发现慢Sql中针对历史数据的查询都是Range级别
  • 索引情况如下:
  • 字段如下:
  • 注:其中ns字段是微秒时间,可以忽略。综合来说:表已经物尽其用,其本身很难有改进的空间,因此需要进行数据库读写分离,提高数据库性能。
  • 读写分离流程

实施步骤

1. 关闭AHI步骤

  1. 7.211.2.12,7.211.2.13登录数据库:
Mysql -uroot -pp@ssw0rd
  1. 执行以下Sql命令:
set global innodb_adaptive_hash_index=off

2. 读写分离步骤

  1. 登陆7.211.2.14,7.211.2.15

用户:sysmon

  1. 进入db.php所在目录,这里有两个目录分别存放了db.php文件所有都要更改:
cd /cmp/nginx/html/lwjk_v3/config
mv db.php db.php.bf   //备份
cd /cmp/nginx/html/lwjk_v3/local
mv db.php db.php.bf.   //备份
  1. 替换db.php文件更新内容,添加了读写分离的配置
cd /cmp/nginx/html/lwjk_v3/config
rz db.php       //上传新db.php文件
ll  //查看权限,如果权限和老的db.php文件不相同需更改权限与授权组和授权主
cd /cmp/nginx/html/lwjk_v3/local
rz db.php       //上传新db.php文件
ll  //查看权限,如果权限和老的db.php文件不相同需更改权限与授权组和授权主

注:上述的配置指定了主从的相关设置。 从库将被用来执行读操作,而主库将被用来执行写操作,这样读写分离将通过上述配置自动地完成。

3 版本回退

  1. 7.211.2.12,7.211.2.13登录数据库:
 mysql -uroot -pp@ssw0rd 
  1. 执行以下sql命令,开启AHI:
set global innodb_adaptive_hash_index=no
  1. 登陆web主机,恢复db.php文件

用户:sysmon

ip:7.211.2.14,7.211.2.15

  1. 恢复config和local目录下的db.php文件:
cd /cmp/nginx/html/lwjk_3/config
rm -f db.php   //删除更改的db.php文件
mv db.php.bf db.php  //恢复原有db.php文件
cd /cmp/nginx/html/lwjk_v3/local
rm -f db.php   //删除更改的db.php文件
mv db.php.bf db.php  //恢复原有db.php文件
  • 由于客户哪边数据量大的表主要是监控系统,监控平台是客户购买的第三方监控系统,监控服务商说可以通过配置实现,但这个方式在非不得已的情况下不建议使用,推荐使用通过中间件的方式,对业务层透明,业务实现不考虑底层的数据存储。


喜欢的朋友记得给个关注~

相关推荐

apisix动态修改路由的原理_动态路由协议rip的配置

ApacheAPISIX能够实现动态修改路由(DynamicRouting)的核心原理,是它将传统的静态Nginx配置彻底解耦,通过中心化配置存储(如etcd)+OpenRest...

使用 Docker 部署 OpenResty Manager 搭建可视化反向代理系统

在之前的文章中,xiaoz推荐过可视化Nginx反向代理工具NginxProxyManager,最近xiaoz还发现一款功能更加强大,界面更加漂亮的OpenRestyManager,完全可以替代...

OpenResty 入门指南:从基础到动态路由实战

一、引言1.1OpenResty简介OpenResty是一款基于Nginx的高性能Web平台,通过集成Lua脚本和丰富的模块,将Nginx从静态反向代理转变为可动态编程的应用平台...

OpenResty 的 Lua 动态能力_openresty 动态upstream

OpenResty的Lua动态能力是其最核心的优势,它将LuaJIT嵌入到Nginx的每一个请求处理阶段,使得开发者可以用Lua脚本动态控制请求的生命周期,而无需重新编译或rel...

LVS和Nginx_lvs和nginx的区别

LVS(LinuxVirtualServer)和Nginx都是常用的负载均衡解决方案,广泛应用于大型网站和分布式系统中,以提高系统的性能、可用性和可扩展性。一、基本概念1.LVS(Linux...

外网连接到内网服务器需要端口映射吗,如何操作?

外网访问内网服务器通常需要端口映射(或内网穿透),这是跨越公网与私网边界的关键技术。操作方式取决于网络环境,以下分场景详解。一、端口映射的核心原理内网服务器位于私有IP地址段(如192.168.x.x...

Nginx如何解决C10K问题(1万个并发连接)?

关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。Nginx是大型架构的必备中间件,下面我就全面来详解NginxC10k问题@mikechen文章来源:mikec...

炸场!Spring Boot 9 大内置过滤器实战手册:从坑到神

炸场!SpringBoot9大内置过滤器实战手册:从坑到神在Java开发圈摸爬滚打十年,见过太多团队重复造轮子——明明SpringBoot自带的过滤器就能解决的问题,偏偏要手写几十...

WordPress和Typecho xmlrpc漏洞_wordpress主题漏洞

一般大家都关注WordPress,毕竟用户量巨大,而国内的Typecho作为轻量级的博客系统就关注的人并不多。Typecho有很多借鉴WordPress的,包括兼容的xmlrpc接口,而WordPre...

Linux Shell 入门教程(六):重定向、管道与命令替换

在前几篇中,我们学习了函数、流程控制等Shell编程的基础内容。现在我们来探索更高级的功能:如何控制数据流向、将命令链接在一起、让命令间通信变得可能。一、输入输出重定向(>、>>...

Nginx的location匹配规则,90%的人都没完全搞懂,一张图让你秒懂

刚配完nginx网站就崩了?运维和开发都头疼的location匹配规则优先级,弄错顺序直接导致500错误。核心在于nginx处理location时顺序严格:先精确匹配=,然后前缀匹配^~,接着按顺序正...

liunx服务器查看故障命令有那些?_linux查看服务器性能命令

在Linux服务器上排查故障时,需要使用一系列命令来检查系统状态、日志文件、资源利用情况以及网络状况。以下是常用的故障排查命令,按照不同场景分类说明。1.系统资源相关命令1.1查看CPU使...

服务器被入侵的常见迹象有哪些?_服务器入侵可以被完全操纵吗

服务器被入侵可能会导致数据泄露、服务异常或完全失控。及时发现入侵迹象能够帮助你尽早采取措施,减少损失。以下是服务器被入侵的常见迹象以及相关的分析与处理建议。1.服务器被入侵的常见迹象1.1系统性能...

前端错误可观测最佳实践_前端错误提示

场景解析对于前端项目,生产环境的代码通常经过压缩、混淆和打包处理,当代码在运行过程中产生错误时,通常难以还原原始代码从而定位问题,对于深度混淆尤其如此,因此Mozilla自2011年开始发起并...

8个能让你的Kubernetes集群“瞬间崩溃”的配置错误

错误一:livenessProbe探针“自杀式”配置——30秒内让Pod重启20次现象:Pod状态在Running→Terminating→CrashLoopBackOff之间循环,重启间隔仅...

取消回复欢迎 发表评论: