无监控不运维——使用 Python 写一个小小的项目监控
off999 2024-09-18 22:33 24 浏览 0 评论
在公司里做的一个接口系统，主要是对接第三方的系统接口，所以，这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题，这么多公司的接口，不同公司接口的稳定性差别很大，访问量大的时候，有的不怎么行的接口就各种出错了。
这个接口系统刚刚开发不久，整个系统中，处于比较边缘的位置，不像其他项目，有日志库，还有短信告警，一旦出问题，很多情况下都是用户反馈回来，所以，我的想法是，拿起 Python，为这个项目写一个监控。如果在调用某个第三方接口的过程中，大量出错了，说明这个接口有有问题了，就可以更快的采取措施。
项目的也是有日志库的，所有的 info，error 日志都是每隔一分钟扫描入库，日志库是用的 mysql，表里有几个特别重要的字段：
有日志库，就不用自己去线上环境扫日志分析了，直接从日志库入手。由于日志库在线上时每隔 1 分钟扫，那我就去日志库每隔 2 分钟扫一次，如果扫到有一定数量的 error 日志就报警，如果只有一两条错误就可以无视了，也就是短时间爆发大量错误日志，就可以断定系统有问题了。
报警方式就用发送邮件，所以，需要做下面几件事情：
操作：
1.MySql。
2.发送邮件。
3.定时任务。
4.日志。
5.运行脚本。
明确了以上几件事情，就可以动手了。
操作数据库
使用 MySQLdb 这个驱动，直接操作数据库，主要就是查询操作。
获取数据库的连接：
从日志库里获取数据，获取当前时间之前 2 分钟的数据，首先，根据当前时间进行计算一下时间
然后，根据时间和日志级别去日志库查询数据。
发送邮件
使用 Python 发送邮件比较简单，使用标准库 smtplib 就可以这里使用 163 邮箱进行发送，你可以使用其他邮箱或者企业邮箱都行，不过 host 和 port 要设置正确。
定时任务
使用一个单独的线程，每2分钟扫描一次，如果 ERROR 级别的日志条数超过 5条，就发邮件通知。
日志
为这个小小的脚本配置一下日志 log.py，让日志可以输出到文件和控制台中。
所以，最后，这个监控小程序就是这样的 app_monitor.py
运行脚本
脚本在服务器上运行，使用 supervisor 进行管理。在服务器（centos6）上安装 supervisor，然后在 /etc/supervisor.conf 中加入一下配置
然后在终端中运行 supervisord 启动 supervisor。在终端中运行 supervisorctl，进入 shell，运行 status 查看脚本的运行状态。
总结
这个小监控思路很清晰，还可以继续修改，比如：监控特定的接口，发送短信通知等等。
因为有日志库，就少了去线上正式环境扫描日志的麻烦，所以，如果没有日志库，就要自己上线上环境扫描，在正式线上环境一定要小心哇～
(原文链接：http://u6.gg/fuAEW)
第20期 Python零基础入门班
51Reboot 第20期 Python 零基础运维自动化【入门班】正在火热招生中，详情添加wechat：17812796384
相关推荐
- Python Flask 容器化应用链路可观测
-
简介Flask是一个基于Python的轻量级Web应用框架，因其简洁灵活而被称为“微框架”。它提供了Web开发所需的核心功能，如请求处理、路由管理等，但不会强制开发者使用特定的工具或库。...
- Python GUI应用开发快速入门（python开发软件教程）
-
一、GUI开发基础1.主流GUI框架对比表1PythonGUI框架比较框架特点适用场景学习曲线Tkinter内置库，简单小型应用，快速原型平缓PyQt功能强大，商用许可专业级桌面应用陡峭PySi...
- 实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅
-
在Python的世界里，GUI（图形用户界面）开发工具众多，但要找到一款真正跨平台、易于使用且功能强大的工具并不容易。今天，我们就来深入探讨一下Toga——一款Python原生、操作系统原...
- python应用目录规划（python的目录）
-
Python大型应用目录结构规划（企业级最佳实践）核心原则模块化：按业务功能拆分，高内聚低耦合可扩展性：支持插件机制和动态加载环境隔离：清晰区分开发/测试/生产环境自动化：内置标准化的构建测试部署流...
- Python图形化应用开发框架:PyQt开发简介
-
PyQt概述定义：PyQt是Python绑定Qt框架的工具集，用于开发跨平台GUI应用程序原理：通过Qt的C++库提供底层功能，PyQt使用SIP工具生成Python绑定特点：支持Windows/ma...
- [python] 基于PyOD库实现数据异常检测
-
PyOD是一个全面且易于使用的Python库，专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据，它们可能表示错误、噪声或潜在的有趣现象。无论是处理小规模项目还是大型...
- Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本
-
环境准备确保你已经安装了以下库：SeleniumAllurepytest你可以使用以下命令安装所需库：pipinstallseleniumallure-pytestpytest示例代码下面的代...
- LabVIEW 与 Python 融合:打造强大测试系统的利器
-
在现代测试系统开发领域，LabVIEW和Python各自凭借独特优势占据重要地位。LabVIEW以图形化编程、仪器控制和实时系统开发能力见长；Python则凭借丰富的库资源、简洁语法和强大数...
- 软件测试进阶之自动化测试——python+appium实例
-
扼要：1、了解python+appium进行APP的自动化测试实例；2、能根据实例进行实训操作；本课程主要讲述用python+appium对APP进行UI自动化测试的例子。appium支持Androi...
- Python openpyxl:读写样式Excel一条龙，测试报表必备!
-
无论你是测试工程师、数据分析师，还是想批量导出Excel的自动化工作者，只需一个库openpyxl，即可高效搞定Excel的各种需求！为什么选择openpyxl？支持.xlsx格式...
- Python + Pytest 测试框架——数据驱动
-
引言前面已经和大家介绍过Unittest测试框架的数据驱动框架DDT，以及其实现原理。今天和大家分享的是Pytest测试框架的数据驱动，Pytest测试框架的数据驱动是由pytest自...
- 这款开源测试神器，圆了我玩游戏不用动手的梦想
-
作者：HelloGitHub-Anthony一天我在公司用手机看游戏直播，同事问我在玩什么游戏？我和他说在看直播，他恍然大悟：原来如此，我还纳闷你玩游戏，咋不用动手呢。。。。一语惊醒梦中人：玩游戏不用...
- Python单元测试框架对比（pycharm 单元测试）
-
一、核心框架对比特性unittest(标准库)pytest(主流第三方)nose2(unittest扩展)doctest(文档测试)安装Python标准库pipinstallpytestp...
- 利用机器学习，进行人体33个2D姿态检测与评估
-
前几期的文章，我们分享了人脸468点检测与人手28点检测的代码实现过程，本期我们进行人体姿态的检测与评估通过视频进行人体姿势估计在各种应用中起着至关重要的作用，例如量化体育锻炼，手语识别和全身手势控制...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Python Flask 容器化应用链路可观测
- Python GUI应用开发快速入门（python开发软件教程）
- 【MCP实战】Python构建MCP应用全攻略:从入门到实战!
- 实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅
- python应用目录规划（python的目录）
- Python图形化应用开发框架:PyQt开发简介
- [python] 基于PyOD库实现数据异常检测
- Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本
- LabVIEW 与 Python 融合:打造强大测试系统的利器
- 软件测试进阶之自动化测试——python+appium实例
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)