无监控不运维——使用 Python 写一个小小的项目监控
off999 2024-09-18 22:33 20 浏览 0 评论
在公司里做的一个接口系统，主要是对接第三方的系统接口，所以，这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题，这么多公司的接口，不同公司接口的稳定性差别很大，访问量大的时候，有的不怎么行的接口就各种出错了。
这个接口系统刚刚开发不久，整个系统中，处于比较边缘的位置，不像其他项目，有日志库，还有短信告警，一旦出问题，很多情况下都是用户反馈回来，所以，我的想法是，拿起 Python，为这个项目写一个监控。如果在调用某个第三方接口的过程中，大量出错了，说明这个接口有有问题了，就可以更快的采取措施。
项目的也是有日志库的，所有的 info，error 日志都是每隔一分钟扫描入库，日志库是用的 mysql，表里有几个特别重要的字段：
有日志库，就不用自己去线上环境扫日志分析了，直接从日志库入手。由于日志库在线上时每隔 1 分钟扫，那我就去日志库每隔 2 分钟扫一次，如果扫到有一定数量的 error 日志就报警，如果只有一两条错误就可以无视了，也就是短时间爆发大量错误日志，就可以断定系统有问题了。
报警方式就用发送邮件，所以，需要做下面几件事情：
操作：
1.MySql。
2.发送邮件。
3.定时任务。
4.日志。
5.运行脚本。
明确了以上几件事情，就可以动手了。
操作数据库
使用 MySQLdb 这个驱动，直接操作数据库，主要就是查询操作。
获取数据库的连接：
从日志库里获取数据，获取当前时间之前 2 分钟的数据，首先，根据当前时间进行计算一下时间
然后，根据时间和日志级别去日志库查询数据。
发送邮件
使用 Python 发送邮件比较简单，使用标准库 smtplib 就可以这里使用 163 邮箱进行发送，你可以使用其他邮箱或者企业邮箱都行，不过 host 和 port 要设置正确。
定时任务
使用一个单独的线程，每2分钟扫描一次，如果 ERROR 级别的日志条数超过 5条，就发邮件通知。
日志
为这个小小的脚本配置一下日志 log.py，让日志可以输出到文件和控制台中。
所以，最后，这个监控小程序就是这样的 app_monitor.py
运行脚本
脚本在服务器上运行，使用 supervisor 进行管理。在服务器（centos6）上安装 supervisor，然后在 /etc/supervisor.conf 中加入一下配置
然后在终端中运行 supervisord 启动 supervisor。在终端中运行 supervisorctl，进入 shell，运行 status 查看脚本的运行状态。
总结
这个小监控思路很清晰，还可以继续修改，比如：监控特定的接口，发送短信通知等等。
因为有日志库，就少了去线上正式环境扫描日志的麻烦，所以，如果没有日志库，就要自己上线上环境扫描，在正式线上环境一定要小心哇～
(原文链接：http://u6.gg/fuAEW)
第20期 Python零基础入门班
51Reboot 第20期 Python 零基础运维自动化【入门班】正在火热招生中，详情添加wechat：17812796384
相关推荐
- 真的没想到这个python装饰器还能这么写，见也没见过!
-
引言众所周知，python中，装饰器是非常好玩的，你能够在很多场景中看到它。有很多人可能经常会使用他人设计的装饰器，自己却很少设计过几个装饰器。当然也不乏有的大神非常善于设计装饰器。但不管如何，装饰...
- Python 开发必知的 30 款工具（python语言的开发工具）
-
全面解析开发者在Python开发各个阶段可使用的核心工具热门开源工具Python开发涉及多个阶段，因此需要多种工具来管理：依赖管理：pip、Conda和Poetry是常见的选择。性能分析：...
- 快到飞起的Python包管理工具UV:从环境创建到PyPI发布的终极指南
-
尊敬的诸位！我是一名专注于嵌入式开发的物联网工程师。关注我，持续分享最新物联网与AI资讯和开发实战。期望与您携手探寻物联网与AI的无尽可能。"又在等pip安装包？配置国内镜像源也解决不了的...
- Python输出语句print()（python输出语句print(3+5)）
-
Python中的输出语句主要通过内置函数print()实现，它可以灵活输出文本、变量、表达式结果等内容到控制台或其他文件。以下是详细介绍及示例：一、print()基本语法print(*object...
- Python range 函数实用指南（python range函数的用法）
-
对话实录小白：（抓狂）我写了foriinrange(5):，为什么只到4？专家：（推眼镜）range是左闭右开区间！记住：包含起点，不包含终点！基础用法三连击1.标准用法#生成0-4p...
- 3个实用的Pycharm小技巧（pycharm新手教程）
-
前言当我们用Pycharm来编写python代码的时候，你是否留意过以下三个技巧，接下来分享给大家。1.技巧一：Pycharm添加addsourcefolder操作1.1需求：我有一个项目，是...
- python从入门到脱坑 输入与输出——print()函数
-
大家好今天开始系统的讲解一些入门课程，遇到不会的也不用想太多，跟着写一遍，学习到新内容是你就会明白.以下是针对Python初学者的print()函数详解，从基础到实用技巧，配合清晰示例：一、最基础用法...
- Python进阶-day11:并发编程基础（python处理高并发）
-
一、学习目标理解线程和进程的区别及其应用场景。掌握Python中threading模块的基本用法。能够编写一个多线程下载器，应用并发编程知识。二、学习内容与时间安排上午（2小时）：理论学习1....
- Excel合并100个表格要1小时?Python3秒搞定!附代码
-
###**Python3秒合并100个Excel表格（附完整代码）****别再手动复制粘贴了！用Python一键批量合并，效率提升1200倍！**---####**适用场景**-每月汇...
- GIL锁也拦不住!这个多进程方案让python速度提升400%
-
引言"你的python程序怎么卡死了？"当产品经理第3次拍我桌子时，我终于意识到——在200万行的数据清洗任务面前，GIL锁正在把我的8核CPU变成单核计算器...提前准备为了查看核心...
- Python之进度条模块tqdm使用方法（python制作进度条可运行的代码）
-
tqdm是一个进度条模块，可以很好的描述一个任务的执行过程，并且使用起来也非常方便首先介绍tqdm常用参数：desc-进度条标题total-迭代总次数ncols-进度条总长度ascii-使用A...
- Python 中制作神奇的动态进度条（python编写进度条）
-
在本教程中，我们将学习使用三个用于在Python中创建进度条的流行库：TQDM、alive-progress、progressbar。进度条可以在视觉上为用户提供有关任务进度的反馈，如文件下载、数...
- 用Python编制模拟简单的进度条（python2 进度条）
-
模拟实现进度条很多人经常在各种视频软件里面看到进度条对比，尤其是我们很多技术、数据走在世界的前列，通过这种展示出来，很是振奋、很激动、很有成就感。很多工具都能实现的，我们今天用python模拟看看。...
- 一日一技:python中的string.encode()方法
-
string.encode()方法string.encode（）方法返回给定字符串的编码形式，从Python3.0开始，字符串以Unicode格式存储，即字符串中的每个字符都由一个代码点表示。因此...
- python中字符串的操作（python字符串的基本处理）
-
字符串：英文str。表现形式有4种：‘xs’、“xs”、“”“xsxs”“”、‘’‘‘xxx’’’，三引号有个特殊功能，表示注释，跟#一样的功能，（如果字符串本身就有单则不可用单定义...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 真的没想到这个python装饰器还能这么写，见也没见过!
- Python 开发必知的 30 款工具（python语言的开发工具）
- 快到飞起的Python包管理工具UV:从环境创建到PyPI发布的终极指南
- Python输出语句print()（python输出语句print(3+5)）
- Python range 函数实用指南（python range函数的用法）
- 3个实用的Pycharm小技巧（pycharm新手教程）
- python从入门到脱坑 输入与输出——print()函数
- Python进阶-day11:并发编程基础（python处理高并发）
- Excel合并100个表格要1小时?Python3秒搞定!附代码
- GIL锁也拦不住!这个多进程方案让python速度提升400%
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)