用 Python 造了个运维小小弟,运维的活就交给我了
off999 2024-09-18 22:34 33 浏览 0 评论
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有,如有问题请及时联系我们以作处理
作者:somenzz
原文链接:https://cloud.tencent.com/developer/article/1758817
周六,正和家人在外边玩得起劲,突然接收到微信报警,某某系统供数出错……
此时,内心是崩溃的,有一万个羊驼在翻腾,我能瞬间说出这系统的 100 个缺陷。
然而,也有另外一个声音在耳边提醒着:抱怨是最没用的,可怜之人必有可恨之处,老板在乎不是你的苦劳,而是你的功劳。
算了,回家打开电脑,解决报错。
以上的场景做过运维的朋友想必比较熟悉,没做过运维的人相信也有类似的经历,总之就是那些让你不爽的事,如果这些不爽的事与电脑有关,不妨继续一看。
痛定思痛,我再也不愿意做如此重复又没技术含量的杂事了,今天必须拿出一个方案来。
向领导说不干这个了
换系统
自己想办法解决
俗话说三思而后行,常言道换位思考,当今互联网时代更要学会产品思维。
假如我是客户,我会喜欢什么样的产品呢?肯定是有问题会自我修复的产品,如果确实无法自我修复,应该提示我升级或找售后维护,如果拒绝服务却又没有任何信息提示,那么这个产品只好废弃不用了。作为一名员工,其实也是领导的一款产品,需要提高自己的核心竞争力,做别人不愿做或做别人做不好的事,这样才能体现自己的价值。这样想,心情平静了许多。
那么,我选择先做 3 。
分析问题:这个属于系统 bug,上传失败通过在网页上再点一次上传按钮就可以传成功。
不如干脆造个运维小小弟在报错的时候自动帮我点下得了!想到这里,我被自己想法折服了,这个还真可以实现,找当今稳排第一的编程语言 Python 来实现这个小小弟就成了,毕竟还是打过交道的,应该没有大问题。
有想法就要有行动,just do it。
思路:我需要的是一个可以在网页上自动操作的小小弟,因此先分析网页 Web 请求,再选取相应的工具,最后编码调试。
第一步 分析网页。网站是需要登陆的,打开 Chrome 浏览器,输入用户名和密码,按 F12 /或 Ctrl + Shift + I 打开开发者工具 ,勾选以下选项。
再点击登陆按钮,然后查看开发者工具的网络请求记录。
发现这一步为 POST 请求,参数中出现了刚才输入用户名密码,这里未加密,有些网站密码可能通过JavaScript 对密码进行了加密后上传至服务器的,此时则需要使用加密后的密码提交 Post 请求。查看其 ResPonse 如下:
发现返回值是 Json 格式的字符串,有个 methodName 为 login,参数也是刚才输入的用户名密码,更进一步说明,这一请求就是验证登陆用户是否合法的。
第二步 选取工具。这里涉及到爬虫,我熟悉的爬虫工具有 urllib(标准库),requests(第三方库),selenium(第三方库),
urllib 比较简单,实现 Session 有点麻烦;selenium 太笨重,虽然可以运行 JavaScript,但是需要浏览器驱动,找各种元素的 xpath,运行起来也很慢;而 requests 库就非常 Pythonnic ,简单而优雅,能轻松处理 Session ,这也是我的最爱用的工具。
于是选定 requests 先做一个登陆验证。
第三步 编码调试。由于页面需要登陆,因此需要保留与服务器通讯的会话 Session。
登陆的代码如下:
import requests
s = requests.Session()
url = "http://xxx.xxx.xxx.xxx:9080/******/vision/RMIServlet"
data = {
    "className": "UserService",
    "methodName": "login",
    "params": '["admin","******"]',
}
r = s.post(url, data=data)
print(r.text)
print(r.status_code)执行结果为
{"retCode":0,"result":true}
200返回 200 说明访问成功,小兴奋了一把。接着,同样的方法我点击供数配置菜单,得到供数的页面,继续分析。
点击供数配置时的请求
点击供数配置后的应答
发现其返回了跳转页面的参数,我们获取该参数,继续请求即可,对应的代码如下:
import requests
import json
s = requests.Session()
url = "http://xxx.xxx.xxx.xxx:9080/******/vision/RMIServlet"
data = {
"className": "UserService",
"methodName": "login",
"params": '["admin","******"]',
}
r = s.post(url, data=data)
print(r.text)
print(r.status_code)
data2 = {
    "className": "UrlLinkService",
    "methodName": "getURLLink",
    "params": '["I8ae3cd903146dcb1013146df075c000c"]',
}
r2 = s.post(url, data=data2)
print("获取供数配置页面参数信息",r2.status_code)
result = json.loads(r2.text) # 将Json 字符串转化为 Python 字典
print(result['result']['url']) # 获取 url 参数运行结果如下:
{"retCode":0,"result":true}
200
获取供数配置页面参数信息 200
/bioffice/vision/SupplyManagement?opFlg=querySysCfgTask&forwardPage=list.jsp接下来,点击我们要处理的系统名称,再点击详细信息,找到重新上传按钮,注意每一步的 Post 或 Get 请求,道理都是通的,编写相应的 Post 或 Get 代码即可。
完整代码如下所示:
import requests
import json
s = requests.Session()
url = "http://xxx.xxx.xxx.xxx:9080/******/vision/RMIServlet"
data = {
"className": "UserService",
"methodName": "login",
"params": '["admin","******"]',
}
r = s.post(url, data=data)
print(r.text)
print(r.status_code)data2 = {
"className": "UrlLinkService",
"methodName": "getURLLink",
"params": '["I8ae3cd903146dcb1013146df075c000c"]',
}
r2 = s.post(url, data=data2)
print("获取供数配置页面参数信息",r2.status_code)
result = json.loads(r2.text) # 将Json 字符串转化为 Python 字典
print(result['result']['url']) # 获取 url 参数url3 = f"http://xxx.xxx.xxx.xxx:9080{result['result']['url']}"
#print(url3)
r3 = s.get(url3)
print(r3.url, r3.status_code)taskinfo = ['988909',CRM.DJJGXCKMX','2018-08-19','CRM'] #实际使用时可做为参数传入payload0 = {
   "opFlg": "queryTask",
   "forwardPage": "listtask.jsp",
   "sysid": taskinfo[3],
   "sysname": "",
   "rundate": taskinfo[2],
}
payload1 = {
   "opFlg": "modifyTask",
   "forwardPage": "listtask.jsp",
   "flg": "U",
   "sid": taskinfo[0],
   "vname": taskinfo[1],
   "rundate": taskinfo[2],
}r4 = s.get(
   "http://xxx.xxx.xxx.xxx:9080/******/vision/SupplyManagement", params=payload0
)
r5 = s.get(
   "http://xxx.xxx.xxx.xxx:9080/******/vision/SupplyManagement", params=payload1
)print(r4.url, r4.status_code)
print(r5.url, r5.status_code)
if r5.status_code == 200:
   print("已执行上传")
else:
   print("执行上传失败")测试环境验证:
执行前:
原本运行结束时间为 2018-08-20 05:37:11
执行上述代码,打印信息如下:
{"retCode":0,"result":true}
200
获取供数配置页面参数信息 200
/bioffice/vision/SupplyManagement?opFlg=querySysCfgTask&forwardPage=list.jsp
http://xxx.xxx.xxx.xxx:9080/******/vision/SupplyManagement/list.jsp 200
http://xxx.xxx.xxx.xxx:9080/******/vision/SupplyManagement/listtask.jsp 200
http://xxx.xxx.xxx.xxx:9080/******/vision/SupplyManagement/listtask.jsp 200
已执行上传再次查看运行结束时间为2018-08-20 22:47:39
说明这个小小弟已经成功的为我执行了重新上传的任务,后续可监控的报警信息传递给这个小小弟,小小弟就可以在生产环境自动帮我处理上传失败的问题了。
总结:只要思想不滑坡,办法总比困难多。上面分享的这些,对于懂 http 协议的人来说简单地就像老戏骨看小娃娃表演一般,所以起名叫小小弟,他的功能还是非常简单的,但是把这些技术用于解决实际的运维问题我认为还是比较有意义的,具有自动修复功能的运维才是真正的自动化运维。后续会逐步加强小小弟的功能。
相关推荐
- 阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?
- 
        TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对... 
- 高流量大并发Linux TCP性能调优_linux 高并发网络编程
- 
        其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为... 
- 性能测试100集(12)性能指标资源使用率
- 
        在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总... 
- Linux 服务器常见的性能调优_linux高性能服务端编程
- 
        一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里... 
- Nginx性能优化实战:手把手教你提升10倍性能!
- 
        关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe... 
- 高并发场景下,Spring Cloud Gateway如何抗住百万QPS?
- 
        关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m... 
- Kubernetes 高并发处理实战(可落地案例 + 源码)
- 
        目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB... 
- 高并发场景下,Nginx如何扛住千万级请求?
- 
        Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统... 
- Spring Boot+Vue全栈开发实战,中文版高清PDF资源
- 
        SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序... 
- Docker-基础操作_docker基础实战教程二
- 
        一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true... 
- 你有空吗?跟我一起搭个服务器好不好?
- 
        来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手... 
- 部署你自己的 SaaS_saas如何部署
- 
        部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。... 
- Docker Compose_dockercompose安装
- 
        DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,... 
- 京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统
- 
        前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论... 
- Kubernetes (k8s) 入门学习指南_k8s kubeproxy
- 
        Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它... 
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
- 
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
 
