Python日志模块logging(python日志文件)
off999 2024-10-07 12:18 30 浏览 0 评论
官方文档:
https://docs.python.org/2/library/logging.html
logging模块提供了两种记录日志的方式:
- 第一种方式是使用logging提供的模块级别的函数
- 第二种方式是使用Logging日志系统的四大组件
其实,logging所提供的模块级别的日志记录函数也是对logging日志系统相关类的封装而已。
logging模块定义的模块级别的常用函数:
logging.debug(msg, *args, **kwargs)创建一条严重级别为DEBUG的日志记录
logging.info(msg, *args, **kwargs)创建一条严重级别为INFO的日志记录
logging.warning(msg, *args, **kwargs)创建一条严重级别为WARNING的日志记录
logging.error(msg, *args, **kwargs)创建一条严重级别为ERROR的日志记录
logging.critical(msg, *args, **kwargs)创建一条严重级别为CRITICAL的日志记录
logging.log(level, *args, **kwargs)创建一条严重级别为level的日志记录
logging.basicConfig(**kwargs)对root logger进行一次性配置
函数说明
其中logging.basicConfig(**kwargs)函数用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息,其他几个都是用于记录各个级别日志的函数。
具体如下:
filename
将日志信息写入文件中,指定该设置项后日志信息就不会被输出到控制台了
filemode
指定日志文件的打开模式,默认为'a'。需要注意的是,该选项要在filename指定时才有效
format
指定日志格式字符串,即指定日志输出时所包含的字段信息以及它们的顺序。logging模块定义的格式字段下面会列出。
datefmt
指定日期/时间格式。需要注意的是,该选项要在format中包含时间字段%(asctime)s时才有效。
level
指定日志级别
stream
指定日志输出目标stream,如sys.stdout、sys.stderr以及网络stream。需要说明的是,stream和filename不能同时提供,否则会引发 ValueError异常
style
Python 3.2中新添加的配置项。指定format格式字符串的风格,可取值为'%'、'{'和'#39;,默认为'%'
handlers
Python 3.3中新添加的配置项。该选项如果被指定,它应该是一个创建了多个Handler的可迭代对象,这些handler将会被添加到root logger。需要说明的是:filename、stream和handlers这三个配置项只能有一个存在,不能同时出现2个或3个,否则会引发ValueError异常。
上面的时间需要使用format中包含时间段,过于format还有如下参数:
asctime
%(asctime)s
日志事件发生的时间--人类可读时间,如:2003-07-08 16:49:45,896
created
%(created)f
日志事件发生的时间--时间戳,就是当时调用time.time()函数返回的值
relativeCreated
%(relativeCreated)d
日志事件发生的时间相对于logging模块加载时间的相对毫秒数(目前还不知道干嘛用的)
msecs
%(msecs)d
日志是发生事件的毫秒部分
levelname
%(levelname)s
该日志记录的文字形式的日志级别('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL')
levelno
%(levelno)s
日志记录的数字形式的日志级别(10, 20, 30, 40, 50)
name
%(name)s
所使用的日志器名称,默认是'root',因为默认使用的是 rootLogger
message
%(message)s
日志记录的文本内容,通过 msg % args计算得到的
pathname
%(pathname)s
调用日志记录函数的源码文件的全路径
filename
%(filename)s
pathname的文件名部分,包含文件后缀
module
%(module)s
filename的名称部分,不包含后缀
lineno
%(lineno)d
调用日志记录函数的源代码所在的行号
funcName
%(funcName)s
调用日志记录函数的函数名
process
%(process)d
进程ID
processName
%(processName)s
进程名称,Python 3.1新增
thread
%(thread)d
线程ID
threadName
%(thread)s
线程名称
一、使用logging提供的模块级别的函数记录日志
- 可以通过logging模块定义的模块级别的方法去完成简单的日志记录
- 只有级别大于或等于日志记录器指定级别的日志记录才会被输出,小于该级别的日志记录将会被丢弃。
logging的日志级别由低到高分为 debug(), info(), warning(), error() and critical() 5个级别
CRITICAL(50) > ERROR(40) > WARNING(30) > INFO(20) > DEBUG(10)
简单使用示例:
import logging
logging.basicConfig(filename="E:\\logging\\abc.log", format='%(asctime)s %(message)s', datefmt='%Y-%m-%d %I:%M:%S %p', level=logging.WARNING)
logger = logging.getLogger()
logger.debug("The debug.")
logger.info("The info.")
logger.warning("The warning.")
logger.error("The error.")
logger.critical("The critical.")
print(logger.level)运行结果:
查看E:\\logging\\abc.log文件中的内容,如下:
可以看到,由于设置的日志级别为WARNING,所以只打印了比WARNING级别更高的日志。
二、使用logging四大组件记录日志
logging模块的四大组件:
logger:提供日志接口,供应用代码使用。logger最长用的操作有两类:配置和发送日志消息。可以通过logging.getLogger(name)获取logger对象,
如果不指定name则返回root对象,多次使用相同的name调用getLogger方法返回同一个logger对象
handler:将日志记录(log record)发送到合适的目的地(destination),比如文件,socket等。一个logger对象可以通过addHandler方法添加多个handler,
每个handler又可以定义不同日志级别,以实现日志分级过滤显示
filter:提供方式决定一个日志记录是否发送到handler
formatter:指定日志记录输出的具体格式。formatter的构造方法需要两个参数:消息的格式字符串和日期字符串,这两个参数都是可选的如上面所说,logging.basicConfig()函数中可通过具体参数来更改logging模块的行为
日志同时打印到屏幕和文件:
import logging
# 创建一个日志对象
logg = logging.getLogger("测试日志")
# 定义一个模板
FORMATTER = logging.Formatter("%(asctime)s - %(name)s - [%(lineno)d] - %(message)s")
# 创建一个屏幕流
p_stream = logging.StreamHandler()
# 创建一个文件流
f_stream = logging.FileHandler("log.log", mode="a", encoding="utf-8")
# 将流绑定到模板
p_stream.setFormatter(FORMATTER)
f_stream.setFormatter(FORMATTER)
# 将日志和流进行绑定
logg.addHandler(p_stream)
logg.addHandler(f_stream)
# 设置日志记录等级
logg.setLevel(logging.DEBUG)
# 打印日志信息
logg.debug("this is Debug")
logg.info("this is info")
logg.warning("this is warning")
logg.error("this is error")
logg.critical("this is critical")运行结果:
如果想为多个用户创建不同的日志,只需要创建流时创建不同的日志即可,而不需要创建多个日志对象,如果情况特殊考虑单独在创建一个对象。其实我们可以在创建流的时候直接指定日志等级。流氓的等级是优先于日志对象的。
如下创建两个流:
import logging
# 创建一个日志对象
logg = logging.getLogger("测试日志")
# 创建一个程序员模板和老板模板
CORE_FORMATTER = logging.Formatter("%(asctime)s - %(name)s - [%(lineno)d] - %(message)s")
BOOS_FORMATTER = logging.Formatter("%(asctime)s - %(message)s")
# 创建一个程序员的流和一个老板的流
core_stream = logging.FileHandler("core.log", mode="a", encoding="utf-8")
boos_stream = logging.FileHandler("boos.log", mode="a", encoding="utf-8")
# 设置日志等级(老板的日志等级设置WARNING)
boos_stream.setLevel(logging.WARNING)
# 将流绑定到模板
core_stream.setFormatter(CORE_FORMATTER)
boos_stream.setFormatter(BOOS_FORMATTER)
# 将日志和流进行绑定
logg.addHandler(core_stream)
logg.addHandler(boos_stream)
# 设置日志记录等级
logg.setLevel(logging.DEBUG)
# 打印日志信息
logg.debug("this is Debug")
logg.info("this is info")
logg.warning("this is warning")
logg.error("this is error")
logg.critical("this is critical")运行结果:
这样我们便创建了两种不同的日志
三、日志分割
将日志信息输出到一个单一的文件中,随着应用程序的持续使用,该日志文件会越来越庞大,进而影响系统的性能。因此,有必要对日志文件按某种条件进行切分。
分割日志的触发条件:大小、日期,或者大小加上日期。
说是切分,实际上是,当一个日志文件达到触发条件后,对日志文件进行重命名,之后再新建原来名称的日志文件(此时就是空文件了),新产生的日志就写入新的日志文件。
为啥叫回滚呢?当分割的日志文件达到指定数目的上限个数时,最老的日志文件就会被删除。
logging库提供了2个可以用于日志滚动的class,一个是RotatingFileHandler,它主要是根据日志文件的大小进行滚动;另一个是TimeRotatingFileHandler,它主要是根据时间进行滚动。在实际应用中,通常根据时间进行滚动。
TimedRotatingFileHandler的构造函数定义如下:
TimedRotatingFileHandler(filename [,when [,interval [,backupCount]]])
filename 是输出日志文件名的前缀,比如log/myapp.log
when 的定义如下:
“S”: Seconds
“M”: Minutes
“H”: Hours
“D”: Days
“W”: Week day (0=Monday)
“midnight”: Roll over at midnight
interval:指等待多少个单位when的时间后,Logger会自动重建文件,当然,这个文件的创建取决于filename+suffix,若这个文件跟之前的文件有重名,则会自动覆盖掉以前的文件,所以有些情况suffix要定义的不能因为when而重复。
backupCount:保留日志个数。默认的0是不会自动删除掉日志。若设3,则在文件的创建过程中库会判断是否有超过这个3,若超过,则会从最先创建的开始删除。按秒切分示例:
import time
import logging
import logging.handlers
import os
# 如果日志文件夹不存在,则创建
log_dir = "log-second" # 日志存放文件夹名称
log_path = os.getcwd() + os.sep + log_dir
if not os.path.isdir(log_path):
os.makedirs(log_path)
# logging初始化工作
logging.basicConfig()
# 初始化loggger
test = logging.getLogger('test')
test.setLevel(logging.INFO)
# 添加TimedRotatingFileHandler
# 定义一个1秒换一次log文件的handler
# 保留3个旧log文件
timefilehandler = logging.handlers.TimedRotatingFileHandler(
log_dir + os.sep + "log",
when='S',
interval=1,
backupCount=3
)
# 设置后缀名称,跟strftime的格式一样
timefilehandler.suffix = "%Y-%m-%d_%H-%M-%S.log"
formatter = logging.Formatter('%(asctime)s|%(name)-12s: %(levelname)-8s %(message)s')
timefilehandler.setFormatter(formatter)
test.addHandler(timefilehandler)
n = 6
while n > 0:
test.info("这是一个时间分割的测试程序")
time.sleep(1)
n -= 1运行结果:
注意:
timefilehandler.suffix的设置一定要和时间单位相符,不如按秒切分,就必须设置timefilehandler.suffix= "%Y-%m-%d_%H-%M-%S.log",否则就不能删除旧文件了。按天、按分钟切分也是如此。
RotatingFileHandler基于文件大小切分
示例:
import time
# import logging
import os
import logging.handlers
# 如果日志文件夹不存在,则创建
log_dir = "log-size" # 日志存放文件夹名称
log_path = os.getcwd() + os.sep + log_dir
if not os.path.isdir(log_path):
os.makedirs(log_path)
# logging初始化工作
logging.basicConfig()
# 初始化loggger
test_02 = logging.getLogger('test_02')
test_02.setLevel(logging.INFO)
# 写入文件,如果单个文件超过100个Bytes,则写入下一个文件,最多保留5个文件
handler = logging.handlers.RotatingFileHandler(
'log-size/test_02.log', maxBytes=100, backupCount=5)
formatter = logging.Formatter('%(asctime)s|%(name)-12s: %(levelname)-8s %(message)s')
handler.setFormatter(formatter)
# 设置后缀名称,跟strftime的格式一样
test_02.addHandler(handler)
n = 6
while n > 0:
test_02.info("这是一个大小分割的测试程序")
time.sleep(1)
n -= 1运行结果:
-----------------------------------------------------------------------------
推荐:
详细全面:https://www.cnblogs.com/yyds/p/6901864.html
https://www.cnblogs.com/hanmk/p/10448963.html
相关推荐
- 阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?
-
TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对...
- 高流量大并发Linux TCP性能调优_linux 高并发网络编程
-
其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为...
- 性能测试100集(12)性能指标资源使用率
-
在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总...
- Linux 服务器常见的性能调优_linux高性能服务端编程
-
一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里...
- Nginx性能优化实战:手把手教你提升10倍性能!
-
关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe...
- 高并发场景下,Spring Cloud Gateway如何抗住百万QPS?
-
关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m...
- Kubernetes 高并发处理实战(可落地案例 + 源码)
-
目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB...
- 高并发场景下,Nginx如何扛住千万级请求?
-
Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统...
- Spring Boot+Vue全栈开发实战,中文版高清PDF资源
-
SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...
- Docker-基础操作_docker基础实战教程二
-
一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true...
- 你有空吗?跟我一起搭个服务器好不好?
-
来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手...
- 部署你自己的 SaaS_saas如何部署
-
部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。...
- Docker Compose_dockercompose安装
-
DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,...
- 京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统
-
前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论...
- Kubernetes (k8s) 入门学习指南_k8s kubeproxy
-
Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
