本期跟运维有关
技术类型: Linux指令
应用平台: Centos
使用范围: 命令行/脚本
用到工具: vi
在我们常用的Linux服务器上, 每天由各种服务生成的日志文件有很多
如果不注意的话, 就有可能出现日志文件过大的问题,从而占用我们过多的磁盘空间
人工定时检查, 既费力又不讨好, 还容易错过处理时机,导致磁盘空间告急
日志增长, 让人捉急
程序员天生就是懒的, 所以我们来解决一下这个问题
Linux中有个sed 命令是利用脚本来处理文本文件。
sed 可依照脚本的指令来处理、编辑文本文件。
语法
sed [-hnV][-e<script>][-f][文本文件] 在这里我们用到它的其中一个参数:
-i 此选项会直接修改源文件先举个栗子, 我们准备一个简单的文本文件,用来模拟日志文件
你可以用vi手工创建这个文件
试一下这么一条指令
'2d'中的d, 表示删除, 它会删除指定行中的所有内容
sed -i '2d' demo.txt第2行被删除了
一行行删除, 这不符合我们的要求
一般日志记录, 最新的在后面, 旧的在前面
那么我们需要删除第1行至第5行要怎么做?
sed -i '1,5d' demo.txt把刚才的demo.txt恢复一下, 方便展示效果
前5行成功删除
好, 有了这个后, 我们就可以来正式准备我们的脚本了
先创建自动化脚本
vi auto.sh为了我们的自动脚本更聪明些, 我们先来定义一个方法
脚本文件内容, 这里我们清前3条试试
$(1) 表示是方法的第1个参数
#!/bin/bash
function cleanline(){
sed -i '1,3d' ${1}
}这样做的目的, 是当我们同时要管理(清理)多个日志文件时, 就很方便了
这样调用(写在方法下方), 注意日志文件要完整的路径
cleanline "/data2/logs/demo.txt"给这个新的脚本文件执行权限
chmod +x auto.sh恢复用来演示的demo.txt内容, 执行脚本
./auto.sh前3行清除成功
到这里还有点问题, 为了我们的函数更健壮一些
我们需要考虑一下, 如果日志行数太少时, 就不要再清理, 其一删除可能会出错; 其二日志全清了不方便查看最近的日志,总要留一点不是么.
这个时候我们要借助awk命令来计算一下日志文件的行数, 以方便函数的判断执行
把刚才的函数进一步完善, 只有当大于5行时, 才删除多余的日志行内容
function cleanline(){
count=$(awk 'END{print NR}' ${1})
echo "${1} lines: ${count}"
if [ $count -ge 5 ] ;then
echo "${1} over 5 line"
sed -i '1,3d' ${1}
fi
}执行看看效果
行数小于5时就不再清理日志了
投入使用时, 可以参考这样的例子
#!/bin/bash
echo "clearing logs..."
#删除指定文件中的前5000行内容（文件行数超过7000行的话）
function cleanline(){
count=$(awk 'END{print NR}' ${1})
echo "${1} lines: ${count}"
if [ $count -ge 7000 ] ;then
echo "${1} over 7000 line"
sed -i '1,5000d' ${1}
fi
}
cleanline "/data/logs/nginx.log"
cleanline "/data/logs/db.log"
cleanline "/data/logs/java.out"具体行数可以根据实际日志增长速度来设定
更进一步的可以把行数也通过参数传入, 这样cleanline函数就可以变得更通用
最后
把这个脚本放到自动任务里去, 这样:
crontab -e添加一行, 让它每天凌晨1点执行一次
0 1 * * * /root/auto.sh结束
安逸了, 走, 省下来的时光摸鱼去
这期就酱,下期再见
复杂的问题简单化
每次只关注一个知识点
对技术有兴趣的小伙伴可以关注我, 我经常分享各种奇奇怪怪的技术知识