个人经验Linux软件开发Shell脚本（linux shell命令行及脚本编程实例详解）

软件开发过程中经常我们可能会感叹或佩服某个大神或牛人多少得厉害强大。其中可能就存在大神或牛人对Linux或Mac操作系统的Shell的精通熟练。学习好Shell和用好Shell的确可以提升我们的开发效率。解决我们工作中的繁琐问题。

一条Shell可能解决了我们写大量代码的问题。

一条Shell可能提升了我们线上问题处理能力。

一条Shell可能提升了我们线上服务稳定性。

一条Shell可能让我们在别人面前炫耀了一下。

一条Shell可能让我们从复杂繁忙的工作中解脱出来。

下面是我根据我的工作经历总结的一些常用Shell脚本（能想起来的）。有些事例可以举一反三。

1、nginx日志追查问题

#查看nginx访问日志
tail -f /usr/local/var/log/nginx/access.log  

#查看HTTP 500的请求地址
fgrep "HTTP/1.1\" 500" /usr/local/var/log/nginx/access.log.2022032615 

#查看HTTP 504的请求地址
fgrep "HTTP/1.1\" 504" /usr/local/var/log/nginx/access.log.2022032615 

#查看HTTP 404的请求页面地址
fgrep "HTTP/1.1\" 404" /usr/local/var/log/nginx/access.log.2022032615

2、替换代码

#批量替换代码Unix(Mac)
find . -type f -name "*.php"|xargs sed -i "" "s/execute()/execute(\$arrParam)/g";  

#批量替换代码Linux
find . -type f -name "*.php"|xargs sed -i "s/execute()/execute(\$arrParam)/g";

3、检查代码静态语法

#检查PHP文件静态语法错误文件
find . -type f -name "*.php" -exec /usr/local/opt/php\@7.4/bin/php -l {} \;|grep -v "No syntax errors";  

#查看PHP Fatal核心错误
fgrep Fatal /usr/local/var/log/php/php-error.log

4、数据分析

#分组求和并排序
awk '{s[$1] += $2}END{ for(i in s){  print i, s[i] } }' cal.txt|sort -nrk2 |head -n 10 

#查询访问TOP10 IP
awk -F" " '{print $1}' /usr/local/var/log/nginx/access.log|awk '{s[$1] += 1}END{ for(i in s){print i, s[i] } }'|sort -nrk2 |head -n 10

#数据去重并求行数
awk -F"\t" '{print $1}' cal.txt |uniq|wc -l

#数据求和
awk -F"\t" '{print $2}' cal.txt| awk '{sum+=$1}END{print sum}'

5、导出数据

#导出指定字段表数据
mysql -uroot -p test -e "select id,name,addr from \`group\` limit 10;" > group.table.data

#导出数据表结构
mysqldump -uroot -p test --no-data --default-character-set=utf8 --lock-tables=false > test.sql

#导入表数据
mysql -uroot -p test < test.tables.data

6、批量语句

#批量杀死PHP进程(举例）
#先拼接shell命令再bash执行
ps aux|grep php-fpm|grep -v grep|awk -F" " '{print "kill -9 "$2";"}'|bash

#批量杀死mysql长时间运行语句或锁表语句
mysql -uroot -p123456 -e "show processlist"|awk -F" " '{print $1}'|grep -v "Id"|awk -F" " '{print "kill "$1";"}'

7、磁盘空间

#查找大于1G文件
find . -type f -size +1024M

#hadoop删除2021年12月的历史存储文件
hadoop -lsr hdfs://xxx.test.com/a/b/c/*202112*
hadoop -rrmr hdfs://xxx.test.com/a/b/c/*202112*

#清空文件内容
echo '' > access.log

#正确切换nginx access_log
mv access_log access_log.2022032615 && /usr/local/opt/nginx/bin/nginx -s reload

#杀死文件不存在但进程未释放的存储
lsof -nl|grep deleted|awk -F" " '{print $2}'|xargs kill -9 {} \;

8、服务进程

#查看nginx端口号
netstat -anpl|grep nginx
 
#查看网络情况
netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c [一般需要优化/etc/sysctl.conf配置参数]

#查看ssh
ps aux|grep sshd
#重启ssh
service sshd restart

9、进程监控

#监控php-fpm进程是否down掉(举例)
#!/bin/sh
NUM=`ps aux|grep php-fpm|grep -v grep|wc -l`
if [ "$NUM" -lt "3" ];then
        /usr/local/opt/php\@7.4/sbin/php-fpm -D
	echo `date '+%x %X'`" reload" >> monitor_reload.log
else 
	echo `date '+%x %X'`" running" >> monitor_running.log;
fi

10、调试工具

#接口是否正常
#响应头信息
curl -I http://localhost:8080/get.php
#响应body信息
curl http://localhost:8080/get.php
#输出到文件
curl http://localhost:8080/get.php -o get.data

#下载文件
wget http://localhost:8080/get.php
#输出到文件
wget -O get.tar.gz http://localhost:8080/get.tar.gz

#查看接口耗时
time curl http://localhost:8080/get.php

#查看服务是否正常
telnet xxx.xxx.xxx.xxx(ip地址) 8080

#传输文件
scp -r get.tar.gz work@xxx.xxx.xxx.xxx:/home/work/data/

#同步文件
rsync -avz /home/work/log/access_log*. work@xxx.xxx.xxx.xxx:/home/work/nginx/log/