1.二分钟快速给项目添加日志信息

"""
给项目添加日志信息
"""
# 导Python内置包
import logging
import time   # 方便用日期命名日志

# 创建一个日志器logger
logger = logging.getLogger(__name__)

# 给日志器设置日志打印级别
logger.setLevel(logging.INFO)
# 创建一个格式器，用于控制日志输出格式
fm = logging.Formatter(fmt="当前时间为%(asctime)s,文件是%(filename)s,行号是%(lineno)d,日志级别是%(levelname)s,"
                              "描述信息是%(message)s",datefmt='%Y/%m/%d %H:%M:%S')
# 创建一个文件处理器，写入日志
fh = logging.FileHandler(filename="./{}log.txt".format(time.strftime("%Y_%m_%d %H_%M_%S",time.localtime())),encoding='utf-8')
# 关联日志器——格式器——文件处理器
logger.addHandler(fh)
fh.setFormatter(fm)
# 设置文件处理器打印日志的级别
# fh.setLevel(logging.INFO)

# 如果想打印日志在终端，可以添加SteamHandler()端处理器
st = logging.StreamHandler()
# 设置格式
st_fm = logging.Formatter(fmt='%(asctime)s - %(threadName)s[line:%(lineno)d] - %(levelname)s: %(message)s')
# 把日志器——处理器——格式器关联
logger.addHandler(st)
st.setFormatter(st_fm)
# 设置等级
st.setLevel(logging.INFO)


logger.debug('测试debug')
logger.info('测试info')
logger.warning('测试warning')
logger.error('测试error')
logger.critical('测试critical')

示图：

需要补充的日志理论知识：

"""
一、日志
1、定义：跟踪软件运行时产生的事件的方法(跟踪器)
2、作用：调试程序、定位问题，数据分析
二、如何实现日志收集
1、实现方式：内置模块logging
2、logging模块的基本应用:四大组件
    (1)日志器logger 给所有的应用程序提供接口
    (2)处理器handler 决定在不同端输出
    (3)格式器formater决定日志内容(日志包含的事件、行号、信息描述、信息级别）
    (4)过滤器filter对信息进行筛选，保留感兴趣的信息
3、四大组件的关系
一个日志器可以有多个处理器，一个处理器可以有各自的格式器和过滤器
三、日志级别(从低到高)
DEBUG:调试信息
INFO:关键事件描述
WARNING:警告信息
ERROR:错误信息
CRITICAL:严重错误
FATAL:致命错误
四、日志输出端：
1.指定位置的日志文件
2.控制台
五、输出日志级别是按照日志输出结拜控制还是处理器输出级别控制？
————输出日志级别是优先按照日志器的输出级别输出，其次再按照处理器输出级别输出
六、日志记录的特点
1.定义了INFO级别，例如logger.setLevel(logging.INFO),则应用程序里面所有的DEBUG级别的信息不被打印，也就是大于或者等于的设定级别的日志才会输出
2.日志记录的级别有继承性，子类会继承父类的所有日志级别

"""

2.DATAFRAME类型数组如何判断为空呢

"""
DataFrame类型数组如何判断为空呢
—————定义了列，里面没有数据仍为空
——————表中没数据，为空
"""
import pandas as pd

table_a = pd.DataFrame()
table_b = pd.DataFrame(columns=['测试1','测试2'],dtype=object)
table_c = pd.DataFrame([[4,9]]*3)
table_d = pd.DataFrame({
    '姓名':['大','搭','达','答'],
    '时间':[199991101,19991102,19991103,19991104],
    '性别':['男','男','女','男'],
})
print('&'*30)
print(table_a)
print('&'*30)
print(table_b)
print('&'*30)
print(table_c)
print('&'*30)
print(table_d)
print('&'*30)

if table_a.empty:
    print('table_a是空的')
if table_b.empty:
    print('table_b是空的')
if table_c.empty:
    print('table_c是空的')
if table_d.empty:
    print('table_d是空的')

示图：

3.密码的加密与解密

"""
密码加解密

原理：
.encode():原文本转二进制
.decode():二进制转源文本
"""
import base64

pwd = input('请输入密码：')

# 原文本-->二进制-->base64.b64encode()进行加密,@#$%是为了加盐
# new_pwd = base64.b64encode(('!@#$%' + pwd).encode())  # 输入231,生成：b'IUAjJCUyMzE='
# 去掉开头的b
new_pwd = base64.b64encode(('!@#$%' + pwd).encode()).decode()   # # 输入231,生成：'IUAjJCUyMzE='
# wb,以二进制格式打开一个文件用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件
with open ('password.txt','wb') as f:
    f.write(new_pwd.encode())


# 解密
with open('password.txt','r') as f:
    pwd = f.read()

print('mi',pwd)  # mi IUAjJCUyMzE=
print(type(pwd))  # <class 'str'>
print('mi1',pwd.encode()) # mi1 b'IUAjJCUyMzE='
# 用base64.b64decode解
# pwd1 = base64.b64decode(pwd.encode())
# print(pwd1)  # 输入231,生成：b'!@#$%231'
# 去b操作
pwd1 = base64.b64decode(pwd.encode()).decode()
print(pwd1)  # 输入231,生成：!@#$%231
# 去掉加盐，切掉前五位
pwd2 = pwd1[5:]
print(pwd2)

示图

4.制作简单加密器

把加密过程生成一个exe文件，点击exe输入密码即可完成加密，在txt文件获取加密后的密码

1.需要用到的py文件,例如demo21_1.py文件

import base64

pwd = input('请输入密码：')
new_pwd = base64.b64encode(('!@#$%' + pwd).encode()).decode()
with open ('password.txt','wb') as f:
    f.write(new_pwd.encode())

2.如何打包

1.第一步安装Python代码转成exe的工具包pyinstaller

pip install pyinsatller
# 或者
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyinstaller

2.执行打包命令

pyinstaller -F xxx.py 
# 或者
pyinstaller -D xxx.py
# -F 表示打包成文件
# -D 表示打包成文件夹
# --noconsel 以无提示模式启动安装程序
# -i 加入图标，图标用的ico格式

目录结构图

效果图

需要注意的是：如果添加图标时，想要获取.ico图片，不建议直接改.jpg图片的后缀名，这样可能会报错。

找格式工厂或者其他软件来获取.ico图标。

5.A列相同的，按照B列排序，用最新的C列、D列数据替换之前的数据

"""
用类别排序后，按编号进行分组，每组种判断最后一条数据的位置是不是上海，如果是，用这组最后一条的数据替换这组其余的数据，如果不是，不做处理。

pad/ffill:用前一个非缺失值去填充该缺失值
backfill/bfill:用下一个非缺失值填充该缺失值
None:指定一个值去替换缺失值(缺省默认这种方式)
limit参数：限制填充个数
axis参数：修改填充方向

"""
import os
import numpy as np
import pandas as pd
file_path = r'demo22.xlsx'
table = pd.read_excel(file_path)
print(table.shape[0])
test1 = table.sort_values('类别',ascending=False)

print('按照类别排序效果如下')
# print(test1)
print('再按照编号排序，生成了一个对象')
test_group = test1.groupby('编号')
# print(test_group)

# 创建两个空表
empty_test1 = pd.DataFrame(columns=table.columns,dtype=object)
empty_test2 = pd.DataFrame(columns=table.columns,dtype=object)

for group_name,df_group in test1.groupby('编号'):
    # print(group_name)  每一行的序号
    # print('展现以类别排序之后，按编号分组结果')
    print(df_group)   # 每一行的数据
    # print('展示每组最后一条数据')
    # print(df_group.tail(1))
    # df = df_group.tail(1)
    # print(df['位置'])
    # print(df['位置'].any())
    # print(df['位置'].item())
    # print(df['位置'].all())

    # 如果每组的最后一条数据是北京，把这一组的所有位置全部变成上海
    if df_group.tail(1)['位置'].any() == '上海':
        # iloc[] 包头不包尾
        # df_group.iloc[1:,1:3] = np.nan # 保留每组的第一条数据，其他第1索引，第2索引位置处设为nan
        # df_group.fillna(method='ffill',inplace=True)
        df_group.iloc[:-1,1:3] = np.nan   # 保留每组的最后一条数据，其他第1索引，第2索引位置处设为nan
        # print(df_group)
        df_group.fillna(method='bfill',inplace=True)
        """
                         编号   位置 工作类型 性别         时间     类别
            0  13123  NaN  NaN  女 2022-11-06  2023款
            5  13123  NaN  NaN  女 2022-11-05  2023款
            3  13123  NaN  NaN  女 2022-11-03  2021款
            7  13123   上海   全职  男 2022-11-08  2021款
        """
        # print(df_group)
        # 符合条件的累加
        empty_test1 = pd.concat([empty_test1,df_group])
    else:
        # 不符合条件的也累加
        empty_test2 = pd.concat([empty_test2, df_group])
total_test = pd.concat([empty_test1,empty_test2],ignore_index=True)
print(total_test)

file_path = r'total_test.xlsx'
if (os.path.exists(file_path)):
    os.remove(file_path)
total_test.to_excel(file_path,index=False)

示例图如下：

6.PANDAS中MERGE,CONCAT,JOIN三种拼接方法实战对比

6.1 concat

新建concat_1.xlsx和concat_2.xlsx，内容如下

"""
concat() 方法适用于两个表长或者宽度不匹配，需要强行填充
"""
import pandas as pd

file_path1 = r'concat_1.xlsx'
file_path2 = r'concat_2.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)

# 默认axis=0 列拼接，当axis=1时，行拼接
# result1 = pd.concat([table_a,table_b])
result1 = pd.concat([table_a,table_b],keys='产品',axis=0)
print('result1')
print(result1)
result2 = pd.concat([table_a,table_b],axis=1)
print('result2')
print(result2)

效果如下

6.2 join

新建join_1.xlsx和join_2.xlsx,内容如下

"""
两个表长度不匹配，需要强行填充
————join用法：基于index连接dataframe的列
——————how:有四种连接方式：left,right,outer,inner,默认为left
——————on:标签的列表，根据某个字段进行拼接，必须存在与两个DataFrame中，若未同时存在，则需要同时使用left_on和right_on
——————lsuffix:字符串，左侧数据中重叠列使用的后缀
——————rsuffix:字符串，右侧数据中重叠列使用的后缀
——————sort 布尔类型，对非连接轴进行排序


"""

import pandas as pd

file_path1 = r'join_1.xlsx'
file_path2 = r'join_2.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)
result = table_a.join(table_b,how='outer',lsuffix='2')
print(result)
result1 = table_b.join(table_a,how='outer',lsuffix='2')
print(result1)

6.3 merge[重点]

新建merge_1.xlsx和merge_2.xlsx,内容如下

"""
两个表长度不匹配，需要强行填充
————merge用法：基于相同的列进行拼接
——————它实现的数据库的join操作

"""
import pandas as pd

file_path1 = r'merge_1.xlsx'
file_path2 = r'merge_2.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)

# 默认参数how是inner内连接，并且会按照相同的字段key进行合并，即等价于on='key'
result = pd.merge(table_a,table_b)
# 相当于result = pd.merge(table_a,table_b，on='产品')
print(result)

高阶用法

新建merge_3.xlsx和merge_4.xlsx,内容如下

执行代码：

"""
当两个表没有相同字段时的合并
"""

import pandas as pd

file_path1 = r'merge_3.xlsx'
file_path2 = r'merge_4.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)

# 默认参数how是inner内连接，并且会按照相同的字段key进行合并，即等价于on='key'
result = pd.merge(table_a,table_b,left_on='产品',right_on='名称',how='left')
# 相当于result = pd.merge(table_a,table_b，on='产品')
print('result')
print(result)
result1 = pd.merge(table_a,table_b,left_on='产品',right_on='名称',how='right')
print('result1')
print(result1)

效果如下