【强强联合】在Power BI 中使用Python(2)——数据清洗

?上一篇文章我们讲解了在Power BI中使用Python来获取数据的一些应用：

「强强联合」在Power BI 中使用Python（1）——导入数据

这一篇我们将继续讲解如何在Power BI中使用Python进行数据清洗工作。

其实我们仔细看一下场景1和场景2，它们之间是个逆过程，场景1是从Python获取数据传递到Power BI，而场景2是Power BI或者Power Query获取了数据，用python来处理。

那么这个逆过程应该如何操作呢？话不多说，抓紧上车：

前文我们讲过，Python与Power BI的数据传递是通过Dataframe格式的数据来实现的。

Python的处理结果以Dataframe形式输出，M将Dataframe自动转换为Table格式。M将其Table类型的数据传递给Python，Python会自动将Table转换为Dataframe。

举个简单的例子：

首先我们进入Power Query管理器界面，通过新建一个空查询，并建立一个1到100的列表，再将其转换为表：

# 'dataset' 保留此脚本的输入数据

然后点击“转换-运行Python脚本”：

脚本编辑器中自带一句话：

import pandas as pd

一行以“#”开头的语句，在Python的规范中表示注释，所以这句话并不会运行，它的意思是将你要进行修改的表用dataset来表示，也就是说Python是通过dataset变量来访问数据的。

理论上我们需要在这个地方键入：

import pandas as pd

以表示我们要使用pandas库，但是Power BI在调用Python时，自动导入了pandas和matplotlib库，所以这一行写不写都一样，我们知道下面的代码是在调用pandas库即可。

在脚本编辑器输入框中输入以下代码：

dataset.insert(loc=1,column="add_100",value=dataset["Value"]+100)

dataset就是源数据表自动换换的dataframe格式数据，“loc=1”代表在第一列数据后插入一列，列名是“add_100”，值是“Value”的值+100，第一行是1，add_100列第一行就是101，以此类推：

点击运行，得到的是一个子表，将其展开：

准确无误。

当然，我们也可以继续在这个表里进行一系列操作，比如复制一张表，再创建一个新dataframe表：

运行，得到结果：

再比如，我们想提取数据的某列，比如上面这张表的“key2”列，我们可以点击运行Python脚本，并写入如下的代码：

（power query自动对Python添加 #(lf) 用来进行转义）

当然，以上所说这些功能直接在powerquery中就可以实现，甚至更简单便捷，所以上述内容都是些：

吗？

并！不！是！以上只是在循序渐进地告诉大家，powerquery中是可以用Python进行数据清洗的，并且清楚地告诉大家调用Python的方法，大家应该很熟练了吧。

以下才是重点（当然上面也是）：

在powerquery数据清洗中使用较多的Python功能一定会有正则，因为powerquery本身是没有正则的，所以这时候调用Python来进行正则就显得尤为重要，否则你可能需要在powerquery中添加很多步骤也不一定能得到想要的结果。

比如下面这个例子：

真实情况可能远远比这个复杂。

这种数据如果已经导入到Power BI中，在powerquery里是没有办法直接进行处理的，这时候就可以调用Python的re正则表达式了：

import reimport json?# 自定义获取文本电子邮件的函数def get_find_emails(text):    emails = re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+", text)    emails=';'.join(emails)    return emails?# 自定义获取文本手机号函数def get_findAll_mobiles(text):    mobiles = re.findall(r"1\d{10}", text)    mobiles =';'.join(mobiles)    return mobiles?email_list=[]tele_list=[]for i in range(len(dataset)):    text=dataset.iat[i,1]    email=get_find_emails(text)    email_list.append(email)    tele=get_findAll_mobiles(text)    tele_list.append(tele)    dataset['email']=email_listdataset['tele']=tele_list

正则表达式的使用，大家可以进行相关搜索和学习，网上资源还是很多的。

这段代码定义了两个函数：get_find_emails（自定义获取文本电子邮件的函数）和get_find_mobiles（自定义获取文本手机号函数），得到两个list，最后再放入dataset数据表中。

在IDE中运行无误后复制到powerquery的Python脚本编辑器中：

点击确定，返回结果：

后面两列就是我们想要的手机号和邮箱了。

这样我们就实现了在powerquery中使用正则表达式对数据进行清洗的目的。

当然，也可以调用R、PHP或者js来实现相同的目的，方法大同小异，各位读者可以自行研究。

本文讲解了在powerquery中进行数据清洗工作时如何运用Python来实现一些特定的功能。当然，数据清洗的整个流程是复杂多变的，结合本文所讲的内容，希望大家都能充分挖掘powerquery和Python在数据清洗过程中的优缺点，结合起来使用，势必能事半功倍。

下一篇我们将继续讲解如何使用Python的matplotlib库在Power BI中进行可视化呈现。

感谢您对【学谦数据运营】的关注，支持与厚爱，如果您觉得本文对您有用，请不要吝惜您的点赞、转发、点亮在看，有任何问题欢迎大家在留言区留言，谢谢。