介绍

前几天，我用pandas清理了一些混乱的Excel数据，其中包括数千行格式不一致的货币值。当我试图清理它的时候，我意识到它比我最初想象的要复杂一些。巧合的是，几天后，我在twitter上关注了一个帖子，这个帖子为我正在经历的问题提供了一些线索。本文总结了我的经验，并描述了如何清理混乱的货币字段，并将它们转换为数值，以便进行进一步的分析。这里演示的概念也适用于其他类型的pandas数据清理任务。

数据

这里是那个混乱的Excel数据的一个简单视图:

在本例中，数据是货币标记值和非货币标记值的混合。对于这样的小例子，您可能希望在源文件中清理它。然而，当您有一个大的数据集(带有手动输入的数据)时，您将别无选择，只能从混乱的数据开始，并在pandas中清理它。

在更进一步之前，您最好回顾一下我之前关于数据类型的文章。实际上，写这篇文章促使我修改了原来的文章，以阐明object列中存储的数据类型。

让我们读入数据:

我已经读入了数据，并将其复制了一份，以便保存原文件。

在加载数据时，我做的第一件事就是检查其类型:

毫不奇怪，Sales列被作为一个对象存储。' $ '和'，'的存在使Sales列不是一个数值列。我们很可能想对该列做一些数学运算，所以让我们试着把它转换成浮点数。

在真实世界的数据集中，您可能不会这么快就看到该列中有非数值。在我的数据集中，我的第一种方法是尝试使用astype

回溯信息包括一个ValueError，表明它无法将$1,000.00字符串转换为一个浮点数。好的。那应该很容易清理。

让我们尝试使用str.replace来删除' $ '和'，':

嗯。这不是我所期望的。由于某种原因，字符串值被清理了，但其他值被转换成了NaN。这是个大问题。

说实话，这正是发生在我身上的事情，我花了比我应该花的更多的时间去弄清楚到底是哪里出了问题。我最终解决了这个问题，并将在这里讨论这个问题，以便您可以从我的挣扎中学习!

Ted Petrou的推特和Matt Harrison的评论总结了我的问题，并指出了一些有用的pandas代码片段，我将在下面描述。

基本上，我假定一个object列包含所有字符串。而实际上，一个object列可以包含多种类型的混合。

让我们看看这个数据集中的类型。

啊哈。这很好地说明了问题所在。apply(type)代码对列中的每个值运行type函数。您可以看到，有些值是浮点数，有些是整数，有些是字符串。总的来说，列dtype是一个对象。

这里有两个有用的技巧，我将添加到我的工具箱中(感谢Ted和Matt)，以便在分析过程的早期发现这些问题。

首先，我们可以添加一个显示每种类型的格式化的列:

或者，这里有一个更紧凑的方法来使用value_counts检查一个列中的数据类型:

在处理混合的数据类型时，我肯定会在日常分析中使用这种方法。

解决该问题

要说明该问题，并建立解决方案;我将展示一个仅使用python数据类型的类似问题的快速示例。

首先，构建一个数字和字符串变量。

这个例子类似于我们的数据，因为我们有一个字符串和一个整数。如果我们想清理该字符串，以删除额外的字符，并将其转换为一个浮点数:

好的。这就是我们想要的。

如果我们对整数做同样的尝试会发生什么呢?

这里存在一个问题。我们尝试对一个整数使用字符串函数时得到了一个错误。

当pandas尝试使用str访问器执行类似的方法时，它将返回一个NaN而不是一个错误。这就是数值转换为NaN的原因。

解决方案是检查该值是否是一个字符串，然后尝试清理它。否则，就要避免对一个数字调用字符串函数。

第一种方法是编写一个自定义函数并使用apply。

这个函数将检查提供的值是否是一个字符串，如果是，则删除所有不需要的字符。如果不是一个字符串，那么它将返回原始值。

下面是我们如何调用它并将结果转换为浮点数。我还用类型显示了该列:

我们还可以检查 dtypes :

或者查看 value_counts :

好的。一切看起来都很好。我们可以对sales列应用任何我们需要的数学函数。

>>> 今日签到口令：cadv <<<

在结束之前，我将展示如何使用一个lambda函数来实现这一点的一个最后的例子:

lambda函数是一种更紧凑的清理和转换值的方法，但对于新用户来说，理解起来可能更困难。在这种情况下，我个人喜欢使用一个自定义函数。特别是当您必须清理多个列时。

最后一个警告是：在进行清理之前，您仍然需要了解您的数据。我假设所有的销售额都是以美元为单位。这可能是，也可能不是一个有效的假设。

如果这里有混合的货币值，那么您将需要开发一种更复杂的清理方法来将其转换为一致的数字格式。Pyjanitor有一个可以进行货币转换的函数，它对于更复杂的问题来说可能是一个有用的解决方案。

总结

Pandas的object数据类型通常用于存储字符串。但是，您不能假设pandas objects列中的数据类型都是字符串。这在加载混乱的货币数据时尤其令人困惑，这些数据可能包括带有符号的数值、整数和浮点数。

很有可能，简单的清理方法会无意中将数值转换为NaN。本文展示了如何使用一些pandas技巧来识别object列中的各个类型、清理它们并将它们转换为适当的数值。

我希望这对您有用。如果您有任何其他提示或问题，请在评论中告诉我。

英文原文：https://pbpython.com/currency-cleanup.html
译者：浣熊君( ????? )