用python做数据清洗，插补缺失值（python插值填补缺省值）
off999 2024-09-16 00:49 46 浏览 0 评论
在使用 python 爬虫把数据爬取下来之后，你并不能保证你爬取下来的数据可不可靠，换句话说，你爬取下来的数据有没有缺失值、异常值这些。如果有，那么我们就要进行 python 数据分析来清洗这些不大合格的数据。
在这个过程，首先要判断数据是否有缺失值、异常值，然后再进行填补或者说插补缺失值、过滤掉异常值。
开始今天的内容：
1.判断是否有缺失值和异常值：
判断是否有空值，True 代表是空值，data是样本数据： data.isnull()
而查找异常值，经常使用“箱型图分析”，在本篇文章中，小编不再详细介绍了，还不大明白异常值分析检测的朋友，请看小编的这篇文章。链接是：
python数据分析和挖掘｜对样本数据做质量分析，去除异常值
2.插补缺失值和异常值
（1）使用零值、均值等插补缺失值
实例代码如下：
运行结果如下：
从上面 3-4 可以看出，删除含有空值的行数据，通过减少不合格数据换取完整的信息，牺牲了大量的数据，这样可能丢失了很多隐藏的重要信息。这种方法在样本数据量十分大且缺失值不多的情况下非常有效，但如果样本量本身不大且缺失也不少，那么不建议使用。
（2）采用拉格朗日插值法
采用这种方法可以不仅可以插补缺失值，而且可以插补处理后的异常值。
原不大合格的样本数据如下（只截图小部分）：
实例代码：
进行插补后的数据截图（截图小部分）：
好的，喜欢的读者朋友可以关注一下我，即【Python是一个时代】，更多精彩内容等着你。也可以分享转发给更多的朋友学习学习，希望今天的内容对读者有帮助。
关于python全系列资料和本文的源码、数据下载：
资料和本文的源码请到小编的微信公众号【小梁学python】中领取和下载
Python全系列资料领取，请在对话框回复“资料”领取。
本篇文章的Excel数据和源码，请在对话框回复“插补缺失值或者缺失值”领取。
相关推荐
- Python Flask 容器化应用链路可观测
-
简介Flask是一个基于Python的轻量级Web应用框架，因其简洁灵活而被称为“微框架”。它提供了Web开发所需的核心功能，如请求处理、路由管理等，但不会强制开发者使用特定的工具或库。...
- Python GUI应用开发快速入门（python开发软件教程）
-
一、GUI开发基础1.主流GUI框架对比表1PythonGUI框架比较框架特点适用场景学习曲线Tkinter内置库，简单小型应用，快速原型平缓PyQt功能强大，商用许可专业级桌面应用陡峭PySi...
- 实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅
-
在Python的世界里，GUI（图形用户界面）开发工具众多，但要找到一款真正跨平台、易于使用且功能强大的工具并不容易。今天，我们就来深入探讨一下Toga——一款Python原生、操作系统原...
- python应用目录规划（python的目录）
-
Python大型应用目录结构规划（企业级最佳实践）核心原则模块化：按业务功能拆分，高内聚低耦合可扩展性：支持插件机制和动态加载环境隔离：清晰区分开发/测试/生产环境自动化：内置标准化的构建测试部署流...
- Python图形化应用开发框架:PyQt开发简介
-
PyQt概述定义：PyQt是Python绑定Qt框架的工具集，用于开发跨平台GUI应用程序原理：通过Qt的C++库提供底层功能，PyQt使用SIP工具生成Python绑定特点：支持Windows/ma...
- [python] 基于PyOD库实现数据异常检测
-
PyOD是一个全面且易于使用的Python库，专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据，它们可能表示错误、噪声或潜在的有趣现象。无论是处理小规模项目还是大型...
- Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本
-
环境准备确保你已经安装了以下库：SeleniumAllurepytest你可以使用以下命令安装所需库：pipinstallseleniumallure-pytestpytest示例代码下面的代...
- LabVIEW 与 Python 融合:打造强大测试系统的利器
-
在现代测试系统开发领域，LabVIEW和Python各自凭借独特优势占据重要地位。LabVIEW以图形化编程、仪器控制和实时系统开发能力见长；Python则凭借丰富的库资源、简洁语法和强大数...
- 软件测试进阶之自动化测试——python+appium实例
-
扼要：1、了解python+appium进行APP的自动化测试实例；2、能根据实例进行实训操作；本课程主要讲述用python+appium对APP进行UI自动化测试的例子。appium支持Androi...
- Python openpyxl:读写样式Excel一条龙，测试报表必备!
-
无论你是测试工程师、数据分析师，还是想批量导出Excel的自动化工作者，只需一个库openpyxl，即可高效搞定Excel的各种需求！为什么选择openpyxl？支持.xlsx格式...
- Python + Pytest 测试框架——数据驱动
-
引言前面已经和大家介绍过Unittest测试框架的数据驱动框架DDT，以及其实现原理。今天和大家分享的是Pytest测试框架的数据驱动，Pytest测试框架的数据驱动是由pytest自...
- 这款开源测试神器，圆了我玩游戏不用动手的梦想
-
作者：HelloGitHub-Anthony一天我在公司用手机看游戏直播，同事问我在玩什么游戏？我和他说在看直播，他恍然大悟：原来如此，我还纳闷你玩游戏，咋不用动手呢。。。。一语惊醒梦中人：玩游戏不用...
- Python单元测试框架对比（pycharm 单元测试）
-
一、核心框架对比特性unittest(标准库)pytest(主流第三方)nose2(unittest扩展)doctest(文档测试)安装Python标准库pipinstallpytestp...
- 利用机器学习，进行人体33个2D姿态检测与评估
-
前几期的文章，我们分享了人脸468点检测与人手28点检测的代码实现过程，本期我们进行人体姿态的检测与评估通过视频进行人体姿势估计在各种应用中起着至关重要的作用，例如量化体育锻炼，手语识别和全身手势控制...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Python Flask 容器化应用链路可观测
- Python GUI应用开发快速入门（python开发软件教程）
- 【MCP实战】Python构建MCP应用全攻略:从入门到实战!
- 实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅
- python应用目录规划（python的目录）
- Python图形化应用开发框架:PyQt开发简介
- [python] 基于PyOD库实现数据异常检测
- Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本
- LabVIEW 与 Python 融合:打造强大测试系统的利器
- 软件测试进阶之自动化测试——python+appium实例
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)