数据量太大?散点图装不下怎么办?用Python解决数据密度过大难题
off999 2024-11-24 20:06 20 浏览 0 评论
当我们需要观察比较2个变量间的关系时,散点图是我们首选图表。
可当数据量非常大,数据点又比较集中在某个区间中,图表没法看,密密麻麻的怎么看?
怎么办?这时候就得看密度图了
什么是密度图?
所谓的密度图 (Density Plot) 就是数据的分布稠密情况,它常用于显示数据在连续时间段内的分布状况。严格来说,它是由直方图演变而来,类似于把直方图进行了填充。
一般是使用平滑曲线来绘制数值水平来观察分布,峰值数值位置是该时间段内最高度集中的地方。
它比直方图适用性更强,不受分组数量(直方图的条形数量不宜过多)的影响,能更好地界定分布形状 。
本篇文章不谈论直方图,之后老海会专门总结关于直方图的使用。
什么是2D密度图?
说完了密度图和直方图,它们都是一维数据变量。
这下我们来看看2D密度图,它显示了数据集中两个定量变量范围内值的分布,有助于避免在散点图中过度绘制。
如果点太多,则2D密度图会计算2D空间特定区域内的观察次数。
该特定区域可以是正方形或六边形(六边形),还可以估算2D内核密度估算值,并用轮廓表示它。
本篇文章主要描述一下2D密度图的使用。
2D密度图的基本数据样式
2D密度图的使用建议
- 密度图是一种直方图的代替方案,常用来观察连续变量的分布情况
- 2D密度图主要用来解决数据点密度过大的问题,要注意密度分割是否合理。
- 当数据范围都非常集中,数据间变化不大时,密度图往往很难观察效果。
下面开始具体的操作案例
准备工作
还是和之前一样,引入必要的工具包
## 初始字体设置,设置好可避免很多麻烦
plt.rcParams['font.sans-serif']=['Source Han Sans CN'] # 显示中文不乱码,思源黑体
plt.rcParams['font.size'] = 22 # 设置图表全局字体大小,后期某个元素的字体大小可以自行调整
plt.rcParams['axes.unicode_minus'] = False # 显示负数不乱码
## 初始化图表大小
plt.rcParams['figure.figsize'] = (20.0, 8.0) # 设置figure_size尺寸
## 初始化图表分辨率质量
plt.rcParams['savefig.dpi'] = 300 # 设置图表保存时的像素分辨率
plt.rcParams['figure.dpi'] = 300 # 设置图表绘制时的像素分辨率
## 图表的颜色自定义
colors = ['#dc2624', '#2b4750', '#45a0a2', '#e87a59',
'#7dcaa9', '#649E7D', '#dc8018', '#C89F91',
'#6c6d6c', '#4f6268', '#c7cccf']
plt.rcParams['axes.prop_cycle'] = plt.cycler( color=colors)
path = 'D:\\系列文章\\'
# 自定义文件路径,可以自行设定
os.chdir(path)
# 设置为该路径为工作路径,一般存放数据源文件设定图表样式和文件路径
Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表')
Financial_data读入数据
Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表')
Financial_data常见的6种密度图表类型
from scipy.stats import kde # 引入核密度计算方法
# 为方便演示,创建6个子图的画板
fig, axes = plt.subplots(3,2, figsize=(20, 20))
# 第一个子图,我们来画一个基本的散点图
# 散点图是最经典的观察2个变量关系,但数据量非常大就会出数据点堆叠交错,当值我们无法进一步探索
axes[0][0].set_title('散点图') # 设置标题
axes_0 = axes[0][0].plot(Financial_data['材料'], Financial_data['管理'], 'ko') # 画出散点图
# 第二个子图,我们画出六边形蜂巢图
# 当寻找2个数值型变量的关系,数据量很大且不希望数据堆叠在一起,就可以按照蜂巢形状切割数据点,计算每个六边形里的点数来表达密度
num_bins = 50 # 设置六边形包含的距离
axes[0][1].set_title('蜂巢六边形图') # 设置标题
axes_1= axes[0][1].hexbin(Financial_data['材料'], Financial_data['管理'],
gridsize=num_bins, # 设置六边形的大小
cmap="Blues" # 设置颜色组合
)
fig.colorbar(axes_1,ax=axes[0][1]) # 设置颜色显示条
# 第三个子图,我们画出2D直方图。
# 我们您需要分析两个数据量比较大的数值变量关系时,2D直方图非常有用,它可以避免在散点图中出现的的数据密度过大问题
num_bins = 50
axes[1][0].set_title('2D 直方图')
axes_2 = axes[1][0].hist2d(Financial_data['材料'], Financial_data['管理'],
bins=(num_bins,num_bins),
cmap="Blues")
# fig.colorbar(axes_2,ax=axes[1][0])
# 第四个子图,我们画出高斯核密度图
# 考虑到想研究具有很多点的两个数值变量之间的关系。可以考虑绘图区域每个部分上的点数,来计算2D内核密度估计值。
# 就像平滑的直方图,这个方法不会使某个点掉入特定的容器中,而是会增加周围容器的权重,比如颜色会加深。
k = kde.gaussian_kde(Financial_data.loc[:,['材料','管理']].values.T) # 进行核密度计算
xi, yi = np.mgrid[Financial_data['材料'].min():Financial_data['材料'].max():num_bins*1j, Financial_data['管理'].min():Financial_data['管理'].max():num_bins*1j]
zi = k(np.vstack([xi.flatten(), yi.flatten()]))
axes[1][1].set_title('高斯核密度图')
axes_3 = axes[1][1].pcolormesh(xi,
yi,
zi.reshape(xi.shape),
cmap="Blues")
fig.colorbar(axes_3,ax=axes[1][1]) # 设置颜色显示条
# 第五个子图,我们画出带阴影效果的2D密度图
axes[2][0].set_title('带阴影效果的2D密度图')
axes[2][0].pcolormesh(xi,
yi,
zi.reshape(xi.shape),
shading='gouraud',
cmap="Blues")
# 第六个子图,我们画出带轮廓线的密度图
axes[2][1].set_title('带阴影+轮廓线的2D密度图')
axes_5 = axes[2][1].pcolormesh(xi,
yi,
zi.reshape(xi.shape),
shading='gouraud',
cmap="Blues")
fig.colorbar(axes_5,ax=axes[2][1]) # 设置颜色显示条
# 画出轮廓线
axes[2][1].contour(xi,
yi,
zi.reshape(xi.shape))
plt.show()特别提一下:2D核密度估计图
sns.kdeplot(Financial_data['材料'],Financial_data['管理'])
sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到sns.kdeplot(Financial_data['材料'],Financial_data['管理'],
cmap="Reds",
shade=True, # 若为True,则在kde曲线下面的区域中进行阴影处理,color控制曲线及阴影的颜色
shade_lowest=True, # 如果为True,则屏蔽双变量KDE图的最低轮廓。
# bw=.15
)
sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到写在最后
之前介绍了散点图、热力图,这次的2D密度图,也是观察数据分布的好图表
它同样符合图表演变原则,符合直方图→1D密度图→2D密度图的变化过程
在解决数据点密度大,造成数据堆叠无法观察的问题上,密度图非常有用。
OK,今天先到这里了,老海日常随笔总结,码字不易,初心不改!
如果觉得喜欢,请动动小手关注和转发,鼓励一下我们。
我是老海,来自数据炼金术师
相关推荐
- windows7屏幕亮度怎么调整(windows7屏幕亮度调节)
-
windows7屏幕亮度调节方法如下1.鼠标右键桌面空白处,在弹出的菜单中选择【个性化】。2.进入属性界面,选择左下角的【显示】选项。3.在弹出的显示页面右侧点击【调整亮度】。4.进入调整亮度页面,下...
- xpsp2系统下载地址(windows xp sp2 iso)
-
WindowsXPProfessionalSP2产品密钥是微软公司的一个软件密钥,用于授权用户使用该软件的完整功能。它通常与产品许可证一起使用,用于确保软件的合法性和安全性。使用Windows...
- 开机microsoft登录不上
-
1、系统问题:如果系统版本比较低,可能会由于旧系统存在某些BUG未修复或业务功能未优化,使手机在使用APP等应用过程中出现卡的情况,建议更新到最新的ios系统使用。2、内存问题:如果内存比较小,在运行...
- 如何取消win10开机密码(如何取消win10开机密码账户登录)
-
取消Windows10的开机密码可以通过以下方法进行操作:方法一:使用用户账户设置1.打开“开始”菜单,点击“设置”图标。2.在设置窗口中,点击“帐户”选项。3.在左侧菜单中,选择“登录选项”。4....
- 免费解压文件的软件(免费解压文件的软件电脑)
-
1、快压快压(kuaizip)是一款非常流氓的压缩和解压缩软件,一款免费、方便、快速的压缩和解压缩利器,拥有一流的压缩技术,是国内第一款具备自主压缩格式的软件。快压自身的压缩格式KZ具有超大的压缩比和...
- 无线usb网卡插上去没有反应(为什么usb无线网卡插上去没反应)
-
当出现电脑无法识别无线网卡的情况时,是简单的方法就是将无线USB网卡插到电脑后置USB接口上,以保证供电的充足。当然如果是偶然出现无法识别的情况,建议重启一下电脑试试。启用USB无线网卡驱动:右击“计...
- 怎么登录自己家的路由器(怎么登录自己家的路由器账号)
-
登陆家里的路由器方法:1、先查看ip,方法:win+r---输入:cmd---在再黑白界面输入:ipconfig,按回车。2、根据网关查看路由器地址。若网关是:192.168.2.1,那么路由器的ip...
- linux操作系统安装步骤(linux系统详细安装步骤)
-
1.选择“中文(简体)”,然后点击“安装Ubuntu”。2.点击“继续”。3.然后点击“现在安装”。4.选择地址的时区,然后点击“继续”。5.选择“汉语”,然后点击“继续”。6.输入用户的名字。7.设...
- 苹果手机怎么设置定时关机(苹果手机怎么设置定时关机重启)
-
苹果手机可以设置定时关机,但无法设置定时开机。具体操作步骤如下:进入苹果手机自带的时钟。点击屏幕有下角的计时器。点击画面中间的计时结束启用选项。选择画面最下方的“停止播放”。之后再点击画面右上角的设定...
- 无线网wifi密码忘记了怎么办
-
忘记wifi密码后,可以在路由器后台查看。1.在浏览器的地址栏中,输入路由器上的管理地址,进入后台界面;2.在后台界面里,找到“无线设置”选项,点击它;3.在新界面里,点击wifi密码右侧的小眼睛图标...
-
- win7系统无法正常开机怎么办
-
解决方法如下1,出现无法启动的原因,要注意是开机启动不了,还是在进度条那里缓冲,过不去.如果是开机启动不了,那就要看一下内存条、电源等有没有问题?如果是在进度条那里,那就看下方的三种方法。2,第一种方法:1,开机按F8键.2,选择最近一次的...
-
2025-11-16 07:51 off999
- 现在装win7还需要激活吗(现在安装win7旗舰版还需密钥吗)
-
要激活 Windows7如果是预装在计算机中的,买来之后便不用激活,这里预装指的是在厂商那里。正版的Windows7安装到计算机中,有三十天的试用期,若要永久使用,就要使...
- 2025显卡性能排行榜天梯图(2020年显卡性能天梯图)
-
MacBookPro的显卡水平处于笔记本独立显卡Nvidia920M和940M之间。属于低端显卡级,玩玩LOL啥的还可以,其他的大型游戏就算了,MAC不适合打游戏。MacBookPro搭载的8代...
- 网络对时服务器(对时服务器端口)
-
对等网是指在网络中所有计算机的地位都是平等的,既是服务器也是客户机,所有计算机中安装的都是相同的单机操作系统如Windows98/XP/Vista/7等,它可以设置共享资源,但受连接数限制,一般是只允...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
慕ke 前端工程师2024「完整」
-
失业程序员复习python笔记——条件与循环
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
