数据量太大?散点图装不下怎么办?用Python解决数据密度过大难题
off999 2024-11-24 20:06 26 浏览 0 评论
当我们需要观察比较2个变量间的关系时,散点图是我们首选图表。
可当数据量非常大,数据点又比较集中在某个区间中,图表没法看,密密麻麻的怎么看?
怎么办?这时候就得看密度图了
什么是密度图?
所谓的密度图 (Density Plot) 就是数据的分布稠密情况,它常用于显示数据在连续时间段内的分布状况。严格来说,它是由直方图演变而来,类似于把直方图进行了填充。
一般是使用平滑曲线来绘制数值水平来观察分布,峰值数值位置是该时间段内最高度集中的地方。
它比直方图适用性更强,不受分组数量(直方图的条形数量不宜过多)的影响,能更好地界定分布形状 。
本篇文章不谈论直方图,之后老海会专门总结关于直方图的使用。
什么是2D密度图?
说完了密度图和直方图,它们都是一维数据变量。
这下我们来看看2D密度图,它显示了数据集中两个定量变量范围内值的分布,有助于避免在散点图中过度绘制。
如果点太多,则2D密度图会计算2D空间特定区域内的观察次数。
该特定区域可以是正方形或六边形(六边形),还可以估算2D内核密度估算值,并用轮廓表示它。
本篇文章主要描述一下2D密度图的使用。
2D密度图的基本数据样式
2D密度图的使用建议
- 密度图是一种直方图的代替方案,常用来观察连续变量的分布情况
- 2D密度图主要用来解决数据点密度过大的问题,要注意密度分割是否合理。
- 当数据范围都非常集中,数据间变化不大时,密度图往往很难观察效果。
下面开始具体的操作案例
准备工作
还是和之前一样,引入必要的工具包
## 初始字体设置,设置好可避免很多麻烦
plt.rcParams['font.sans-serif']=['Source Han Sans CN'] # 显示中文不乱码,思源黑体
plt.rcParams['font.size'] = 22 # 设置图表全局字体大小,后期某个元素的字体大小可以自行调整
plt.rcParams['axes.unicode_minus'] = False # 显示负数不乱码
## 初始化图表大小
plt.rcParams['figure.figsize'] = (20.0, 8.0) # 设置figure_size尺寸
## 初始化图表分辨率质量
plt.rcParams['savefig.dpi'] = 300 # 设置图表保存时的像素分辨率
plt.rcParams['figure.dpi'] = 300 # 设置图表绘制时的像素分辨率
## 图表的颜色自定义
colors = ['#dc2624', '#2b4750', '#45a0a2', '#e87a59',
'#7dcaa9', '#649E7D', '#dc8018', '#C89F91',
'#6c6d6c', '#4f6268', '#c7cccf']
plt.rcParams['axes.prop_cycle'] = plt.cycler( color=colors)
path = 'D:\\系列文章\\'
# 自定义文件路径,可以自行设定
os.chdir(path)
# 设置为该路径为工作路径,一般存放数据源文件设定图表样式和文件路径
Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表')
Financial_data读入数据
Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表')
Financial_data常见的6种密度图表类型
from scipy.stats import kde # 引入核密度计算方法
# 为方便演示,创建6个子图的画板
fig, axes = plt.subplots(3,2, figsize=(20, 20))
# 第一个子图,我们来画一个基本的散点图
# 散点图是最经典的观察2个变量关系,但数据量非常大就会出数据点堆叠交错,当值我们无法进一步探索
axes[0][0].set_title('散点图') # 设置标题
axes_0 = axes[0][0].plot(Financial_data['材料'], Financial_data['管理'], 'ko') # 画出散点图
# 第二个子图,我们画出六边形蜂巢图
# 当寻找2个数值型变量的关系,数据量很大且不希望数据堆叠在一起,就可以按照蜂巢形状切割数据点,计算每个六边形里的点数来表达密度
num_bins = 50 # 设置六边形包含的距离
axes[0][1].set_title('蜂巢六边形图') # 设置标题
axes_1= axes[0][1].hexbin(Financial_data['材料'], Financial_data['管理'],
gridsize=num_bins, # 设置六边形的大小
cmap="Blues" # 设置颜色组合
)
fig.colorbar(axes_1,ax=axes[0][1]) # 设置颜色显示条
# 第三个子图,我们画出2D直方图。
# 我们您需要分析两个数据量比较大的数值变量关系时,2D直方图非常有用,它可以避免在散点图中出现的的数据密度过大问题
num_bins = 50
axes[1][0].set_title('2D 直方图')
axes_2 = axes[1][0].hist2d(Financial_data['材料'], Financial_data['管理'],
bins=(num_bins,num_bins),
cmap="Blues")
# fig.colorbar(axes_2,ax=axes[1][0])
# 第四个子图,我们画出高斯核密度图
# 考虑到想研究具有很多点的两个数值变量之间的关系。可以考虑绘图区域每个部分上的点数,来计算2D内核密度估计值。
# 就像平滑的直方图,这个方法不会使某个点掉入特定的容器中,而是会增加周围容器的权重,比如颜色会加深。
k = kde.gaussian_kde(Financial_data.loc[:,['材料','管理']].values.T) # 进行核密度计算
xi, yi = np.mgrid[Financial_data['材料'].min():Financial_data['材料'].max():num_bins*1j, Financial_data['管理'].min():Financial_data['管理'].max():num_bins*1j]
zi = k(np.vstack([xi.flatten(), yi.flatten()]))
axes[1][1].set_title('高斯核密度图')
axes_3 = axes[1][1].pcolormesh(xi,
yi,
zi.reshape(xi.shape),
cmap="Blues")
fig.colorbar(axes_3,ax=axes[1][1]) # 设置颜色显示条
# 第五个子图,我们画出带阴影效果的2D密度图
axes[2][0].set_title('带阴影效果的2D密度图')
axes[2][0].pcolormesh(xi,
yi,
zi.reshape(xi.shape),
shading='gouraud',
cmap="Blues")
# 第六个子图,我们画出带轮廓线的密度图
axes[2][1].set_title('带阴影+轮廓线的2D密度图')
axes_5 = axes[2][1].pcolormesh(xi,
yi,
zi.reshape(xi.shape),
shading='gouraud',
cmap="Blues")
fig.colorbar(axes_5,ax=axes[2][1]) # 设置颜色显示条
# 画出轮廓线
axes[2][1].contour(xi,
yi,
zi.reshape(xi.shape))
plt.show()特别提一下:2D核密度估计图
sns.kdeplot(Financial_data['材料'],Financial_data['管理'])
sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到sns.kdeplot(Financial_data['材料'],Financial_data['管理'],
cmap="Reds",
shade=True, # 若为True,则在kde曲线下面的区域中进行阴影处理,color控制曲线及阴影的颜色
shade_lowest=True, # 如果为True,则屏蔽双变量KDE图的最低轮廓。
# bw=.15
)
sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到写在最后
之前介绍了散点图、热力图,这次的2D密度图,也是观察数据分布的好图表
它同样符合图表演变原则,符合直方图→1D密度图→2D密度图的变化过程
在解决数据点密度大,造成数据堆叠无法观察的问题上,密度图非常有用。
OK,今天先到这里了,老海日常随笔总结,码字不易,初心不改!
如果觉得喜欢,请动动小手关注和转发,鼓励一下我们。
我是老海,来自数据炼金术师
相关推荐
- 笔记本电脑选哪个品牌比较好
-
1、苹果APPLE/美国2、戴尔DELL/美国3、华为HUAWEI/中国4、小米MI/中国5、微软Microsoft/美国6、联想LENOVO/中国7、惠普HP/美国8、华硕ASUS/...
- 10系列显卡排名(10系显卡性能排行)
-
十系显卡指NVIDIAGeForce10系列,是英伟达研发并推出的图形处理器系列,被用以取代NVIDIAGeForce900系列图形处理器。新系列采用帕斯卡微架构来代替之前的麦克斯韦微架构,并...
-
- 最新win7系统下载(windows7最新版本下载)
-
最简单的方法就是,下载完镜像文件后,直接把镜像文件解压,解压到非C盘,然后在解压文件里面找到setup.exe,点击运行即可。安装系统完成后,在C盘找到一个Windows.old(好几个GB,是旧系统打包在这里,垃圾文件了)删除即可。扩展资...
-
2026-01-15 06:43 off999
- 哪个电脑管家软件好用(哪个电脑管家好用些)
-
腾讯电脑管家吧,因为这个是杀毒和管理合一的,占用内存小,因此显得更为简洁,使电脑运行更加流畅此外电脑诊所,工具箱以及4+1的杀毒模式让腾讯电脑管家也收到了广泛的关注4+1杀毒引擎,管家反病毒引擎、金山...
- 怎么进入win7安全模式(怎么进入win7安全模式界面)
-
方法如下:1、首先进入Win7系统,然后使用Win键+R组合键打开运行框,输入“Msconfig”回车进入系统配置。2、在打开的系统配置中,找到“引导”选项,然后单击,选择Win7的引导项,然后在“安...
- 怎么分区固态硬盘(怎样分区固态硬盘)
-
固态硬盘的分区方法与传统机械硬盘基本相同,以下是一个简单的步骤:1.打开磁盘管理工具:在Windows操作系统中,按下Win+X键,选择"磁盘管理"。或者打开控制面板,在"...
-
- 笔记本声卡驱动怎么下载(笔记本如何下载声卡)
-
1、在浏览器中输入并搜索,然后下载并安装。2、安装完成后打开360驱动大师,它就会自动检测你的电脑需要安装或升级的驱动。3、检测完毕后,我们可以看到我们的声卡驱动需要安装或升级,点击安装或升级,就会开始自动安装或升级声卡了。4、升级过程中会...
-
2026-01-15 05:43 off999
- win10加快开机启动速度(加快开机速度 win10)
-
一、启用快速启动功能1.按win+r键调出“运行”在输入框输入“gpedit.msc”按回车调出“组策略编辑器”?2.在“本地组策略编辑器”依次打开“计算机配置——管理模块——系统——关机”在右侧...
-
- excel的快捷键一览表(excel的快捷键一览表超全)
-
Excel快捷键大全的一些操作如下我在工作中经常使用诸如word或Excel之类的办公软件。我相信每个人都不太熟悉这些办公软件的快捷键。使用快捷键将提高办公效率,并使您的工作更加轻松快捷。。例如,在复制时,请使用CtrI+C进行复制,...
-
2026-01-15 05:03 off999
- 华硕u盘启动按f几(华硕u盘装系统按f几进入)
-
F8。1、开机的同时按F8进入BIOS。2、在Boot菜单中,置secure为disabled。3、BootListOption置为UEFI。4、在1stBootPriority中usb—HD...
- 手机云电脑怎么用(手机云端电脑)
-
使用手机云电脑,您首先需要安装相应的云电脑应用。例如,华为云电脑APP。在安装并打开应用后,您将看到一个显示器的图标,这就是您的云电脑。点击这个图标,您将被连接到一个预装有Windows操作系统和必要...
- ie11浏览器怎么安装(ie11浏览器安装步骤)
-
如果IE浏览器11版本你发现无法正常安装,那么很可能是这样几个原因,一个就是电脑的存储空间不够到时无法安装,再有就是网络的问题,如果没有办法安装的话就不要再安装了,本身这个IE浏览器并不是多好用,你最...
- 台式机重装系统win7(台式机怎么重装win7)
-
下面主要介绍两种方法以重装系统:一、U盘重装系统准备:一台正常开机的电脑和一个U盘1、百度下载“U大师”(老毛桃、大白菜也可以),把这个软件下载并安装在电脑上。2、插上U盘,选择一键制作U盘启动(制作...
- 字母下划线怎么打出来(字母下的下划线怎么去不掉)
-
第一步,在电脑上找到文字处理软件WPS,双击即自动新建一个新文档。第二步,在文档录入需要处理的字母和数字,双击鼠标或拖动鼠标选择要处理的内容。第三步,在页面的左上方的横向菜单栏,找到字母U的按纽,点击...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
Python 批量卸载关联包 pip-autoremove
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
