Python案例:一个房地产网站数据采集及简单可视化分析
off999 2024-12-16 15:20 28 浏览 0 评论
这次分享一个房地产网站数据采集及可视化分析的Python实际案例,应用效果还是有,步骤如下:
1、获取目标网站
2、分析网站,确定数据采集的方法
3、对采集的数据进行处理
4、最后可视化
先看看最终效果:
首先获取目标网站,可以发现获取的数据信息都在网页上面,所以可以直接使用xpath标签定位获取网页上的数据,而不用担心动态网页的数据会出现变化:
然后获取各个采集字段的具体xpath,包括房源信息、房价、地区、建面(面积)等字段的xpa,部分代码如下:
fymc=n.xpath('./div/div[1]/a/text()')[0]#房源名称
fj=n.xpath('./div/div[6]/div/span[1]/text()')[0]#房价
diqu=n.xpath('./div/div[2]/span[1]/text()')[0]#地区
mj=n.xpath('./div/div[3]/span/text()')[0]然后我们要爬取页数要设置,可以看到页数链接明显出现变化,而且还是规律性的,所以可以构造一个循环采集指定页数的信息(也就是翻页采集),部分代码如下:
for i in range(1,6):
url='https://nn.fang.lianjia.com/loupan/pg'+str(i)
#print(url)翻页采集搞定了,接下来就是数据处理,先判断采集的数据有没有空值或者缺失值,就必须使用numpy和pandas这两个模块进行数据处理,部分代码如下:
data=pd.read_csv(r'C:/Users/Administrator/Desktop/链家数据.csv',encoding='gbk')
#data.describe()#做描述性分析,判断有没有空值或者缺失值然后查看采集的数据发现,建面面积这个字段既有中文又有数字和特殊符号,我们要对这个字段进行拆分,拆分为最大面积和最小面积,代码如下:
data['最小面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[0]
data['最大面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[1].str.split('㎡',expand=True)[0]
data=data.drop('面积',axis=1)处理完采集的数据,接下来就是对数据进行可视化,可视化就用到matplotlib这个模块,我们用了三个图去可视化数据,包括折线图、饼图、条形图,部分代码如下:
#制作可视化图表
plt.figure(figsize=(10,8))
plt.suptitle("南宁房价可视化分析",fontsize=20)
plt.subplot(2,2,1)
#不同地区的房源数量--饼图
plt.title('不同地区的房源数量占比--饼图')
explode=[0,0,0,0,0.2,0]
plt.pie(x=data.地区.value_counts(),labels=data.地区.value_counts().index,
explode=explode,autopct='%.3f%%')
plt.subplot(2,2,2)
plt.title('不同地区的房源数量--条形图')
plt.ylim(0,20)
x=data.地区.value_counts().index
y=data.地区.value_counts()
plt.bar(x=x,height=y,width=0.5)
for a,b in zip(x,y):
plt.text(a,b+0.2,str(b),ha='center',va='bottom',fontsize=10.5,color='green')
plt.subplot(2,1,2)
plt.title('不同地区平均房价——折线图')
plt.ylim(0,30000)
qingxiu=int(data[data['地区']=="青秀区"].房价.mean())
xixiangtang=int(data[data['地区']=="西乡塘区"].房价.mean())
xingning=int(data[data['地区']=="兴宁区"].房价.mean())
liangqing=int(data[data['地区']=="良庆区"].房价.mean())
yongning=int(data[data['地区']=="邕宁区"].房价.mean())
dq=['青秀区','西乡塘区','兴宁区','良庆区','邕宁区']
mean_fj=[qingxiu,xixiangtang,xingning,liangqing,yongning]
#折线图#
plt.plot(dq,mean_fj,label='不同地区平均房价')
for a,b in zip(dq,mean_fj):
plt.text(a,b+0.2,str(b),ha='center',va='top',fontsize=10.5)
plt.legend(loc=1,fontsize=13)
plt.show()最后不多说了,附上完整代码:
import requests
from lxml import etree
import csv
import pandas as pd
import matplotlib.pyplot as plt
from pylab import mpl
import time
with open('C:/Users/Administrator/Desktop/链家数据.csv','w',encoding='gbk') as f:
f.write('房源名称,房价,地区,面积\n')
f.close()
for i in range(1,6):
url='https://nn.fang.lianjia.com/loupan/pg'+str(i)
#print(url)
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
r=requests.get(url,headers=headers).content
b=etree.HTML(r)
c=b.xpath('/html/body/div[3]/ul[2]/li')
try:
for n in c:
fymc=n.xpath('./div/div[1]/a/text()')[0]#房源名称
fj=n.xpath('./div/div[6]/div/span[1]/text()')[0]#房价
diqu=n.xpath('./div/div[2]/span[1]/text()')[0]#地区
mj=n.xpath('./div/div[3]/span/text()')[0]
with open('C:/Users/Administrator/Desktop/链家数据.csv','a',encoding='gbk') as f1:
f1.write('{},{},{},{}\n'.format(fymc,fj,diqu,mj))
print("数据爬取成功!")
except:
pass
time.sleep(20)
mpl.rcParams['font.sans-serif']=['SimHei']
mpl.rcParams['axes.unicode_minus']=False
data=pd.read_csv(r'C:/Users/Administrator/Desktop/链家数据.csv',encoding='gbk')
#数据处理,拆分面积字段为两列数据,最小面积和最大面积
#data.describe()
data['最小面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[0]
data['最大面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[1].str.split('㎡',expand=True)[0]
data=data.drop('面积',axis=1)
#制作可视化图表
plt.figure(figsize=(10,8))
plt.suptitle("南宁房价可视化分析",fontsize=20)
plt.subplot(2,2,1)
#不同地区的房源数量--饼图
plt.title('不同地区的房源数量占比--饼图')
explode=[0,0,0,0,0.2,0]
plt.pie(x=data.地区.value_counts(),labels=data.地区.value_counts().index,
explode=explode,autopct='%.3f%%')
plt.subplot(2,2,2)
plt.title('不同地区的房源数量--条形图')
plt.ylim(0,20)
x=data.地区.value_counts().index
y=data.地区.value_counts()
plt.bar(x=x,height=y,width=0.5)
for a,b in zip(x,y):
plt.text(a,b+0.2,str(b),ha='center',va='bottom',fontsize=10.5,color='green')
plt.subplot(2,1,2)
plt.title('不同地区平均房价——折线图')
plt.ylim(0,30000)
qingxiu=int(data[data['地区']=="青秀区"].房价.mean())
xixiangtang=int(data[data['地区']=="西乡塘区"].房价.mean())
xingning=int(data[data['地区']=="兴宁区"].房价.mean())
liangqing=int(data[data['地区']=="良庆区"].房价.mean())
yongning=int(data[data['地区']=="邕宁区"].房价.mean())
dq=['青秀区','西乡塘区','兴宁区','良庆区','邕宁区']
mean_fj=[qingxiu,xixiangtang,xingning,liangqing,yongning]
#折线图#
plt.plot(dq,mean_fj,label='不同地区平均房价')
for a,b in zip(dq,mean_fj):
plt.text(a,b+0.2,str(b),ha='center',va='top',fontsize=10.5)
plt.legend(loc=1,fontsize=13)
plt.show()
相关推荐
- 无线网桥监控安装方法(无线网桥怎么连接监控)
-
网桥连接无线路由器安装的设置方法如下1.主路由器上网正常,副路由器LAN口插一根网线,另一头连接电脑。主副路由器不需要用网线连接。2.电脑开机输入副路由器背面的设置地址,进入登录界面输入背面的账号密码...
- 怎么对电脑文件夹加密(怎么对电脑文件夹加密码)
-
1.右键点要加密的文件或文件夹,然后单击“属性”;2.在“常规”选项卡,点击“高级”。选中“加密内容以便保护数据”复选框;3.在加密文件夹时,系统将询问是否要同时加密它的子文件夹。要如果选择是,那它的...
- windows系统下载手机(win10下载手机)
-
OPPO手机重新下载安装系统:先备份好重要数据!然后手机连接电脑把下载的固件存入手机。然后再长按电源键十秒钟进入关机状态(可拆卸电板的需取下电板然后重新安装)。再同时按住电源键跟音量减键,进入reco...
- 电脑系统分区怎么分(电脑系统分区怎么分区)
-
分区是将硬盘分割成不同的逻辑部分,每个分区可以被视为一个独立的存储设备。通过分区,可以更好地管理数据和操作系统。要进行电脑分区,可以按照以下步骤进行:1.确定分区方案:首先需要确定分区的目的和需求。...
- 电脑显卡怎么选择(电脑显卡怎样选择)
-
以下是一些通用的方法:1.在硬件层面进行配置:首先需要确认您的主板和操作系统是否支持多GPU并行,以及您的电源是否提供足够的功率支持。在BIOS中启用多GPU选项,并安装正确的驱动程序。然后,通...
- 设置软件下载(设置软件下载入口)
-
iphone13app的下载设置1、首先,打开手机桌面的【设置】。2、在设置界面,点击【面容ID与密码】。3、这时设置了键盘锁的会要求你输入键盘锁密码进入。4、进入之后,找到【iTunesStore...
- 电脑麦克风插孔是哪个(电脑麦克风插那)
-
1.蓝色的为音频输入口。一般的电脑后面都有三个音频接口:蓝色是音频输入,绿色是音频输出,粉红色麦克风。 2.音频输入(蓝色),为外接光驱.随身听及其它音频输入设备,即可以把外部的设备声音传送至电脑...
- ie浏览器打不开网页怎么修复
-
第一步:打开“运行”输入—〉cmd—〉回车然后把下面这行字符复制到黑色cmd框里面去回车等待dll文件全部注册完成就关闭可以了(下面是要运行的代码):for%1in(%windir%\syste...
- mail163邮箱登录入口网页版(mail163手机邮箱登录)
-
1.首先你要开启网易的POP3/SMTP/IMAP。2.设置完之后你需要网易的客户端授权密码。3.密码会发送至你的绑定手机。4.用发给你的客户端授权密码登录第三方客户端(ios客户端)5.直接登陆,储...
- win7系统序列号怎么查(win7电脑的序列号怎么查)
-
你可以在cmd命令行窗口中输入以下相关命令,可以得到你要的信息查找主板厂商输入:wmicBaseBoardgetManufacturer查找主板型号输入:wmicBaseBoardgetP...
- 台式电脑怎么看配置好坏(台式机怎么看配置参数哪里看好坏)
-
如何分辨电脑配置好坏第一看CPU,CPU从上到下可分为i7,i5,i3等,数字越高越好。第二看显卡和内存,显卡内存现在至少4G或者8G起步,越高越好,第三看硬盘是否是固态,固态要比机械的运行速度快...
- 下载软件安装不了(为什么下载软件安装不了)
-
一:检查手机内存是否充足,如果内存太小,需要更换大容量的SD卡。 二:检查手机是否设置允许安装除手机自带应用商店以外的应用。 方法一:需要从手机自带应用商店下载。 ①点击手机桌面上的应用...
- 现在建议更新win11吗(应该升级win11吗)
-
鲁大师更新11靠谱的,他只是给你提供一个方便的升级渠道而已。升级以后能否正常使用,还要看你原来的系统是否是正版。如果原来的系统是正版,升级完成后,可以正常使用。如果原来的系统是盗版,也是可以升级的,只...
- windows7旗舰版好用吗(win7旗舰版好用么)
-
win7旗舰版挺好使的不过现在可以选择更win10。Windows7旗舰版属于微软公司开发的Windows7操作系统系统系列中的功能最高级的版本,也被叫做终结版本,是为了取代WindowsXP...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
