百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python案例:一个房地产网站数据采集及简单可视化分析

off999 2024-12-16 15:20 29 浏览 0 评论

这次分享一个房地产网站数据采集及可视化分析的Python实际案例,应用效果还是有,步骤如下:

1、获取目标网站

2、分析网站,确定数据采集的方法

3、对采集的数据进行处理

4、最后可视化

先看看最终效果:

首先获取目标网站,可以发现获取的数据信息都在网页上面,所以可以直接使用xpath标签定位获取网页上的数据,而不用担心动态网页的数据会出现变化:

然后获取各个采集字段的具体xpath,包括房源信息、房价、地区、建面(面积)等字段的xpa,部分代码如下:

fymc=n.xpath('./div/div[1]/a/text()')[0]#房源名称
fj=n.xpath('./div/div[6]/div/span[1]/text()')[0]#房价
diqu=n.xpath('./div/div[2]/span[1]/text()')[0]#地区
mj=n.xpath('./div/div[3]/span/text()')[0]

然后我们要爬取页数要设置,可以看到页数链接明显出现变化,而且还是规律性的,所以可以构造一个循环采集指定页数的信息(也就是翻页采集),部分代码如下:

for i in range(1,6):
    url='https://nn.fang.lianjia.com/loupan/pg'+str(i)
    #print(url)

翻页采集搞定了,接下来就是数据处理,先判断采集的数据有没有空值或者缺失值,就必须使用numpy和pandas这两个模块进行数据处理,部分代码如下:

data=pd.read_csv(r'C:/Users/Administrator/Desktop/链家数据.csv',encoding='gbk')
#data.describe()#做描述性分析,判断有没有空值或者缺失值

然后查看采集的数据发现,建面面积这个字段既有中文又有数字和特殊符号,我们要对这个字段进行拆分,拆分为最大面积和最小面积,代码如下:

data['最小面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[0]
data['最大面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[1].str.split('㎡',expand=True)[0]
data=data.drop('面积',axis=1)

处理完采集的数据,接下来就是对数据进行可视化,可视化就用到matplotlib这个模块,我们用了三个图去可视化数据,包括折线图、饼图、条形图,部分代码如下:

#制作可视化图表
plt.figure(figsize=(10,8))
plt.suptitle("南宁房价可视化分析",fontsize=20)
plt.subplot(2,2,1)
#不同地区的房源数量--饼图
plt.title('不同地区的房源数量占比--饼图')
explode=[0,0,0,0,0.2,0]
plt.pie(x=data.地区.value_counts(),labels=data.地区.value_counts().index,
        explode=explode,autopct='%.3f%%')
plt.subplot(2,2,2)
plt.title('不同地区的房源数量--条形图')
plt.ylim(0,20)
x=data.地区.value_counts().index
y=data.地区.value_counts()
plt.bar(x=x,height=y,width=0.5)
for a,b in zip(x,y):
    plt.text(a,b+0.2,str(b),ha='center',va='bottom',fontsize=10.5,color='green')
plt.subplot(2,1,2)
plt.title('不同地区平均房价——折线图')
plt.ylim(0,30000)
qingxiu=int(data[data['地区']=="青秀区"].房价.mean())
xixiangtang=int(data[data['地区']=="西乡塘区"].房价.mean())
xingning=int(data[data['地区']=="兴宁区"].房价.mean())
liangqing=int(data[data['地区']=="良庆区"].房价.mean())
yongning=int(data[data['地区']=="邕宁区"].房价.mean())
dq=['青秀区','西乡塘区','兴宁区','良庆区','邕宁区']
mean_fj=[qingxiu,xixiangtang,xingning,liangqing,yongning]
#折线图#
plt.plot(dq,mean_fj,label='不同地区平均房价')
for a,b in zip(dq,mean_fj):
    plt.text(a,b+0.2,str(b),ha='center',va='top',fontsize=10.5)
plt.legend(loc=1,fontsize=13)
plt.show()

最后不多说了,附上完整代码:

import requests
from lxml import etree
import csv
import pandas as pd
import matplotlib.pyplot as plt
from pylab import mpl
import time
with open('C:/Users/Administrator/Desktop/链家数据.csv','w',encoding='gbk') as f:
    f.write('房源名称,房价,地区,面积\n')
    f.close()
for i in range(1,6):
    url='https://nn.fang.lianjia.com/loupan/pg'+str(i)
    #print(url)
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
    r=requests.get(url,headers=headers).content
    b=etree.HTML(r)
    c=b.xpath('/html/body/div[3]/ul[2]/li')
    try:
        for n in c:
            fymc=n.xpath('./div/div[1]/a/text()')[0]#房源名称
            fj=n.xpath('./div/div[6]/div/span[1]/text()')[0]#房价
            diqu=n.xpath('./div/div[2]/span[1]/text()')[0]#地区
            mj=n.xpath('./div/div[3]/span/text()')[0]
            with open('C:/Users/Administrator/Desktop/链家数据.csv','a',encoding='gbk') as f1:
                f1.write('{},{},{},{}\n'.format(fymc,fj,diqu,mj))
                print("数据爬取成功!")
    except:
        pass
time.sleep(20)
mpl.rcParams['font.sans-serif']=['SimHei']
mpl.rcParams['axes.unicode_minus']=False
data=pd.read_csv(r'C:/Users/Administrator/Desktop/链家数据.csv',encoding='gbk')
#数据处理,拆分面积字段为两列数据,最小面积和最大面积
#data.describe()
data['最小面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[0]
data['最大面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[1].str.split('㎡',expand=True)[0]
data=data.drop('面积',axis=1)
#制作可视化图表
plt.figure(figsize=(10,8))
plt.suptitle("南宁房价可视化分析",fontsize=20)
plt.subplot(2,2,1)
#不同地区的房源数量--饼图
plt.title('不同地区的房源数量占比--饼图')
explode=[0,0,0,0,0.2,0]
plt.pie(x=data.地区.value_counts(),labels=data.地区.value_counts().index,
        explode=explode,autopct='%.3f%%')
plt.subplot(2,2,2)
plt.title('不同地区的房源数量--条形图')
plt.ylim(0,20)
x=data.地区.value_counts().index
y=data.地区.value_counts()
plt.bar(x=x,height=y,width=0.5)
for a,b in zip(x,y):
    plt.text(a,b+0.2,str(b),ha='center',va='bottom',fontsize=10.5,color='green')
plt.subplot(2,1,2)
plt.title('不同地区平均房价——折线图')
plt.ylim(0,30000)
qingxiu=int(data[data['地区']=="青秀区"].房价.mean())
xixiangtang=int(data[data['地区']=="西乡塘区"].房价.mean())
xingning=int(data[data['地区']=="兴宁区"].房价.mean())
liangqing=int(data[data['地区']=="良庆区"].房价.mean())
yongning=int(data[data['地区']=="邕宁区"].房价.mean())
dq=['青秀区','西乡塘区','兴宁区','良庆区','邕宁区']
mean_fj=[qingxiu,xixiangtang,xingning,liangqing,yongning]
#折线图#
plt.plot(dq,mean_fj,label='不同地区平均房价')
for a,b in zip(dq,mean_fj):
    plt.text(a,b+0.2,str(b),ha='center',va='top',fontsize=10.5)
plt.legend(loc=1,fontsize=13)
plt.show()

相关推荐

小白三步装机教程(小白三步装机法)

下面给大家整理了一份小白装机的详细教程,有需要的朋友们快来看看吧!1、我们下载一个小白软件,然后选择了安装win7系统。2、在下载界面,下载速度取决于您的网络您只需要耐心等待即可。3、软件下载完成后会...

winpe下载官网下载iso(winpe.iso下载)

你好,以winpe装win7iso系统说明安装步骤:  1、根据教程制作好winpe启动盘,然后将下载的win7iso系统文件直接复制到U盘的GHO目录下;  2、在需要装系统的电脑上...

把系统装在u盘(把系统装在u盘里的缺点)

系统装进U盘有效的方法。1、下载并且安装好大白菜装机版,打开安装好的大白菜装机版,插入u盘等待软件成功读取到u盘之后,点击“一键制作启动u盘”进入下一步操作:2、弹出的信息提示窗口中,选择自己下载的的...

恢复出厂设置对电脑有影响吗

电脑恢复出厂设置,对系统没有影响,原因如下:1、系统还原是电脑在使用中的一种正常运作,不还原电脑无法正常运行,系统还原是对电脑的维护,不会对电脑或系统造成损害。2、系统还原是一次大容量的数据读写、清除...

注册邮箱163免费登录入口官网

注册网易邮箱账号步骤如下:1、在浏览器的地址栏输入http://email.163.com/进入网易邮箱的登录页面,点击页面下方的立即注册2、点击立即注册进入邮箱的注册页面,点击页面上面的注册字母邮箱...

产品密钥win10专业版激活密钥免费

1不存在永久激活密钥,但可以使用一些有效期长的密钥去激活Win10专业版。2Windows10的激活方式是基于数字权利,当你购买Windows10时,系统会将您电脑的硬件信息和购买记录绑定在一起...

ghostxp系统下载怎么安装教程

系统之家下载的XP系统通常是一个ISO镜像文件,安装这个系统需要通过一些步骤来制作可启动安装介质并进行系统安装。以下是安装的基本步骤:准备安装介质:使用工具如Rufus或AnyBurn将下载的ISO文...

无线网桥监控安装方法(无线网桥怎么连接监控)

网桥连接无线路由器安装的设置方法如下1.主路由器上网正常,副路由器LAN口插一根网线,另一头连接电脑。主副路由器不需要用网线连接。2.电脑开机输入副路由器背面的设置地址,进入登录界面输入背面的账号密码...

怎么对电脑文件夹加密(怎么对电脑文件夹加密码)

1.右键点要加密的文件或文件夹,然后单击“属性”;2.在“常规”选项卡,点击“高级”。选中“加密内容以便保护数据”复选框;3.在加密文件夹时,系统将询问是否要同时加密它的子文件夹。要如果选择是,那它的...

windows系统下载手机(win10下载手机)

OPPO手机重新下载安装系统:先备份好重要数据!然后手机连接电脑把下载的固件存入手机。然后再长按电源键十秒钟进入关机状态(可拆卸电板的需取下电板然后重新安装)。再同时按住电源键跟音量减键,进入reco...

电脑系统分区怎么分(电脑系统分区怎么分区)

分区是将硬盘分割成不同的逻辑部分,每个分区可以被视为一个独立的存储设备。通过分区,可以更好地管理数据和操作系统。要进行电脑分区,可以按照以下步骤进行:1.确定分区方案:首先需要确定分区的目的和需求。...

电脑显卡怎么选择(电脑显卡怎样选择)

以下是一些通用的方法:1.在硬件层面进行配置:首先需要确认您的主板和操作系统是否支持多GPU并行,以及您的电源是否提供足够的功率支持。在BIOS中启用多GPU选项,并安装正确的驱动程序。然后,通...

设置软件下载(设置软件下载入口)

iphone13app的下载设置1、首先,打开手机桌面的【设置】。2、在设置界面,点击【面容ID与密码】。3、这时设置了键盘锁的会要求你输入键盘锁密码进入。4、进入之后,找到【iTunesStore...

电脑麦克风插孔是哪个(电脑麦克风插那)

1.蓝色的为音频输入口。一般的电脑后面都有三个音频接口:蓝色是音频输入,绿色是音频输出,粉红色麦克风。  2.音频输入(蓝色),为外接光驱.随身听及其它音频输入设备,即可以把外部的设备声音传送至电脑...

ie浏览器打不开网页怎么修复

第一步:打开“运行”输入—〉cmd—〉回车然后把下面这行字符复制到黑色cmd框里面去回车等待dll文件全部注册完成就关闭可以了(下面是要运行的代码):for%1in(%windir%\syste...

取消回复欢迎 发表评论: