*****声明：此实例仅用于学习 *****

1.网页重定向 。

在分析房天下网站，不难发现每个网页有个重定向，比如：访问网页https://cd.esf.fang.com/chushou/3_211293494.htm会跳转至https://cd.esf.fang.com/chushou/3_211293494.htm?rfss=1-b71f212cbb874a451c-3a 这个网页，其实两个地址打开的是同一个网页

解决方法：在原网页源代码中找到重定向网址，request 新网址即可。

response=requests.get(url,headers = headers)

html=response.text

#网页重定向

pat=re.compile(r'<a class="btn-redir".*?href="(.*?)">点击跳转')

url=re.findall(pat,html)[0]

response=requests.get(url,headers = headers)

return response.text

2.bs4获取标签内容，部分代码

BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据，Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐使用lxml 解析器。网上相关文章和介绍很多，不在此啰嗦。

temp_dict['房源']=soup.find('title').string

temp_dict['小区'] = soup.find('div',id="xq_message").get_text()

temp_dict['总价']=soup.find('div',class_="tab-cont-right").find('div',class_="trl-item price_esf sty1").get_text()

3.将数据保存在csv文件中。

我们将获取房源信息的数据保存在一个temp_dict字典中，然后我们定义一个函数传入一个列表（表头用）和字典数据，就可以将数据保存在CSV文件中啦。

def save_data_csv(keyword_list,dict_data):

if not os.path.exists('fang.csv'):

with open('fang.csv', "w", newline='', encoding='utf-8') as csvfile: # newline='' 去除空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list) # 写字典的方法

writer.writeheader() # 写表头的方法

# 接下来追加写入内容

with open('fang.csv', "a", newline='', encoding='utf-8') as csvfile: # newline='' 一定要写，否则写入数据有空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list)

writer.writerow(dict_data) # 按行写入数据

print("^_^ write success")

4.完整代码

感觉写的还是有点啰嗦。

import re,requests,time,os

from bs4 import BeautifulSoup

from lxml import etree

import json

import csv

def get_html(url):

headers={

'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',

'cookie':'city=cd; __utma=147393320.989730142.1589024416.1589024416.1589024416.1; __utmc=147393320; __utmz=147393320.1589024416.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmt_t0=1; __utmt_t1=1; __utmt_t2=1; global_cookie=9ekumblkqetgf7unt5iefiegk1nk9zk41by; logGuid=08b2183e-66fd-4851-8c49-20b9c55f4562; Integrateactivity=notincludemc; csrfToken=ZEhmg2XlXN8rivcJcEqBk4FO; budgetLayer=1%7Ccd%7C2020-05-09%2019%3A41%3A50; g_sourcepage=esf_fy%5Exq_pc; lastscanpage=0; __utmb=147393320.15.10.1589024416; unique_cookie=U_9ekumblkqetgf7unt5iefiegk1nk9zk41by*4',

'authority': 'cd.esf.fang.com',

'path': '/staticsearchlist/EsfListAjax/GetAIDaoGou?pagesize=5',

}

response=requests.get(url,headers = headers)

html=response.text

#网页重定向

pat=re.compile(r'<a class="btn-redir".*?href="(.*?)">点击跳转')

url=re.findall(pat,html)[0]

response=requests.get(url,headers = headers)

return response.text

#print(html)

def get_fang_url(html):

soup = etree.HTML(html)

urls = soup.xpath('//dd/h4[@class="clearfix"]/a/@href')

return urls

def save_data_csv(keyword_list,dict_data):

if not os.path.exists('fang.csv'):

with open('fang.csv', "w", newline='', encoding='utf-8') as csvfile: # newline='' 去除空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list) # 写字典的方法

writer.writeheader() # 写表头的方法

# 接下来追加写入内容

with open('fang.csv', "a", newline='', encoding='utf-8') as csvfile: # newline='' 一定要写，否则写入数据有空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list)

writer.writerow(dict_data) # 按行写入数据

print("^_^ write success")

def parse_page(url,html):

#去除网页html里面的换行，以便更好的获取数据

html = "".join(line.strip() for line in html.split("\n"))

#定义一个字典

temp_dict={}

soup=BeautifulSoup(html,'lxml')

#采集房源信息

temp_dict['房源']=soup.find('title').string

temp_dict['小区'] = soup.find('div',id="xq_message").get_text()

temp_dict['总价']=soup.find('div',class_="tab-cont-right").find('div',class_="trl-item price_esf sty1").get_text()

temp_dict['户型']=soup.find('div',class_="trl-item1 w146").find('div',class_="tt").get_text()

temp_dict['建筑面积'] = soup.find('div', class_="trl-item1 w182").find('div', class_="tt").get_text()

temp_dict['单价'] = soup.find('div', class_="trl-item1 w132").find('div', class_="tt").get_text()

temp_dict['详情页'] = url

temp_dict['经纪人'] = soup.find('a',id="kesfsfbxq_A01_03_03").get_text()

print(temp_dict)

keyword_list=['房源','小区','总价','户型','建筑面积','单价','详情页','经纪人']

save_data_csv(keyword_list,temp_dict)

#主函数

if __name__ == '__main__':

#构造网址序列

urls=['https://cd.esf.fang.com/house-a016749-b014906/i{}'.format(i) for i in range(1,101)]

for url in urls:

#获取单页数据

html = get_html(url)

#获取单页上房源的链接

new_urls = get_fang_url(html)

for url in new_urls:

new_url = 'https://cd.esf.fang.com' + url

#获取HTML

html = get_html(new_url)

#解析网页，保存数据

parse_page(new_url,html)

#防止被禁IP，每访问完一页，睡眠5秒

time.sleep(5)

5.获取数据截图