爬虫实战01--小说

• 01、运行环境
• 02、开始爬虫
• 02-1、分析要点
• 02-1-1、页面之间处理：
• 02-1-2、页面内内容提取
• 02-2、开始页面处理
• 02-2-1、文章目录链接地址：
• 02-2-2、第一个页面链接地址：
• 02-2-3、第2-5个页面链接地址：
• 02-2-4、最后一个页面链接地址：
• 02-2-5、分析结果
• 02-2-6、获取全部页面的code
• 02-3、页面内处理
• 02-3-1、页面分析1
• 02-3-2、文章标题分析：
• 02-3-3、获取标题代码实现：
• 02-3-4、获取内容分析：
• 02-3-5、内容获取代码描述
• 03、其他内容分析：
• 03-1、headers请求头
• 03-2、param代理池
• 使用原因：
• 解决方案
• 03-3、其他
• 04、完整代码
• 05、结语：

01、运行环境

私信小编01即可获取Python学习资料

# 操作系统：win10 专业版
pycharm professional 2019.1
python 3.8
beautifulsoup4 == 4.9.0
requests == 2.23.0
random # 内置的

1234567

02、开始爬虫

02-1、分析要点

对于其他就两个点，就是首先获取页面，进而获取页面内的内容

02-1-1、页面之间处理：

1. 找到爬虫的第一个页面
2. 找到前面一个页面和后面一个页面的规律是什么，或者，怎么从跳转到下一个页面
3. 找到最后一个页面的
   总的来说就是：确定开始条件和结束条件，找到跳转到下一个页面的规律！(有始有终有过程)

02-1-2、页面内内容提取

1. 找到数据内容所在，(标题，内容。。。)(重点找到内容的共同之处，方便提取)
2. 提取所在标签，进而提取文字
3. 保存提取的数据

02-2、开始页面处理

02-2-1、文章目录链接地址：

http://www.quanben5.com/n/chuimianbuhanyangliufeng/xiaoshuo.html
12

这一个地址是我们要去爬取的小说的目录页面地址，这一个页面有全部我们要爬取的页面的链接地址，方便我们难道第一个页面和最后一个页面，以及页面之间的地址规律。

02-2-2、第一个页面链接地址：

# 第一个页面链接地址
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17482.html
12

02-2-3、第2-5个页面链接地址：

# 第二个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17483.html
# 第三个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17484.html
# 第四个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17485.html
# 第五个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17486.html
12345678

02-2-4、最后一个页面链接地址：

# 最后一个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17649.html
12

02-2-5、分析结果

从上面的链接地址，我们可以看出来，这一个小说的全部网页地址是从
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17482.html 到
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17649.html结束的，我们可以对比一哈，就是前面的
http://www.quanben5.com/n/chuimianbuhanyangliufeng/*****.html都是一样的，只有最后的五个数值是不一样的，而且页面与页面之间是 +1 的变化规律，所以这样的话我们就知道了全部页面的规律和开始，结束的条件。

02-2-6、获取全部页面的code

urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17644,17650)]

这一个列表推导式就把全部的页面保存在了urllist的列表里面了。

02-3、页面内处理

02-3-1、页面分析1

打开一篇文章，右键检查！

知道文章的内容所在标签，点击代码取余左上角的，那个小箭头，然后在网页内，选择自己想要看的内容所在区域，找到之后，进而分析

02-3-2、文章标题分析：

经过分析，标题是页面内唯一一个<h1></h1>标签，而且class='title'我们通过标题的这两个特点获取到标题，进而获取到标题的内容。(获取标题，是内容需要，也可以作为保存文件的文件名)

02-3-3、获取标题代码实现：

    response = requests.get(url=pageurl,headers=headers,params=params)
    reshtml = response.content.decode()

    soup = BeautifulSoup(reshtml,'lxml')
    
    # 获取页面的标题所在标签，用到了***层级选择器****
    titlelist = soup.select('.content h1')
    
	# 获取标签里面的标题内容，因为标签是保存的一个列表里面，要先取出来，
	# 然后用`.get_text()`获取到其中的内容
    title_text = titlelist[0].get_text()
    
    # 替换到标题里面的一些特殊符号，后面保存为文件名的时候，不允许，
    # 这一个是后面代码运行之中出的错误，后面加上的。
    title_text =title_text.replace('*','')

02-3-4、获取内容分析：

通过分析，（看图），发现了以下一些点：

1、小说的全部内容都在p标签 里面
2、这一个内容的p标签在id=''content'的div标签里面。
基于以上两点，我们就可以唯一确定的获取到全部的内容的p标签,进而获取里面的内容。

02-3-5、内容获取代码描述

    response = requests.get(url=pageurl,headers=headers,params=params)
    reshtml = response.content.decode()

    soup = BeautifulSoup(reshtml,'lxml')
    # 获取到全部存在内容的标签，返回的是一个列表
    # 用到了***层级选择器***
    restextlist = soup.select('#content p')
	# 用for循环可以取出全部的标签，然后用.get_text()取出全部内容。
    for article_text in restextlist:
        article_text.get_text()

03、其他内容分析：

03-1、headers请求头

在网页里面，

右键检查
-----> 点击上面的Network
-----> 勾选Preserve Log
-----> 然后刷新网页
-----> 找到Name里面刷新出来的一个信息(大概率是的)（就是这一个网页，找到就ok了），
-----> 点击右边的headers头信息
-----> 翻到最下面的Request Headers请求头信息
-----> 找到里面的User-Agent信息，然后复制粘贴到代码里面。这里存放着很多信息，不携带的话，大概率会请求不到网页。

03-2、param代理池

使用原因：

同一个ip地址，快速，频繁的请求一个网站，会被网站认为是恶意请求，爬虫等等异常情况，然后就会被ip封禁等等的限制。让你爬取不到信息。

解决方案

使用代理池，（这一个是正向代理。反向代理使用Nginx可以自己去了解一哈。前者是对浏览器的代理，后者是对服务器的代理。）然后从代理池里面随机选择一个ip去访问，每次的请求ip都不一样，这样的话，对方就不可检测异常。
快代理https://www.kuaidaili.com/free/
这一个网站包含大量免费的高秘代理，可以使用，对方无法察觉追踪到ip！

03-3、其他

如果以上还是无法请求到页面，那你就继续把Resquest Headers请求头里面的信息，尽量携带。让对方以为你是浏览器。

04、完整代码

import requests
from bs4 import BeautifulSoup
import random
# 全部网页列表，后面进行循环取出页面，然后处理
urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17482,17650)]
# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"
}
# 正向代理，代理池。
# 如果一个ip地址，快速，一直请求的话，会被网页认为是爬虫，然后把你的ip地址封禁了。。所以用正向代理。。然后在下面用random模块，随机取出一个ip地址进行请求！
paramslist = ['121.232.199.237:9000','125.108.67.254:9000','123.163.118.102:9999',
              '125.108.67.254:9000','171.35.172.151:9999','123.101.231.234:9999',
              '125.108.67.254:9000','123.163.118.102:9999','171.35.172.151:9999',
              '123.101.231.234:9999','113.195.16.16:9999','175.44.109.145:9999',
              '125.108.85.141:9000','175.43.32.21:9999','183.166.103.22:9999',
              '125.110.96.80:9000','123.160.69.100:9999','112.111.217.69:9999',
              '1.199.30.133:9999','123.55.102.150:9999','120.83.104.196:9999',
              '180.118.128.138:9000','163.204.95.253:9999','113.195.18.89:9999',
              '113.195.16.191:9999','175.42.129.76:9999','125.110.124.214:9000',
              '125.110.102.54:9000','36.249.119.16:9999','125.110.89.240:9000',
              '171.35.146.70:9999','124.93.201.59:42672','171.35.173.112:9999']

# 从代理池里面，随机取出一个ip地址，进行访问
httpindex = random.randint(0,len(paramslist)-1)
params = {
    'HTTP': paramslist[httpindex]
}

# for循环每一个列表，进行处理
for pageurl in urllist:
	# 下面的两行就是看一个下载进度提示，没有意义
    index1 = urllist.index(pageurl)+1
    print("第{}下载".format(index1))
	
	# 发送请求，获取页面
    response = requests.get(url=pageurl,headers=headers,params=params)
    reshtml = response.content.decode()
	# 用bs4解析页面
    soup = BeautifulSoup(reshtml,'lxml')
    
    # 获取小说全部内容的标签
    restextlist = soup.select('#content p')
    # 获取小说标题的标签
    titlelist = soup.select('.content h1')
	
	# 获取标题的文字，然后进行特殊符号的替换，以免很后面文章命名文件出错
    title_text = titlelist[0].get_text()
    title_text =title_text.replace('*','')

	
    print("正在下载---{}---".format(title_text))
	# 打开文件，进行写入文章的全部的小说，文件命名就是“标题.txt”，写的方式'w',编码方式是'utf-8'
    with open("./08novel/{}.txt".format(title_text),'w',encoding='utf-8') as f:
        f.write(title_text+"\n")
        # for循环获取的article_text 是带有内容的p标签
        for article_text in restextlist:
        	# article_text.get_text()这一个才是p标签，获取其中的内容。换行
            f.write(article_text.get_text()+"\n")
    print("下载完成---{}---".format(title_text))

print("全部下载完成！")

05、结语：

个人记录，新手入门，多多学习，欢迎大家交流探讨！