一、基本概念

1. 通用爬虫和聚焦爬虫

通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

2. HTTP和HTTPS请求

（1）url ： 浏览器地址栏的地址

（2）请求方法：一般就两种。get请求和post请求

（3）请求头：常用 User-Agent：是客户浏览器的名称

3. 抓包工具

浏览器的检查，常用有两个模块Elements和Network

二、数据请求

主要用的是Python的第三方库requests库，pip install requests 可以安装。

1、最简单的发送get请求就是通过requests.get来调用：（模拟浏览器的get请求）

response = requests.get("http://www.baidu.com/")

2、添加headers和查询参数

 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

 response = requests.get("http://www.baidu.com/s", headers = headers)

3、对响应进行处理

# 查看响应内容，response.content返回的字节流数据
response.content
# 对字节流数据解码
response.content.decode("utf-8")  # 等价于response.text
response.content.decode("gbk")

 # 查看响应内容，response.text 返回的是Unicode格式的数据
response.text

三、数据提取

1、常用提取方式

常用的有三种提取方式。css选择器、xpath语法、正则表达式。

学习难度前两者相似，最后一个较高；但效率从低到高。

2、xpath和lxml库

（1）lxml库， C 语言实现的，是一款高性能的 Python HTML/XML 解析器，之后可以XPath语法，来快速的定位特定元素以及节点信息

（2）xpath常用语法：

 // 从当前标签下任意位置匹配
../ 从当前标签的父级开始匹配
./ 从当前标签开始匹配
/text() 表示从当前标签下匹配所有文本内容
/@name 表示匹配当前标签下的属性的value
[] 中括号中可以写过滤的条件(支持and、or语法)，也可以写数组下标(从1开始)
/div[@class="classname"] 表示匹配当前标签下所有class为classname的div对象
/div[contains(@class,"classname")] 表示匹配当前标签下所有class包含classname的div对象

四、保存数据

# 保存图片数据
from urllib import request
request.urlretrieve('http://img.netbian.com/file/2020/1008/9c76cd345cd49c9675dc65f696871a66.jpg','xxx.jpg')

五、爬取彼岸桌面网所有美女图片（1080P高清图）

1、网站截图（177页，每页十几张图片）

2、成果截图

3、最终代码

# 爬取多页
import requests  # 用于模拟浏览器发送请求的库
from lxml import etree   # 解析响应内容的库，构建树结构，便于xpath语法索引
from urllib import request   # 下载图片时用到

headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}

# 此处控制要爬取的页码总数，网站目前共有177页，所以此处最大写178
for page in range(1, 11):
		# 第一页是这种url：http://www.netbian.com/meinv/，
		# 其他页都是http://www.netbian.com/meinv/index_%d.htm的形式
    if page == 1:
        page_url = "http://www.netbian.com/meinv/"
    else:
        page_url = "http://www.netbian.com/meinv/index_%d.htm" % page
    # 网站的charset=“gbk”
    html = requests.get(page_url, headers=headers).content.decode("gbk")

    # 利用lxml的etree.HTML解析html，构建树结构
    tree = etree.HTML(html)
    # 利用xpath语法提取当前缩略图下图片的url
    data = tree.xpath('//div[@class="list"]')[0]
    hrefs = data.xpath('//li/a/@href')  # [/desk/xxxxx.htm，/desk/xxxxx.htm]形式
		
		# 遍历所有的缩略图url
    for href in hrefs:
        if href.startswith("/desk"):
        		# 拼接完整的缩略图url地址
            url = "http://www.netbian.com" + href
						# 请求缩略图url地址，之后解析得到1080P图片地址
            picture_html = requests.get(url, headers = headers).content.decode('gbk')
            picture_tree = etree.HTML(picture_html)
            # url2 = picture_tree.xpath('//td/a/@href')
            url2 = picture_tree.xpath('//div[@class="pic"]//img/@src')[0]
						
						# 定义图片名称，下载图片
            filename = url2.split("/")[-1]
            request.urlretrieve(url2, filename)

六、总结

1、学完这些你基本掌握了爬虫的基础流程，利用requests库模拟浏览器发送请求，对服务器返回内容进行解码。之后运用lxml库构建解析树，利用xpath语法提取树中的关键信息节点，最后保存到本地。本案例学完后你基本可以爬取绝大部分网站的图片了。