爬虫是如何实现的（爬虫有几种方法）

爬虫的基本原理和基本库使用

爬虫简单来说就是获取网页并提取和保存信息的自动化程序。

获取网页

获取网页的源代码：向网站的服务器发送一个请求，返回的响应体便是网页源代码。

提取信息

分析网页源代码，从中提取我们想要的数据。最通用的方式便是采用正则表达式提取

保存数据

将提取到的数据保存到某处以便以后使用

自动化程序

利用爬虫代替我们完成这份爬取工作的自动化程序

爬虫过程中遇到的一些情况：比如403错误，打开网页一看，可能会看到"您的ip访问频率过高"这样提示，是因为网站采用了一些反爬虫的措施，这个时候我们可以使用代理，所谓的代理，就是代理服务器，就是一个网络信息的中转站，正常请求一个网站的时候，是发送给web服务器，web服务器吧响应传回给我们，如果我们设置了代理服务器，就相当于本机和服务器之间搭了一座桥，本机向代理服务器发送请求，再由代理服务器发送给Web服务器。再由代理服务器把web服务器返回的响应转发本机，这样我们就实现了IP伪装

网上免费代理比较多，但最好筛选一下可用代理，付费的质量会比免费代理好很多

然后我们正式来开始学习爬虫的一些基本使用库(python3环境),这里我们用的是pycharm软件

使用urllib

Urlopen

Urllib.request模块提供了最基本的构造HTTP请求的方法，可以利用它模拟浏览器一个请求发起的过程,这里我们以python官网为例

import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.read().decode('utf-8'))

这样我们就完成了python官网的抓取

2.Type

然后我们可以用type()方法输出响应的类型

import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(type(response))

可以发现他是一个HTTPResponse类型对象，主要包含read(),readinto(),getheader(name),getheaders()等方法。

我们可以把它赋值为response变量，然后就可以调用这些方法和属性，得到返回结果的一系列信息了

例如：

import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.status)

返回200代表请求成功，在本篇文章末尾会有一张状态码表，可以进行对照

import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.getheaders())

输出响应的状态码和响应的头信息import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.getheader('Server'))

传递了一个server值获取了响应头中的server值，返回的意思是服务器用nginx搭建的

如果想给链接传一些参数:

DATA参数：如果添加该函数，需要使用byte()方法将参数转化为字节流编码格式的内容，如果传递了这个函数，则它的请求方式就不是GET方式，而是POST方式，这里我们请求站点是http://httpbin.org/post，他可以测试post

import parseimport urllib.requestdata=bytes(urllib.parse.urlencode({'word':'Hello'}),encoding='utf-8')#将字符转化为字符串response=urllib.request.urlopen('http://httpbin.org/post',data=data)print(response.read())

可以看到我们传递的参数在form字段中

timeout参数：用于设置超时时间（s），如果超出设置的时间没有得到相应，就会抛出异常，不指定参数就会使用全局默认时间

import urllib.requestresponse=urllib.request.urlopen('http://httpbin.org/get',timeout=1)print(response.read())

因为我们设置的时间1秒，超过1秒后服务器没响应，因此抛出异常

因此我们可以设置这个超时时间来控制一个网页长时间没有响应后，就跳过它的抓取

import socketimport urllib.requestimport urllib.errortry: response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)except urllib.error.URLError as e: if isinstance(e.reason,socket.timeout): print('TIME OUT')

设置时间为0.1s,因为太短了得不到服务器响应，因此打印timeout

Request

我们知道利用urlopen（）方法可以实现最基本的请求发起，但这几个简单参数不足以构建个完整的请求，如果请求中需要加入Headers等信息，可以利用Request来构建

from urllib import request,parseurl='http://httpbin.org/post'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)','Host':'httpbin.org'}dict={ 'name' :'Germey'}data=bytes(parse.urlencode(dict),encoding='utf-8')req=request.Request(url=url,headers=headers,method='POST')response=request.urlopen(req)print(response.read().decode('utf-8'))

构造了四个函数,url即请求URL,headers中置顶了User=Agent和HOST，参数data用urlencode()和bytes()方法转成了字节流，另指定了POST

我们成功设置了data,headers和method

最后喜欢我文章的朋友请加圈子关注我们，加我们的qq群:251573549

每天都会更新信息安全福利给大家哦，小编也会在群里一一为大家解决问题