07《Python 原生爬虫教程》requests 第三方库

off999 2024-10-08 06:20 19 浏览 0 评论

官方定义：Requests is the only Non-GMO HTTP library for Python, safe for human consumption. 简单翻译一下就是：Requests 是唯一适用于 Python 的 Non-GMO HTTP 库，可供开发人员安全使用。

上面是 requests 库的官方定义。简单来说 requests 库是 Python 的第三方 HTTP 库，以 urllib 为基础。因为使用简单，人性化，安全的特性，被广泛的用来爬虫的请求发送。

1. requests 安装

可以通过 PIP 进行安装：

Tips：Python 环境安装之后 PIP 也会自动安装，直接打开 CMD 命令行使用即可。

pip install requests

也可以到官网下载，然后通过以下命令进行安装。然后进入到下载的目录，输入以下命令：

python setup.py install

2. requests 请求

下面我们使用慕课网作为目标网站，并使用 requests 库进行请求：

2.1 get 无参数请求

我们直接使用 request 的 get 方法来请求慕课网，然后打印返回结果：

import requests
r = requests.get('https://www.imooc.com/')
print(r.text)

请求结果如下，格式为 HTML：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>慕课网-程序员的梦工厂</title>
<meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1">
<meta name="renderer" content="webkit" />
<meta name="mobile-agent" content="format=wml"; url="https://m.imooc.com/">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.imooc.com/">
<meta name="mobile-agent" content="format=xhtml"; url="https://m.imooc.com/">
<meta name="mobile-agent" content="format=html5"; url="https://m.imooc.com/">
<meta property="qc:admins" content="77103107776157736375" />
......

2.2 get 有参数请求

下面我们给 get 请求加上参数，来看看返回结果：

import requests

r = requests.get('https://www.imooc.com/common/adver-getadverlistbymarking?marking=global_newcomer
', {marking: global_newcomer})
print(r.text)

请求结果如下，格式为 Json：

{"result":0,"data":{"global_newcomer":{"id":"2696","name":"\u65b0\u4eba\u6709\u793c","column_id":"366","description":"","pic":"\/\/img3.mukewang.com\/5df2084b096514ff25600136.png","links":"https:\/\/www.imooc.com\/act\/newcomer","type":"99","type_id":"0","create_time":"1576142925","uid":"10001","is_open":"0","seqid":"0","status":"0","start_time":"0","end_time":"0","skillid_list":""}},"msg":"\u6210\u529f"}

2.3 无参数的 post 请求

import requests

r = requests.post('https://www.imooc.com/search/hotwords')
print(r.text)

请求结果如下，格式为 Json：

{"result":0,"data":["Vue","Python","Java","flutter","springboot","docker","React","\u5c0f\u7a0b\u5e8f"],"msg":"\u6210\u529f"}

2. 4 有参数的 post 请求

import requests

r = requests.post('https://httpbin.org/post', data = {'key':'value'})
print(r.text)

请求结果如下，格式为 Json：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key": "value"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "9", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0", 
    "X-Amzn-Trace-Id": "Root=1-5e3bde61-bb0c787463f0852c81b7faa8"
  }, 
  "json": null, 
  "origin": "124.78.170.82", 
  "url": "https://httpbin.org/post"
}
代码块1234567891011121314151617181920

除了 get，post 等基本请求，Request 也支持其他的请求类型。以下罗列的是官方提供的其他请求方法：

r = requests.put('https://httpbin.org/put', data = {'key':'value'})
r = requests.delete('https://httpbin.org/delete')
r = requests.head('https://httpbin.org/get')
r = requests.options('https://httpbin.org/get')

3. requests 的响应

3.1 获取二进制响应内容

import requests
r = requests.post('https://www.imooc.com/')
print(r.content)

返回的二进制文本如下所示：

b'\n\r\n<!DOCTYPE html>\r\n<html>\r\n<head>\r\n<meta charset="utf-8">\r\n<title>\xe6\x85\x95\xe8\xaf\xbe\xe7\xbd\x91-\xe7\xa8\x8b\xe5\xba\x8f\xe5\x91\x98\xe7\x9a\x84\xe6\xa2\xa6\xe5\xb7\xa5\xe5\x8e\x82</'
......

某些情况下，我们需要获取二进制的内容，比如图片或者一些视频的信息流。

3.2 获取响应状态码和响应编码

import requests
r = requests.post('https://www.imooc.com/')
print(r.status_code)
print(r.encoding)

请求成功后将会得到以下的状态码。另外，request 库同时也提供了 requests.codes.ok 来表示请求成功。

通过响应码，我们可以知道我们请求的是否发送成功，是否被正确的解析，以及是否正确的返回。通过检验程序的编码，来防止编码不一致导致的乱码问题。

4. 自定义请求头

这里，我们把程序的请求头封装在了字典里，然后通过字典的形式传给 requests 进行请求，这样做，有助于我们代码的整洁性和可维护性。

url = 'https://www.imooc.com/'
headers = {'user-agent': 'app/1.0'}
r = requests.get(url, headers=headers)
print(r.request.headers) # 响应状态码

上述代码，我们仍然可以请求成功，只是更改了 user-agent 字段而已，返回的结果如下所示：

{'user-agent': 'muke_app/1.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

5. 高级内容

上面的内容我们只是罗列了一些 requests 库经常使用的功能，但是已经足够我们进行爬虫开发了。当然 requests 库还有许多的高级功能比如设置请求时间，会话，代理，以及身份认证等。有兴趣的同学可以参考去 Requests 官网学习。这里我们就不一一赘述了。

6. 小结

这一个小节，我们讲解了 Requests 第三方库，介绍了安装，以及请求和响应。Reqeusts 库的设计非常的简单方便，绝大多数的爬虫程序都是使用 Requests 库进行网页的爬取。

python安装requests

上一篇：python+requests接口自动化测试实战
下一篇：Python 开发者必学:Requests 库发送 JSON 数据教程

07《Python 原生爬虫教程》requests 第三方库

1. requests 安装

2. requests 请求

2.1 get 无参数请求

2.2 get 有参数请求

2.3 无参数的 post 请求

2. 4 有参数的 post 请求

3. requests 的响应

3.1 获取二进制响应内容

3.2 获取响应状态码和响应编码

4. 自定义请求头

5. 高级内容

6. 小结

相关推荐

取消回复欢迎你发表评论:

抖音上好看的小姐姐，Python给你都下载了

全网最简单易懂!495页Python漫画教程，高清PDF版免费下载

编写一个自动生成双色球号码的 Python 小脚本

python入门到脱坑输入与输出—str()函数

推荐一款好用的国产桌面软件开发工具Aardio

Python基础之元组、集合、字典

python之容器详解——字典

python 解决cv2绘制中文乱码问题

失业程序员复习python笔记——条件与循环

(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享

07《Python 原生爬虫教程》requests 第三方库

1. requests 安装

2. requests 请求

2.1 get 无参数请求

2.2 get 有参数请求

2.3 无参数的 post 请求

2. 4 有参数的 post 请求

3. requests 的响应

3.1 获取二进制响应内容

3.2 获取响应状态码和响应编码

4. 自定义请求头

5. 高级内容

6. 小结

相关推荐

取消回复欢迎 你 发表评论:

抖音上好看的小姐姐，Python给你都下载了

全网最简单易懂!495页Python漫画教程，高清PDF版免费下载

编写一个自动生成双色球号码的 Python 小脚本

python入门到脱坑 输入与输出—str()函数

推荐一款好用的国产桌面软件开发工具Aardio

Python基础之元组、集合、字典

python之容器详解——字典

python 解决cv2绘制中文乱码问题

失业程序员复习python笔记——条件与循环

(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享

取消回复欢迎你发表评论:

python入门到脱坑输入与输出—str()函数