07《Python 原生爬虫教程》requests 第三方库
off999 2024-10-08 06:20 29 浏览 0 评论
官方定义：Requests is the only Non-GMO HTTP library for Python, safe for human consumption. 简单翻译一下就是：Requests 是唯一适用于 Python 的 Non-GMO HTTP 库，可供开发人员安全使用。
上面是 requests 库的官方定义。简单来说 requests 库是 Python 的第三方 HTTP 库，以 urllib 为基础。因为使用简单，人性化，安全的特性，被广泛的用来爬虫的请求发送。
1. requests 安装
可以通过 PIP 进行安装：
Tips：Python 环境安装之后 PIP 也会自动安装，直接打开 CMD 命令行使用即可。
pip install requests
也可以到 官网下载，然后通过以下命令进行安装。然后进入到下载的目录，输入以下命令：
python setup.py install
2. requests 请求
下面我们使用慕课网作为目标网站，并使用 requests 库进行请求：
2.1 get 无参数请求
我们直接使用 request 的 get 方法来请求慕课网，然后打印返回结果：
import requests
r = requests.get('https://www.imooc.com/')
print(r.text)
请求结果如下，格式为 HTML：
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>慕课网-程序员的梦工厂</title>
<meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1">
<meta name="renderer" content="webkit" />
<meta name="mobile-agent" content="format=wml"; url="https://m.imooc.com/">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.imooc.com/">
<meta name="mobile-agent" content="format=xhtml"; url="https://m.imooc.com/">
<meta name="mobile-agent" content="format=html5"; url="https://m.imooc.com/">
<meta property="qc:admins" content="77103107776157736375" />
......
2.2 get 有参数请求
下面我们给 get 请求加上参数，来看看返回结果：
import requests
r = requests.get('https://www.imooc.com/common/adver-getadverlistbymarking?marking=global_newcomer
', {marking: global_newcomer})
print(r.text)
请求结果如下，格式为 Json：
{"result":0,"data":{"global_newcomer":{"id":"2696","name":"\u65b0\u4eba\u6709\u793c","column_id":"366","description":"","pic":"\/\/img3.mukewang.com\/5df2084b096514ff25600136.png","links":"https:\/\/www.imooc.com\/act\/newcomer","type":"99","type_id":"0","create_time":"1576142925","uid":"10001","is_open":"0","seqid":"0","status":"0","start_time":"0","end_time":"0","skillid_list":""}},"msg":"\u6210\u529f"}
2.3 无参数的 post 请求
import requests
r = requests.post('https://www.imooc.com/search/hotwords')
print(r.text)
请求结果如下，格式为 Json：
{"result":0,"data":["Vue","Python","Java","flutter","springboot","docker","React","\u5c0f\u7a0b\u5e8f"],"msg":"\u6210\u529f"}
2. 4 有参数的 post 请求
import requests
r = requests.post('https://httpbin.org/post', data = {'key':'value'})
print(r.text)
请求结果如下，格式为 Json：
{
"args": {},
"data": "",
"files": {},
"form": {
"key": "value"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "9",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.22.0",
"X-Amzn-Trace-Id": "Root=1-5e3bde61-bb0c787463f0852c81b7faa8"
},
"json": null,
"origin": "124.78.170.82",
"url": "https://httpbin.org/post"
}
代码块1234567891011121314151617181920除了 get，post 等基本请求，Request 也支持其他的请求类型。以下罗列的是官方提供的其他请求方法：
r = requests.put('https://httpbin.org/put', data = {'key':'value'})
r = requests.delete('https://httpbin.org/delete')
r = requests.head('https://httpbin.org/get')
r = requests.options('https://httpbin.org/get')
3. requests 的响应
3.1 获取二进制响应内容
import requests
r = requests.post('https://www.imooc.com/')
print(r.content)
返回的二进制文本如下所示：
b'\n\r\n<!DOCTYPE html>\r\n<html>\r\n<head>\r\n<meta charset="utf-8">\r\n<title>\xe6\x85\x95\xe8\xaf\xbe\xe7\xbd\x91-\xe7\xa8\x8b\xe5\xba\x8f\xe5\x91\x98\xe7\x9a\x84\xe6\xa2\xa6\xe5\xb7\xa5\xe5\x8e\x82</'
......
某些情况下，我们需要获取二进制的内容，比如图片或者一些视频的信息流。
3.2 获取响应状态码和响应编码
import requests
r = requests.post('https://www.imooc.com/')
print(r.status_code)
print(r.encoding)
请求成功后将会得到以下的状态码。另外，request 库同时也提供了 requests.codes.ok 来表示请求成功。
通过响应码，我们可以知道我们请求的是否发送成功，是否被正确的解析，以及是否正确的返回。通过检验程序的编码，来防止编码不一致导致的乱码问题。
4. 自定义请求头
这里，我们把程序的请求头封装在了字典里，然后通过字典的形式传给 requests 进行请求，这样做，有助于我们代码的整洁性和可维护性。
url = 'https://www.imooc.com/'
headers = {'user-agent': 'app/1.0'}
r = requests.get(url, headers=headers)
print(r.request.headers) # 响应状态码
上述代码，我们仍然可以请求成功，只是更改了 user-agent 字段而已，返回的结果如下所示：
{'user-agent': 'muke_app/1.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
5. 高级内容
上面的内容我们只是罗列了一些 requests 库经常使用的功能，但是已经足够我们进行爬虫开发了。当然 requests 库还有许多的高级功能比如设置请求时间，会话，代理，以及身份认证等。有兴趣的同学可以参考去 Requests 官网 学习。这里我们就不一一赘述了。
6. 小结
这一个小节，我们讲解了 Requests 第三方库，介绍了安装，以及请求和响应。Reqeusts 库的设计非常的简单方便，绝大多数的爬虫程序都是使用 Requests 库进行网页的爬取。
相关推荐
- 笔记本电脑系统修复软件（笔记本电脑程序修复）
-
1、超级兔子2013系统修复软件超级兔子是一款完整的系统维护工具。拥有电脑系统评测、垃圾清理和注册表清理、可疑文件和插件检测、网页防护等功能，同时自带一些实用的系统工具，可清理你大多数的文件、注册表里...
- 联想保修服务包括哪些（联想保修都保修什么）
-
1、保修36个月的硬件包括：CPU、内存。2、保修24个月的硬件包括：主板、显卡、LCD屏、硬盘、电源适配器、键盘、鼠标模块。3、保修12个月的硬件包括：LCD之附件、光驱、DVD、CDR/W、软驱...
- 系统科学大会（中国系统科学学会）
-
2021年各种科学大会的召开时间取决于疫情的发展和国家政策的调整。一些大型的国际科学会议可能会推迟或者采用线上形式进行，以保障参会人员的安全和健康。同时，一些国内的学术会议也会受到疫情的影响，需要推迟...
- win10系统下载的内容在哪（win10下载的软件在哪个文件夹）
-
进入C:\Windows\SoftwareDistribution\Download目录下，通过win10应用商店中下载的安装包都放在此目录下。进入C:\Windows\SoftwareDistrib...
- 下载原版xp系统光盘（xp光盘系统安装教程怎么安装）
-
方法步骤步骤如下：1、首先打开计算机，在电脑光驱上放入XP光盘，启动电脑后不停按F12、F11、Esc等启动热键，在弹出的启动菜单中选择DVD选项，回车。2、进入光盘主菜单，按数字2或点击选项2运行w...
- windows7中文版下载安装（windows7安装包下载）
-
谢邀，如果你戳设置-时间和语言-区域和语言，右边的语言提示“只允许使用一种语言包”，那么你的系统就是家庭中文版。家庭中文版限定系统界面只能使用简体中文显示，其他功能则与普通家庭版没有区别，也可以使用其...
- win7开机按f2怎么重装系统（win7开机按f12怎么重装系统）
-
开机或重启时，在进入Windows前按F2进入BIOS。 ←→移动到第三个好像是BOOT。 然后将EXTENELBOOT选项设置为ENABLE 最后按F5将第一启动项目设置为EXTENEL...
-
- win10驱动管理（win10驱动程序）
-
win10由于联网后会自动安装驱动，如果自动安装驱动没出现问题，即可视为最佳驱动，若出现问题，卸载出问题的驱动，然后去查自己主板型号，在主板供应商官网下载对应驱动即是最佳01Windows10驱动更新调整当前当你插入连接即插即用（Pn...
-
2025-12-29 05:51 off999
- 手机上怎么找qq邮箱登录（用手机怎么找到qq邮箱）
-
入口是“联系人”选项卡。qq邮箱手机在QQ主菜单中选择下方的“联系人”选项卡；3、在“联系人”中选取“公众号”选项卡；4、在公众号中菜单中找到或搜索“QQ邮箱提醒”，点击进入；5、点击“进入邮箱”；6...
- amd显卡控制面板
-
AMD显卡控制面板是用来管理你的AMD显卡的,可以在控制面板中进行设置一些简单的调整,来提升显卡性能和效果。1、先打开AMD控制面板。2、打开“垂直同步(V-SYNC)”功能，可调整细节，改善影像流畅...
- win10老是未响应卡死（window10总是未响应）
-
具体方法：1、如果win10中的应用程序出现不响应的情况，应该是应用程序加载失败了。可以通过重置方法来解决win10应用程序无响应。2、登录win10系统，用管理员身份运行Powershell（可在C...
- usb安装系统步骤（USB安装系统步骤）
-
1.准备一张U盘，将联想官网下载的系统镜像文件复制到U盘中；2.将U盘插入联想S41U电脑，重启电脑，按F12进入BIOS设置，将U盘设置为启动项；3.重启电脑，进入U盘安装界面，按提示操作，完成系统...
- win98安装教程（win98iso怎么安装）
-
如何安装windows98 一、具体安装步骤 备份好重要文件之后，就可以安装windows98了。 第一步：启动安装程序。 用户如果原来已安装了windows95/97/98，现在拟对其进行升...
- 雨林木风win7安装（雨林木风win732位安装教程）
-
安装步骤如下： 1、光盘放入光驱，复制光盘上的win7.gho和安装系统.exe到硬盘非C盘的文件夹；（gho文件名可以是其他名字，后缀为gho，体积最大的就是。） 2、双击安装系统.exe;...
- win10解绑管理员账户（win10管理员账户怎么取消开机密码）
-
要解除Windows10电脑上的管理员权限，您需要进行以下操作：1.打开“控制面板”：右键单击“开始”按钮，然后选择“控制面板”。2.进入“用户账户”：在控制面板中，选择“用户账户”。3.点击...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)