07《Python 原生爬虫教程》requests 第三方库
off999 2024-10-08 06:20 38 浏览 0 评论
官方定义：Requests is the only Non-GMO HTTP library for Python, safe for human consumption. 简单翻译一下就是：Requests 是唯一适用于 Python 的 Non-GMO HTTP 库，可供开发人员安全使用。
上面是 requests 库的官方定义。简单来说 requests 库是 Python 的第三方 HTTP 库，以 urllib 为基础。因为使用简单，人性化，安全的特性，被广泛的用来爬虫的请求发送。
1. requests 安装
可以通过 PIP 进行安装：
Tips：Python 环境安装之后 PIP 也会自动安装，直接打开 CMD 命令行使用即可。
pip install requests
也可以到 官网下载，然后通过以下命令进行安装。然后进入到下载的目录，输入以下命令：
python setup.py install
2. requests 请求
下面我们使用慕课网作为目标网站，并使用 requests 库进行请求：
2.1 get 无参数请求
我们直接使用 request 的 get 方法来请求慕课网，然后打印返回结果：
import requests
r = requests.get('https://www.imooc.com/')
print(r.text)
请求结果如下，格式为 HTML：
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>慕课网-程序员的梦工厂</title>
<meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1">
<meta name="renderer" content="webkit" />
<meta name="mobile-agent" content="format=wml"; url="https://m.imooc.com/">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.imooc.com/">
<meta name="mobile-agent" content="format=xhtml"; url="https://m.imooc.com/">
<meta name="mobile-agent" content="format=html5"; url="https://m.imooc.com/">
<meta property="qc:admins" content="77103107776157736375" />
......
2.2 get 有参数请求
下面我们给 get 请求加上参数，来看看返回结果：
import requests
r = requests.get('https://www.imooc.com/common/adver-getadverlistbymarking?marking=global_newcomer
', {marking: global_newcomer})
print(r.text)
请求结果如下，格式为 Json：
{"result":0,"data":{"global_newcomer":{"id":"2696","name":"\u65b0\u4eba\u6709\u793c","column_id":"366","description":"","pic":"\/\/img3.mukewang.com\/5df2084b096514ff25600136.png","links":"https:\/\/www.imooc.com\/act\/newcomer","type":"99","type_id":"0","create_time":"1576142925","uid":"10001","is_open":"0","seqid":"0","status":"0","start_time":"0","end_time":"0","skillid_list":""}},"msg":"\u6210\u529f"}
2.3 无参数的 post 请求
import requests
r = requests.post('https://www.imooc.com/search/hotwords')
print(r.text)
请求结果如下，格式为 Json：
{"result":0,"data":["Vue","Python","Java","flutter","springboot","docker","React","\u5c0f\u7a0b\u5e8f"],"msg":"\u6210\u529f"}
2. 4 有参数的 post 请求
import requests
r = requests.post('https://httpbin.org/post', data = {'key':'value'})
print(r.text)
请求结果如下，格式为 Json：
{
"args": {},
"data": "",
"files": {},
"form": {
"key": "value"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "9",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.22.0",
"X-Amzn-Trace-Id": "Root=1-5e3bde61-bb0c787463f0852c81b7faa8"
},
"json": null,
"origin": "124.78.170.82",
"url": "https://httpbin.org/post"
}
代码块1234567891011121314151617181920除了 get，post 等基本请求，Request 也支持其他的请求类型。以下罗列的是官方提供的其他请求方法：
r = requests.put('https://httpbin.org/put', data = {'key':'value'})
r = requests.delete('https://httpbin.org/delete')
r = requests.head('https://httpbin.org/get')
r = requests.options('https://httpbin.org/get')
3. requests 的响应
3.1 获取二进制响应内容
import requests
r = requests.post('https://www.imooc.com/')
print(r.content)
返回的二进制文本如下所示：
b'\n\r\n<!DOCTYPE html>\r\n<html>\r\n<head>\r\n<meta charset="utf-8">\r\n<title>\xe6\x85\x95\xe8\xaf\xbe\xe7\xbd\x91-\xe7\xa8\x8b\xe5\xba\x8f\xe5\x91\x98\xe7\x9a\x84\xe6\xa2\xa6\xe5\xb7\xa5\xe5\x8e\x82</'
......
某些情况下，我们需要获取二进制的内容，比如图片或者一些视频的信息流。
3.2 获取响应状态码和响应编码
import requests
r = requests.post('https://www.imooc.com/')
print(r.status_code)
print(r.encoding)
请求成功后将会得到以下的状态码。另外，request 库同时也提供了 requests.codes.ok 来表示请求成功。
通过响应码，我们可以知道我们请求的是否发送成功，是否被正确的解析，以及是否正确的返回。通过检验程序的编码，来防止编码不一致导致的乱码问题。
4. 自定义请求头
这里，我们把程序的请求头封装在了字典里，然后通过字典的形式传给 requests 进行请求，这样做，有助于我们代码的整洁性和可维护性。
url = 'https://www.imooc.com/'
headers = {'user-agent': 'app/1.0'}
r = requests.get(url, headers=headers)
print(r.request.headers) # 响应状态码
上述代码，我们仍然可以请求成功，只是更改了 user-agent 字段而已，返回的结果如下所示：
{'user-agent': 'muke_app/1.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
5. 高级内容
上面的内容我们只是罗列了一些 requests 库经常使用的功能，但是已经足够我们进行爬虫开发了。当然 requests 库还有许多的高级功能比如设置请求时间，会话，代理，以及身份认证等。有兴趣的同学可以参考去 Requests 官网 学习。这里我们就不一一赘述了。
6. 小结
这一个小节，我们讲解了 Requests 第三方库，介绍了安装，以及请求和响应。Reqeusts 库的设计非常的简单方便，绝大多数的爬虫程序都是使用 Requests 库进行网页的爬取。
相关推荐
- 安全教育登录入口平台（安全教育登录入口平台官网）
-
122交通安全教育怎么登录:122交通网的注册方法是首先登录网址http://www.122.cn/，接着打开网页后，点击右上角的“个人登录”；其次进入邮箱注册，然后进入到注册页面，输入相关信息即可完...
- 大鱼吃小鱼经典版（大鱼吃小鱼经典版(经典版)官方版）
-
大鱼吃小鱼小鱼吃虾是于谦跟郭麒麟的《我的棒儿呢？》郭德纲说于思洋郭麒麟作诗的相声，最后郭麒麟做了一首，师傅躺在师母身上大鱼吃小鱼小鱼吃虾虾吃水水落石出师傅压师娘师娘压床床压地地动山摇。...
-
- 哪个软件可以免费pdf转ppt（免费的pdf转ppt软件哪个好）
-
要想将ppt免费转换为pdf的话，我们建议大家可以下一个那个wps，如果你是会员的话，可以注册为会员，这样的话，在wps里面的话，就可以免费将ppt呢转换为pdfpdf之后呢，我们就可以直接使用，不需要去直接不需要去另外保存，为什么格式转...
-
2026-02-04 09:03 off999
- 电信宽带测速官网入口（电信宽带测速官网入口app）
-
这个网站看看http://www.swok.cn/pcindex.jsp1.登录中国电信网上营业厅，宽带光纤，贴心服务，宽带测速2.下载第三方软件，如360等。进行在线测速进行宽带测速时，尽...
- 植物大战僵尸95版手机下载（植物大战僵尸95 版下载）
-
1可以在应用商店或者游戏平台上下载植物大战僵尸95版手机游戏。2下载教程：打开应用商店或者游戏平台，搜索“植物大战僵尸95版”，找到游戏后点击下载按钮，等待下载完成即可安装并开始游戏。3注意：确...
- 免费下载ppt成品的网站（ppt成品免费下载的网站有哪些）
-
1、Chuangkit（chuangkit.com）直达地址：chuangkit.com2、Woodo幻灯片（woodo.cn）直达链接：woodo.cn3、OfficePlus（officeplu...
- 2025世界杯赛程表（2025世界杯在哪个国家）
-
2022年卡塔尔世界杯赛程公布，全部比赛在卡塔尔境内8座球场举行，2022年，决赛阶段球队全部确定。揭幕战于当地时间11月20日19时进行，由东道主卡塔尔对阵厄瓜多尔，决赛于当地时间12月18日...
- 下载搜狐视频电视剧（搜狐电视剧下载安装）
-
搜狐视频APP下载好的视频想要导出到手机相册里方法如下1、打开手机搜狐视频软件，进入搜狐视频后我们点击右上角的“查找”，找到自已喜欢的视频。2、在“浏览器页面搜索”窗口中，输入要下载的视频的名称，然后...
- 永久免费听歌网站（丫丫音乐网）
-
可以到《我爱音乐网》《好听音乐网》《一听音乐网》《YYMP3音乐网》还可以到《九天音乐网》永久免费听歌软件有酷狗音乐和天猫精灵，以前要跳舞经常要下载舞曲，我从QQ上找不到舞曲下载就从酷狗音乐上找，大多...
- 音乐格式转换mp3软件（音乐格式转换器免费版）
-
有两种方法：方法一在手机上操作：1、进入手机中的文件管理。2、在其中选择“音乐”，将显示出手机中的全部音乐。3、点击“全选”，选中所有音乐文件。4、点击屏幕右下方的省略号图标，在弹出菜单中选择“...
- 电子书txt下载（免费的最全的小说阅读器）
-
1.Z-library里面收录了近千万本电子书籍，需求量大。2.苦瓜书盘没有广告，不需要账号注册，使用起来非常简单，直接搜索预览下载即可。3.鸠摩搜书整体风格简洁清晰，书籍资源丰富。4.亚马逊图书书籍...
- 最好免费观看高清电影（播放免费的最好看的电影）
-
在目前的网上选择中，IMDb（互联网电影数据库）被认为是最全的电影网站之一。这个网站提供了各种类型的电影和电视节目的海量信息，包括剧情介绍、演员表、评价、评论等。其还提供了有关电影制作背后的详细信息，...
- 孤单枪手2简体中文版（孤单枪手2简体中文版官方下载）
-
要将《孤胆枪手2》游戏的征兵秘籍切换为中文，您可以按照以下步骤进行操作：首先，打开游戏设置选项，通常可以在游戏主菜单或游戏内部找到。然后，寻找语言选项或界面选项，点击进入。在语言选项中，选择中文作为游...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)