07《Python 原生爬虫教程》requests 第三方库
off999 2024-10-08 06:20 15 浏览 0 评论
官方定义：Requests is the only Non-GMO HTTP library for Python, safe for human consumption. 简单翻译一下就是：Requests 是唯一适用于 Python 的 Non-GMO HTTP 库，可供开发人员安全使用。
上面是 requests 库的官方定义。简单来说 requests 库是 Python 的第三方 HTTP 库，以 urllib 为基础。因为使用简单，人性化，安全的特性，被广泛的用来爬虫的请求发送。
1. requests 安装
可以通过 PIP 进行安装：
Tips：Python 环境安装之后 PIP 也会自动安装，直接打开 CMD 命令行使用即可。
pip install requests
也可以到 官网下载，然后通过以下命令进行安装。然后进入到下载的目录，输入以下命令：
python setup.py install
2. requests 请求
下面我们使用慕课网作为目标网站，并使用 requests 库进行请求：
2.1 get 无参数请求
我们直接使用 request 的 get 方法来请求慕课网，然后打印返回结果：
import requests
r = requests.get('https://www.imooc.com/')
print(r.text)
请求结果如下，格式为 HTML：
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>慕课网-程序员的梦工厂</title>
<meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1">
<meta name="renderer" content="webkit" />
<meta name="mobile-agent" content="format=wml"; url="https://m.imooc.com/">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.imooc.com/">
<meta name="mobile-agent" content="format=xhtml"; url="https://m.imooc.com/">
<meta name="mobile-agent" content="format=html5"; url="https://m.imooc.com/">
<meta property="qc:admins" content="77103107776157736375" />
......
2.2 get 有参数请求
下面我们给 get 请求加上参数，来看看返回结果：
import requests
r = requests.get('https://www.imooc.com/common/adver-getadverlistbymarking?marking=global_newcomer
', {marking: global_newcomer})
print(r.text)
请求结果如下，格式为 Json：
{"result":0,"data":{"global_newcomer":{"id":"2696","name":"\u65b0\u4eba\u6709\u793c","column_id":"366","description":"","pic":"\/\/img3.mukewang.com\/5df2084b096514ff25600136.png","links":"https:\/\/www.imooc.com\/act\/newcomer","type":"99","type_id":"0","create_time":"1576142925","uid":"10001","is_open":"0","seqid":"0","status":"0","start_time":"0","end_time":"0","skillid_list":""}},"msg":"\u6210\u529f"}
2.3 无参数的 post 请求
import requests
r = requests.post('https://www.imooc.com/search/hotwords')
print(r.text)
请求结果如下，格式为 Json：
{"result":0,"data":["Vue","Python","Java","flutter","springboot","docker","React","\u5c0f\u7a0b\u5e8f"],"msg":"\u6210\u529f"}
2. 4 有参数的 post 请求
import requests
r = requests.post('https://httpbin.org/post', data = {'key':'value'})
print(r.text)
请求结果如下，格式为 Json：
{
"args": {},
"data": "",
"files": {},
"form": {
"key": "value"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "9",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.22.0",
"X-Amzn-Trace-Id": "Root=1-5e3bde61-bb0c787463f0852c81b7faa8"
},
"json": null,
"origin": "124.78.170.82",
"url": "https://httpbin.org/post"
}
代码块1234567891011121314151617181920除了 get，post 等基本请求，Request 也支持其他的请求类型。以下罗列的是官方提供的其他请求方法：
r = requests.put('https://httpbin.org/put', data = {'key':'value'})
r = requests.delete('https://httpbin.org/delete')
r = requests.head('https://httpbin.org/get')
r = requests.options('https://httpbin.org/get')
3. requests 的响应
3.1 获取二进制响应内容
import requests
r = requests.post('https://www.imooc.com/')
print(r.content)
返回的二进制文本如下所示：
b'\n\r\n<!DOCTYPE html>\r\n<html>\r\n<head>\r\n<meta charset="utf-8">\r\n<title>\xe6\x85\x95\xe8\xaf\xbe\xe7\xbd\x91-\xe7\xa8\x8b\xe5\xba\x8f\xe5\x91\x98\xe7\x9a\x84\xe6\xa2\xa6\xe5\xb7\xa5\xe5\x8e\x82</'
......
某些情况下，我们需要获取二进制的内容，比如图片或者一些视频的信息流。
3.2 获取响应状态码和响应编码
import requests
r = requests.post('https://www.imooc.com/')
print(r.status_code)
print(r.encoding)
请求成功后将会得到以下的状态码。另外，request 库同时也提供了 requests.codes.ok 来表示请求成功。
通过响应码，我们可以知道我们请求的是否发送成功，是否被正确的解析，以及是否正确的返回。通过检验程序的编码，来防止编码不一致导致的乱码问题。
4. 自定义请求头
这里，我们把程序的请求头封装在了字典里，然后通过字典的形式传给 requests 进行请求，这样做，有助于我们代码的整洁性和可维护性。
url = 'https://www.imooc.com/'
headers = {'user-agent': 'app/1.0'}
r = requests.get(url, headers=headers)
print(r.request.headers) # 响应状态码
上述代码，我们仍然可以请求成功，只是更改了 user-agent 字段而已，返回的结果如下所示：
{'user-agent': 'muke_app/1.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
5. 高级内容
上面的内容我们只是罗列了一些 requests 库经常使用的功能，但是已经足够我们进行爬虫开发了。当然 requests 库还有许多的高级功能比如设置请求时间，会话，代理，以及身份认证等。有兴趣的同学可以参考去 Requests 官网 学习。这里我们就不一一赘述了。
6. 小结
这一个小节，我们讲解了 Requests 第三方库，介绍了安装，以及请求和响应。Reqeusts 库的设计非常的简单方便，绝大多数的爬虫程序都是使用 Requests 库进行网页的爬取。
相关推荐
- 如何理解python中面向对象的类属性和实例属性?
-
类属性和实例属性类属性就是给类对象中定义的属性通常用来记录与这个类相关的特征类属性不会用于记录具体对象的特征类属性的理解：类属性是与类自身相关联的变量，而不是与类的实例关联。它们通...
- Java程序员，一周Python入门:面向对象(OOP) 对比学习
-
Java和Python都是**面向对象编程（OOP）**语言，无非是类、对象、继承、封装、多态。下面我们来一一对比两者的OOP特性。1.类和对象Java和Python都支持面向对象...
- 松勤技术精选:Python面向对象魔术方法
-
什么是魔术方法相信大家在使用python的过程中经常会看到一些双下划线开头，双下划线结尾的方法，我们把它统称为魔术方法魔术方法的特征魔术方法都是双下划线开头，双下划线结尾的方法魔术方法都是pytho...
- [2]Python面向对象-【3】方法（python3 面向对象）
-
方法的概念在Python中，方法是与对象相关联的函数。方法可以访问对象的属性，并且可以通过修改对象的属性来改变对象的状态。方法定义在类中，可以被该类的所有对象共享。方法也可以被继承并重载。方法的语法如...
- 一文带你理解python的面向对象编程(OOP)
-
面向对象编程(OOP,Object-OrientedProgramming)是一个较难掌握的概念，而Python作为一门面向对象的语言，在学习其OOP特性时，许多人都会对“继承”和“多态”等...
- 简单学Python——面向对象1(编写一个简单的类)
-
Python是一种面向对象的编程语言（ObjectOrientedProgramming）,在Python中所有的数据类型都是对象。在Python中，也可以自创对象。什么是类呢？类（Class）是...
- python进阶突破面向对象——四大支柱
-
面向对象编程(OOP)有四大基本特性，通常被称为"四大支柱"：封装(Encapsulation)、继承(Inheritance)、多态(Polymorphism)和抽象(Abstrac...
- Python学不会来打我(51)面向对象编程“封装”思想详解
-
在面向对象编程（Object-OrientedProgramming，简称OOP）中，“封装（Encapsulation）”是四大核心特性之一（另外三个是继承、多态和抽象），它通过将数据（属性）和...
- Python之面向对象:对象属性解析:MRO不够用，补充3个方法
-
引言在前面的文章中，我们谈及Python在继承关系，尤其是多继承中，一个对象的属性的查找解析顺序。由于当时的语境聚焦于继承关系，所以只是简要提及了属性解析顺序同方法的解析顺序，而方法的解析顺序，在Py...
- Python之面向对象:通过property兼顾属性的动态保护与兼容性
-
引言前面的文章中我们简要提及过关于Python中私有属性的使用与内部“名称混淆”的实现机制，所以，访问私有属性的方法至少有3种做法：1、使用实例对象点操作符的方式，直接访问名称混淆后的真实属性名。2、...
- Python之面向对象:私有属性是掩耳盗铃还是恰到好处
-
引言声明，今天的文章中没有一行Python代码，更多的是对编程语言设计理念的思考。上一篇文章中介绍了关于Python面向对象封装特性的私有属性的相关内容，提到了Python中关于私有属性的实现是通过“...
- Python中的私有属性与方法:解锁面向对象编程的秘密
-
Python中的私有属性与方法：解锁面向对象编程的秘密在Python的广阔世界里，面向对象编程（OOP）是一种强大而灵活的方法论，它帮助我们更好地组织代码、管理状态，并构建可复用的软件组件。而在这个框...
- Python 面向对象:掌握类的继承与组合，让你的代码更高效!
-
引言：构建高效代码的基石Python以其简洁强大的特性，成为众多开发者首选的编程语言。而在Python的面向对象编程（OOP）范畴中，类的继承和组合无疑是两大核心概念。它们不仅能帮助我们实现代码复用，...
- python进阶-Day2: 面向对象编程 (OOP)
-
以下是为Python进阶Day2设计的学习任务，专注于面向对象编程（OOP）的核心概念和高阶特性。代码中包含详细注释，帮助理解每个部分的实现和目的。任务目标：复习OOP基础：类、对象、继...
- 外婆都能学会的Python教程(二十八):Python面向对象编程(二)
-
前言Python是一个非常容易上手的编程语言，它的语法简单，而且功能强大，非常适合初学者学习，它的语法规则非常简单，只要按照规则写出代码，Python解释器就可以执行。下面是Python的入门教程介绍...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python重命名文件 (54)
- python面向对象编程 (60)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)