百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

爬虫必备(7)- 网络请求利器requests库

off999 2024-10-08 06:21 18 浏览 0 评论

在先前的文章中,我们深入讲解了Python标准库(Standard Library)`urllib`通讯库的实际运用。`urllib`作为Python编程语言的重要组成部分之一,其主要职责在于支持 HTTP 和 FTP 等主流网络协议,并内置多样化的函数及功能,旨在有效便捷地检索各类网页数据以及实现基础性的网络爬虫任务等。本文,则将向您介绍一个更为广泛应用且便利的通讯库——`requests`。

`requests`系一款简洁易用、功能完善的HTTP库,基于`urllib`开发,以轻量级的方式表现HTTP处理能力。在继承其丰富功能特性的基础上,还呈现出更具人性化用户友好的API接口设计,进而大幅度提升了使用者对该通讯库的接受度与满意度,使得在实践运用过程中能够得心应手。已经成为Python事实上的通讯请求库。

requests 是一个三方库,因此在使用之前需要提前安装。

pip install requests

GET 请求

GET 作为 HTTP 通讯中最为常见的请求方式,我们优先来看一下如何使用 requests 来完成一个 GET 请求。

此处案例依然使用 httpbin 的接口来测试

import requests as req

res = req.get("https://httpbin.org/get")

if res.status_code == 200:
    print(res.text)
else:
    print(f"Error: {res.status_code}")

# {
#   "args": {}, 
#   "headers": {
#     "Accept": "*/*", 
#     "Accept-Encoding": "gzip, deflate", 
#     "Host": "httpbin.org", 
#     "User-Agent": "python-requests/2.31.0", 
#     "X-Amzn-Trace-Id": "Root=1-65981de0-38498b4b13dce608142e59cb"
#   }, 
#   "origin": "110.176.23.189", 
#   "url": "https://httpbin.org/get"
# }

可以看到,使用 requests 可以非常方便的发起一个 GET 请求,而且语义更加明确,相较于 urllib 中的 urlopen 更为方便。

POST 请求

requests 发起 post 同样非常简单,方便,如下方代码:

import requests as req

res = req.post("https://httpbin.org/post", data={"name": "John", "age": 30})
print(res.status_code)

# 200

可以看到,通过 post 方法,并直接指定 data 传递参数就可以发起 post 请求。

响应处理

requests 在获取响应数据时同样非常方便,返回的结果被封装到了 response 对象中,并通过 text 和 content 属性即可获取到数据,另外还可以获取到状态码,响应头,Cookies 等数据。

import requests as req

res = req.get("https://httpbin.org/get")

if res.status_code == 200:
    print("响应码:", res.status_code)
    print("响应头:", res.headers)
    print("Cookies:", res.cookies)
    print("响应内容:", res.text)
    print("url:", res.url)
    print("请求历史:", res.history)

# 响应码: 200
# 响应头: {'Date': 'Sun, 07 Jan 2024 09:15:29 GMT', 'Content-Type': 'application/json', 'Content-Length': '308', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true'}
# Cookies: <RequestsCookieJar[]>
# 响应内容: {
#   "args": {}, 
#   "headers": {
#     "Accept": "*/*", 
#     "Accept-Encoding": "gzip, deflate", 
#     "Host": "httpbin.org", 
#     "User-Agent": "python-requests/2.31.0", 
#     "X-Amzn-Trace-Id": "Root=1-659a6bb1-18aed04963d8a8e02865f827"
#   }, 
#   "origin": "110.176.23.189", 
#   "url": "https://httpbin.org/get"
# }

# url: https://httpbin.org/get
# 请求历史: []

如上边的代码,通讯响应成功后,就会获取到 response 对象,通过status_code 可以获取到响应码,我们一般会通过响应码来判断此次通讯是否成功,来继续后续的操作。requests 中有 codes 类封装了所有的状态码,如下图:

因此还可以使用如下表示来判断通信的状态。

res.status_code == req.codes.ok

response 还可以通过其他属性来获取相关内容,如下:

headers: 读取响应头信息,其中包含了服务器返回的各种元数据,如:Conntent-Type 等。

url: 请求的 url

content: 响应的内容,一般是字符串或字节数组(二进制文件)

encoding: 响应编码格式

elapsed:请求和响应的时间差,单位为秒

history: 请求历史记录,如果有值则是一个列表,包含了请求的 URL,状态码和头信息等内容

response 中还提供额外的方法来获取更多的内容,如下:

json():将相应内容解析为 Python 对象,这是一个非常有用的方法,对于 Ajax 方法获取的 json 字符串就不需要手动做转换了。

text():将响应内容作为字符串返回,此方法可以直接获取文本数据。

content():获取响应内容的二进制数据,一般用来获取影音,图片等。

raise_for_status():一般用来检查通讯是否成功,因为此方法在状态码不是 200 的时候会抛出一个异常。

close():关闭响应对象,释放相关资源。

到这里你可能会问,像 text,content 两个既有属性,又有方法,那到底该用哪个?

response.text 属性会自动将响应的内容解码为字符串,所以再使用的时候就不需要手动处理编解码的问题,可以直接使用。相对的 text()方法会将响应的内容解码为字节数组,然后再转为字符串,所以在解码之前对响应内容进行一些额外的处理(比如编解码)。

response.content 属性是一个只读属性,返回响应内容的二进制数据,所以在使用的时候可以直接访问原始的二进制数据,无需手动解码。而 content()方法是一个可读写的方法,虽然也是返回的二进制内容,但是与属性不同的是,调用 content()方法时,requests 会先讲相应内容解码为字节数组,再将其转换为二进制数据,因此在解码之前可以对响应内容做一些额外的处理。

请求参数设置

requests 中设置请求参数同样非常简单,而且支持高级的功能设置,本文简单介绍一下 get 和 post 如何设置请求参数。

# get请求设置query参数和header
requests.get("https://httpbin.org/get", 
             params={"name": "John", "age": 30}, 
             headers={"User-Agent": "Mozilla/5.0"})

# post请求设置query参数和header
requests.post("https://httpbin.org/post", 
              data={"name": "John", "age": 30}, 
              headers={"User-Agent": "Mozilla/5.0"})

#挑战30天在头条写日记# #冬季生活打卡季#

相关推荐

如何理解python中面向对象的类属性和实例属性?

类属性和实例属性类属性就是给类对象中定义的属性通常用来记录与这个类相关的特征类属性不会用于记录具体对象的特征类属性的理解:类属性是与类自身相关联的变量,而不是与类的实例关联。它们通...

Java程序员,一周Python入门:面向对象(OOP) 对比学习

Java和Python都是**面向对象编程(OOP)**语言,无非是类、对象、继承、封装、多态。下面我们来一一对比两者的OOP特性。1.类和对象Java和Python都支持面向对象...

松勤技术精选:Python面向对象魔术方法

什么是魔术方法相信大家在使用python的过程中经常会看到一些双下划线开头,双下划线结尾的方法,我们把它统称为魔术方法魔术方法的特征魔术方法都是双下划线开头,双下划线结尾的方法魔术方法都是pytho...

[2]Python面向对象-【3】方法(python3 面向对象)

方法的概念在Python中,方法是与对象相关联的函数。方法可以访问对象的属性,并且可以通过修改对象的属性来改变对象的状态。方法定义在类中,可以被该类的所有对象共享。方法也可以被继承并重载。方法的语法如...

一文带你理解python的面向对象编程(OOP)

面向对象编程(OOP,Object-OrientedProgramming)是一个较难掌握的概念,而Python作为一门面向对象的语言,在学习其OOP特性时,许多人都会对“继承”和“多态”等...

简单学Python——面向对象1(编写一个简单的类)

Python是一种面向对象的编程语言(ObjectOrientedProgramming),在Python中所有的数据类型都是对象。在Python中,也可以自创对象。什么是类呢?类(Class)是...

python进阶突破面向对象——四大支柱

面向对象编程(OOP)有四大基本特性,通常被称为"四大支柱":封装(Encapsulation)、继承(Inheritance)、多态(Polymorphism)和抽象(Abstrac...

Python学不会来打我(51)面向对象编程“封装”思想详解

在面向对象编程(Object-OrientedProgramming,简称OOP)中,“封装(Encapsulation)”是四大核心特性之一(另外三个是继承、多态和抽象),它通过将数据(属性)和...

Python之面向对象:对象属性解析:MRO不够用,补充3个方法

引言在前面的文章中,我们谈及Python在继承关系,尤其是多继承中,一个对象的属性的查找解析顺序。由于当时的语境聚焦于继承关系,所以只是简要提及了属性解析顺序同方法的解析顺序,而方法的解析顺序,在Py...

Python之面向对象:通过property兼顾属性的动态保护与兼容性

引言前面的文章中我们简要提及过关于Python中私有属性的使用与内部“名称混淆”的实现机制,所以,访问私有属性的方法至少有3种做法:1、使用实例对象点操作符的方式,直接访问名称混淆后的真实属性名。2、...

Python之面向对象:私有属性是掩耳盗铃还是恰到好处

引言声明,今天的文章中没有一行Python代码,更多的是对编程语言设计理念的思考。上一篇文章中介绍了关于Python面向对象封装特性的私有属性的相关内容,提到了Python中关于私有属性的实现是通过“...

Python中的私有属性与方法:解锁面向对象编程的秘密

Python中的私有属性与方法:解锁面向对象编程的秘密在Python的广阔世界里,面向对象编程(OOP)是一种强大而灵活的方法论,它帮助我们更好地组织代码、管理状态,并构建可复用的软件组件。而在这个框...

Python 面向对象:掌握类的继承与组合,让你的代码更高效!

引言:构建高效代码的基石Python以其简洁强大的特性,成为众多开发者首选的编程语言。而在Python的面向对象编程(OOP)范畴中,类的继承和组合无疑是两大核心概念。它们不仅能帮助我们实现代码复用,...

python进阶-Day2: 面向对象编程 (OOP)

以下是为Python进阶Day2设计的学习任务,专注于面向对象编程(OOP)的核心概念和高阶特性。代码中包含详细注释,帮助理解每个部分的实现和目的。任务目标:复习OOP基础:类、对象、继...

外婆都能学会的Python教程(二十八):Python面向对象编程(二)

前言Python是一个非常容易上手的编程语言,它的语法简单,而且功能强大,非常适合初学者学习,它的语法规则非常简单,只要按照规则写出代码,Python解释器就可以执行。下面是Python的入门教程介绍...

取消回复欢迎 发表评论: