百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

python爬虫-07-使用request发送get和post请求

off999 2024-11-12 12:00 65 浏览 0 评论


上面我们介绍了urllib模块的使用,有一个比urllib更加“人性化”的模块,那就是requests库,使用它可以更加便捷的发起各种请求。

1、安装requests

pip install requests

2、python发送get请求

(1)发送简单请求

import requests
jier = requests.get('http://www.baidu.com')
print(jier.text)

输出为一个网页的html代码;

(2)添加Header

import requests
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
jier = requests.get('http://www.baidu.com', headers=Header)
print(jier.text)

输出为一个网页的html代码;

(3)添加请求参数

import requests
jier = {'wd': '运维家的博客'}
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
suner = requests.get('http://www.baidu.com/s?', params=jier, headers=Header)
print(suner.text)

输出为一个网页的html代码;

(4)查看响应内容

text:这个是str的数据类型,是requests库将response.content进行解码的字符串,当有时候text放回的格式乱码的时候,可以采用下面的content的方式指定编码格式;

content:这个是直接从网络上面抓取的数据,没有经过任何解码,所以是一个bytes类型;

import requests
jier = {'wd': '运维家的博客'}
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
suner = requests.get('http://www.baidu.com/s?', params=jier, headers=Header)
# 使用text
print(suner.text)
# 使用content
print(suner.content.decode('utf-8'))

输出为一个网页的html代码;

(5)查看完整URL

import requests
jier = {'wd': '运维家的博客'}
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
suner = requests.get('http://www.baidu.com/s?', params=jier, headers=Header)
print(suner.url)

输出内容如下:

http://www.baidu.com/s?wd=%E8%BF%90%E7%BB%B4%E5%AE%B6%E7%9A%84%E5%8D%9A%E5%AE%A2

(6)查看响应头字符编码

import requests
jier = {'wd': '运维家的博客'}
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
suner = requests.get('http://www.baidu.com/s?', params=jier, headers=Header)
print(suner.encoding)

输出内容如下:

utf-8

(7)查看响应码

import requests
jier = {'wd': '运维家的博客'}
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
suner = requests.get('http://www.baidu.com/s?', params=jier, headers=Header)
print(suner.status_code)

输出内容如下:

200

3、python发送post请求

(1)发送简单请求

import requests
jier = requests.post('http://www.baidu.com')
print(jier.text)

输出结果为一个网页的html代码;

(2)发送带参数的请求

这里我们再次使用httpbin网站,这次就不介绍如何查看方法了,之前说过好几次了,直接用。

import requests
Test_Url = 'http://httpbin.org/post'
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
Data = {'name': 'yunweijia', 'type': 'gongzhonghao'}
jier = requests.post(Test_Url, headers=Header, data=Data)
print(jier.text)

输出结果如下:

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "yunweijia", 
    "type": "gongzhonghao"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "32", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-62822e2b-5a2c632c1d88fe0f597edd6f"
  }, 
  "json": null, 
  "origin": "223.71.97.14", 
  "url": "http://httpbin.org/post"
}

其他的参数和GET一样,直接使用即可,这里就不再一一举例了。

4、Requests使用代理

(1)未使用代理之前

import requests
Test_Url = 'http://httpbin.org/post'
Header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
jier = requests.post(Test_Url, headers=Header)
print(jier.text)

输出信息如下:

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "0", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-62823bc1-6bcdae190bb802f8616c3032"
  }, 
  "json": null, 
  "origin": "223.71.97.14", 
  "url": "http://httpbin.org/post"
}

(2)使用代理之后

剩余内容请转至VX公众号 “运维家” ,回复 “170” 查看。

------ “运维家” ,回复 “170” ------

------ “运维家” ,回复 “170” ------

------ “运维家” ,回复 “170” ------

linux卸载硬盘,win7共享linux,linuxgdal安装,Linux7忘记密码,linux怎么进入文件的子目录,高通开源代码linux,linuxusr大小,重启服务器的linux命令,linux的jdk怎么安装啊;

linuxtar文件打不开,linux常用状态检测,linux成功开机界面,linux七种文件,linux命令,Linux+删除数据的命令,linux自动监听重启服务器,如何快速担任linux运维,Linux返回到波浪线,linux大数据架构搭建。

相关推荐

开车游戏(开车游戏单机安卓版)

以前玩的开车游戏有《超车小能手》。《超车小能手》是一款第一人称3D模板驾驶赛车类游戏。游戏采用第一人称的视角,玩家可以选择不同的赛车类型。采用了第一人称驾驶赛车的方式进行游戏,进行了跑车引擎声音的还原...

已经停服的手游(已停服游戏大全)

停服了战区现在也已经开始进入到一个短暂的停服阶段,具体的原因主要是根据官方所说,这本身就是为了能够有效保持一种服务器的稳定,然后就会选择停服的操作。烈火如歌手游停运的原因是因为官方计划对游戏进行重制。...

cad官方正版下载(cad官方正版下载入口)

要下载CAD电脑软件,首先需要找到可靠的CAD软件提供商的官方网站。在官方网站上,您可以找到下载CAD软件的链接。点击链接后,您将被引导到下载页面,选择适合您操作系统的版本。然后,点击下载按钮开始下载...

pptv下载(pptv下载速度慢怎么解决)

步骤/方法1、请到http://www.pptv.com首页,点击“免费下载”2、点击“保存“3、选择存放“PPLive网络电视”的位置,点击“保存”4、等待“PPTV网络电视”下载完成5、下载完成...

群发助手软件(群发助手软件怎么用)

  很多微友一般的做法都是建立微群。而微信群的人数也有限制,同时是多人的聊天,谈不上群发消息,只能说是群聊。如果使用微信自带的群发助手就可以实现一对多的群发消息给好友,那么微信群发助手在哪里呢?下面就...

google store(googlestore应用商店)

很好,我无法为您提供谷歌商店网页版的登录入口。因为谷歌商店是谷歌公司旗下的在线购物平台,仅支持访问外网进行访问,在国内无法直接访问。同时,谷歌商店也并未提供官方登录入口。如果您需要访问谷歌商店,建议您...

荒野大镖客2下载手机版(荒野大镖客2下载手机版官网)
  • 荒野大镖客2下载手机版(荒野大镖客2下载手机版官网)
  • 荒野大镖客2下载手机版(荒野大镖客2下载手机版官网)
  • 荒野大镖客2下载手机版(荒野大镖客2下载手机版官网)
  • 荒野大镖客2下载手机版(荒野大镖客2下载手机版官网)
在线ps网页版(在线ps网页版手机免费使用)
在线ps网页版(在线ps网页版手机免费使用)

1.PS在线是指在互联网上使用PS(Photoshop)软件进行图像处理和编辑的一种方式。2.原因是PS是一款功能强大的图像处理软件,可以进行各种图像编辑、修饰、合成等操作,因此在互联网上提供了在线版本,方便用户随时随地进行图像处理。3...

2026-01-17 03:51 off999

xy苹果助手下载手机版(xy苹果助手ios版)

1、先在没越狱的iPhone手机上下载XY苹果助手。2、点击打开XY苹果助手并信任软件。3、在XY苹果助手的必备里点击下载按钮下载安装必备软件应用。4、特定的具体软件应用,可以在XY苹果助手里使用搜索...

魔兽争霸3冰封王座官网下载(魔兽争霸3冰封王座1.20e中文版下载_魔兽争霸3下载)

没法下载,因为没有说明在什么平台下载可以在网易的官方网站上进行下载,下载地址如下:https://dz.blizzard.cn/下载的时候请选择中间的“平台完整版”,这个版本包含了《魔兽争霸3》游戏本...

四人麻将(四人麻将图片)

1.标准打法:常规的打缺打法,不附加任何的特殊规则。2.标准下雨:在标准打法的基础上,加入下雨的功能,也就是杠牌。下雨分为明杠和暗杠。明杠:①玩家手中有三张一样的牌,其它玩家打出了第四张一样的牌,...

美图秀秀app下载安装免费(美美秀图手机版下载)

美图秀秀下载了找不到,应该是因为你的内存的原因,安装失败了。美图秀秀是一款使用很普遍的美图软件,可以满足大多数用户的需求,比如自己p图,或者是拼图都很好。可是,你发现你下载了美图秀秀,却在手机桌面没有...

街机游戏厅app(街机游戏厅app大全)

以下是几个不错的iOS街机游戏厅:MAME4iOS:这是一款非常流行的iOS街机游戏厅,可以让你在iPhone或iPad上运行多个街机游戏。iCade:这是一款专门为iCade控制器设计的街机游戏...

海外加速器下载(加速器中国免费)

迅游不能下载海外游戏的原因是因为一些海外游戏需要进行版权验证,而迅游没有获得这些游戏的版权许可。此外,由于不同国家的游戏法规和政策不同,迅游有时需要根据不同的规定进行调整,这也可能会限制用户下载一些海...

日语输入法app下载(simeji日语输入法官网下载)

谷歌输入法。安卓可以用的最好用的了吧,在设置里下载好所需要语言,打字时按那个切换即可。另外还有一个触宝,个人觉得不如谷歌。可以打出日文的输入法,很不错的日语输入法。安装后请在系统中添加输入法,即可使...

取消回复欢迎 发表评论: