【每日学习】python爬取网页信息之request用法
off999 2024-11-12 12:01 41 浏览 0 评论
【导读】python爬取网页信息
【主题】python爬取网页信息之request用法
【代码】
【分析】
1.urlopen()方法
urllib.request.urlopen()函数用于实现对目标url的访问。
函数原型如下：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url: 需要打开的网址
data：Post请求提交的数据
timeout：设置网站的访问超时时间
函数参数介绍
url 参数：目标资源在网路中的位置。可以是一个表示URL的字符串（如：http://www.pythontab.com/）；也可以是一个urllib.request对象
data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；当用户给出data参数的时候，改为POST方式发送请求。
timeout：设置网站的访问超时时间
cafile、capath、cadefault 参数：用于实现可信任的CA证书的HTTP请求。
context参数：实现SSL加密传输。
【返回方法】
urlopen返回对象提供方法：
1.read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作
2.info()：返回HTTPMessage对象，表示远程服务器返回的头信息
3.getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到
4.geturl()：返回请求的url
【注意】
1.直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，显示为二进制，需要decode（）解码，转换成str类型。
2.from urllib.request import urlopen
urlopen(‘xxx’)
或者
from urllib import request
request.urlopen(‘xxx’)
相关推荐
- google store（googlestore应用商店）
-
很好，我无法为您提供谷歌商店网页版的登录入口。因为谷歌商店是谷歌公司旗下的在线购物平台，仅支持访问外网进行访问，在国内无法直接访问。同时，谷歌商店也并未提供官方登录入口。如果您需要访问谷歌商店，建议您...
-
- 在线ps网页版（在线ps网页版手机免费使用）
-
1.PS在线是指在互联网上使用PS（Photoshop）软件进行图像处理和编辑的一种方式。2.原因是PS是一款功能强大的图像处理软件，可以进行各种图像编辑、修饰、合成等操作，因此在互联网上提供了在线版本，方便用户随时随地进行图像处理。3...
-
2026-01-17 03:51 off999
- xy苹果助手下载手机版（xy苹果助手ios版）
-
1、先在没越狱的iPhone手机上下载XY苹果助手。2、点击打开XY苹果助手并信任软件。3、在XY苹果助手的必备里点击下载按钮下载安装必备软件应用。4、特定的具体软件应用，可以在XY苹果助手里使用搜索...
- 魔兽争霸3冰封王座官网下载（魔兽争霸3冰封王座1.20e中文版下载_魔兽争霸3下载）
-
没法下载，因为没有说明在什么平台下载可以在网易的官方网站上进行下载，下载地址如下：https://dz.blizzard.cn/下载的时候请选择中间的“平台完整版”，这个版本包含了《魔兽争霸3》游戏本...
- 四人麻将（四人麻将图片）
-
1．标准打法：常规的打缺打法，不附加任何的特殊规则。2．标准下雨：在标准打法的基础上，加入下雨的功能，也就是杠牌。下雨分为明杠和暗杠。明杠：①玩家手中有三张一样的牌，其它玩家打出了第四张一样的牌，...
- 美图秀秀app下载安装免费（美美秀图手机版下载）
-
美图秀秀下载了找不到，应该是因为你的内存的原因，安装失败了。美图秀秀是一款使用很普遍的美图软件，可以满足大多数用户的需求，比如自己p图，或者是拼图都很好。可是，你发现你下载了美图秀秀，却在手机桌面没有...
- 街机游戏厅app（街机游戏厅app大全）
-
以下是几个不错的iOS街机游戏厅：MAME4iOS:这是一款非常流行的iOS街机游戏厅，可以让你在iPhone或iPad上运行多个街机游戏。iCade:这是一款专门为iCade控制器设计的街机游戏...
- 海外加速器下载（加速器中国免费）
-
迅游不能下载海外游戏的原因是因为一些海外游戏需要进行版权验证，而迅游没有获得这些游戏的版权许可。此外，由于不同国家的游戏法规和政策不同，迅游有时需要根据不同的规定进行调整，这也可能会限制用户下载一些海...
- 日语输入法app下载（simeji日语输入法官网下载）
-
谷歌输入法。安卓可以用的最好用的了吧，在设置里下载好所需要语言，打字时按那个切换即可。另外还有一个触宝，个人觉得不如谷歌。可以打出日文的输入法，很不错的日语输入法。安装后请在系统中添加输入法，即可使...
-
- 字体设计网站（字体设计 网站）
-
那就到这个网站，每次只能输入一个字，从小篆到甲骨文：http://www.internationalscientific.org就玩个静态页，很简单啊，教你一个作弊方法（反正你来这里讨教也不是自己完成作业），就是找一个你认为合适你作业要求...
-
2026-01-17 01:51 off999
-
- windows7旗舰版下载地址（win7官方旗舰版下载教程）
-
最简单的方法就是,下载完镜像文件后,直接把镜像文件解压,解压到非C盘,然后在解压文件里面找到setup.exe,点击运行即可。安装系统完成后,在C盘找到一个Windows.old(好几个GB,是旧系统打包在这里,垃圾文件了)删除即可。扩展资...
-
2026-01-17 01:43 off999
- 全民斗地主免费（全民斗地主免费下载·点开即玩版.直达首页.top）
-
趣头条是开发的比较早的一款阅读看新闻资讯以及看视频听音乐能赚钱的软件了，而且在下载软件排行榜上也是名次靠前的存在，这充分说明了这个软件的内容是得到了广大网民的认可和喜爱，趣头条里有很多好玩的游戏包括这...
- 五十本巅峰带颜色的书（五十本巅峰带颜色的书高僧修行手册）
-
《我的时尚穿搭规则》，是中信出版社2011年出版的图书，作者是尼娜·加西亚。 《我的时尚穿搭规则:让你在每个场合都焕发光彩》内容简介：这个时代，任何人都无法拒绝时尚，它和我们的生活息息相关。 “最...
- 7723游戏盒子官方正版（7723游戏盒子官方正版2023）
-
1、7723是通过在互联网上下载和安装得到的。2、因为7723是一款软件，需要从官方网站或第三方下载站点下载。下载过程需要考虑到网络速度、软件版本、安全性等因素，如果没有良好的网络环境或下载方式不正确...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
Python 批量卸载关联包 pip-autoremove
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)