【每日学习】python爬取网页信息之request用法
off999 2024-11-12 12:01 34 浏览 0 评论
【导读】python爬取网页信息
【主题】python爬取网页信息之request用法
【代码】
【分析】
1.urlopen()方法
urllib.request.urlopen()函数用于实现对目标url的访问。
函数原型如下：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url: 需要打开的网址
data：Post请求提交的数据
timeout：设置网站的访问超时时间
函数参数介绍
url 参数：目标资源在网路中的位置。可以是一个表示URL的字符串（如：http://www.pythontab.com/）；也可以是一个urllib.request对象
data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；当用户给出data参数的时候，改为POST方式发送请求。
timeout：设置网站的访问超时时间
cafile、capath、cadefault 参数：用于实现可信任的CA证书的HTTP请求。
context参数：实现SSL加密传输。
【返回方法】
urlopen返回对象提供方法：
1.read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作
2.info()：返回HTTPMessage对象，表示远程服务器返回的头信息
3.getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到
4.geturl()：返回请求的url
【注意】
1.直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，显示为二进制，需要decode（）解码，转换成str类型。
2.from urllib.request import urlopen
urlopen(‘xxx’)
或者
from urllib import request
request.urlopen(‘xxx’)
相关推荐
- 怎样打开cdr文件（.cdr用什么打开）
-
cdr是什么文件？cdr文件用什么打开？cdr文件是CorelDraw图像制作软件标准的输出格式，与photoshop（PS）图片设计软件类似都属于图片设计软件，需要打开cdr文件我们就需要先了解C...
- 微软拼音输入法好用吗（微软拼音输入法好用吗知乎）
-
CTRL(Control)组合键;Ctrl+Alt+A(截屏);Ctrl+A(All)全选;Ctrl+C(Copy)复制;Ctrl+V粘贴Ctrl+S保存，窗口...
- 怎么设置屏保密码（怎么设置屏保密码和锁定时间）
-
屏保密码设置的方法步骤1、鼠标左键单击桌面下的【开始】菜单键；点击【控制面板】；2、点击【外观和个性化】；然后点击【个性化】选项卡中的【更改屏幕保护程序】；3、选择一个自己喜欢的程序，勾选，然后再点击...
- 无法下载ie浏览器怎么办（ie浏览器显示无法下载）
-
如果您在使用IE浏览器时遇到无法下载的问题，以下是一些常见的解决办法：1.清除浏览器缓存：打开IE浏览器，依次点击工具（齿轮图标）->Internet选项->常规选项->...
- 笔记本w7可以升级w10吗（笔记本w7可以升级w10吗）
-
要将wln7升级到win10，需要先确保计算机配置符合win10的最低要求，包括处理器、内存、硬盘空间等。然后，可以下载win10的升级助手或镜像文件，在升级前备份重要数据，选择需要保留的文件和设置，...
-
- 如何卸载电脑浏览器软件（怎样卸载电脑浏览器）
-
如果我们发现我们从浏览器里面下载的东西删不了，这个时候，我们就可能是由于下载到了了一些病毒软件或者是病毒程序而导致的，如果说想要解决这个问题，方法的话也很简单，我们可以通过杀毒软件对其进行杀毒，然后再进行卸载，基本上就可以删除了。app卸载...
-
2025-11-18 09:51 off999
- 联想怎么看电脑配置和型号（联想怎么看电脑配置和型号笔记本）
-
笔记本看型号有推荐三种方法：第一种，点击你笔记本上的（开始），然后找到（运行）打开，在里面的输入框里输入（dxdiag）点击确定，你就可以看见笔记本型号，系统型号等笔记本信息。第二种，就是在你的电脑上...
- 怎么ghost电脑系统（怎样ghost）
-
使用GHOST软件备份系统即可。1、网上下载一键GOST安装好，重启电脑运行一键gost-选择手动进入GOST。2、进入GHOST的操作界面，点OK。3、选择菜单到Local（本机）－－Partiti...
- u盘读取软件下载（u盘读取器下载）
-
手机播放U盘里的视频不用刻意的去安装什么播放器，一般手机里自带的播放器就能够直接播放U盘里的一般常见的视频。只要你要播放的视频，都是平时在电脑上或者电视上能够正常播放的视频，一般在手机里面它的系统自带...
- office2020安装包百度云下载
-
Office2020和Office2019是微软的办公套件产品，两个版本之间有以下区别：1.发布时间：Office2020于2021年10月发布，而Office2019于2018年9月发布。...
- 硬盘恢复分区（硬盘恢复分区怎么删除）
-
1、在电脑上下载DiskGenius软件。2、双击运行该软件，软件会自动识别硬盘。当软件自动识别硬盘之后，右键单击硬盘的盘符，出现下拉菜单栏，选择搜索已丢失分区(重建分区表)选项。3、右键单击硬盘盘符...
-
- edge 浏览器（edge浏览器官网下载）
-
目前没有，如果是平板安装了WIN10是会内置MicrosoftEdge浏览器的。edge是由微软开发的基于Chromium开源项目及其他开源软件的网页浏览器。Edge浏览器主要特点是能够支持目前主流的Web技术，作为Windows10自带...
-
2025-11-18 06:51 off999
-
- 网易163邮箱免费注册（163网易免费邮件注册）
-
163邮箱登录入口页面官方地址：https://mail.163.com/163邮箱登录注册方法1、进入邮箱登入首页，我们点击右下角“去注册”按钮，进入注册界面;2、这里直接填写账号和密码内容，点一下同意那里呈蓝色圆点;再点下一步。3、再填...
-
2025-11-18 06:03 off999
- 苹果商城app下载安装（苹果商店app免费下载）
-
一、苹果手机下载软件显示APP内购买的意思是APP可以免费下载使用，但是该APP内有付费内容，也就是通常所说的收费道具。二、不是所有应用都会提供App内购买项目。如果某个应用提供App内购买...
- 惠普电脑中国官网（惠普手提电脑官网）
-
https://support.hp.com/cn是惠普笔记本售后服务官网。惠普维修服务中心通过整合线上线下相关资源，向国内用户提供方便快捷、安全可靠的优质电子产品维修服务。目前拥有北京6家、全国30...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
慕ke 前端工程师2024「完整」
-
失业程序员复习python笔记——条件与循环
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)