百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python用request库读取网页源码(含py文件内容)

off999 2024-10-23 12:45 30 浏览 0 评论

本代码操作前提安装了Python38版本以及request库,并且将下面的代码复制保存为网页测试.py运行即可(为保证代码编写规范,建议用sublime text 3进行操作)。

操作及运行如图:







代码部分:

import requests #导入request库

import re #导入re库

#下面三行是编码转换的功能

import sys #导入sys库

#reload(sys)

#sys.setdefaultencoding("utf-8")

import importlib #导入importlib库

importlib.reload(sys)

#Python解决NameError: name 'reload' is not defined的问题

#遇到这个问题,对于 Python 2.X:

#1 import sys

#2 reload(sys)

#3 sys.setdefaultencoding("utf-8")

#对于 Python 3.3及其以下版本:

#1 import imp

#2 imp.reload(sys)

#需要注意:

#1. Python 3 与 Python 2 有很大的区别,其中Python 3 系统默认使用的就是utf-8编码。

#2. 所以,对于使用的是Python 3 的情况,就不需要sys.setdefaultencoding("utf-8")这段代码。

#3. 最重要的是,Python 3 的 sys 库里面已经没有 setdefaultencoding() 函数了。

#对于 Python 3.4及其以上版本:

#1 import importlib

#2 importlib.reload(sys)

url= str(input("请输入:")) #提示用户输入信息,并强制类型转换为字符串型

#hea是我们自己构造的一个字典,里面保存了user-agent。

#让目标网站误以为本程序是浏览器,并非爬虫。

#从网站的Requests Header中获取。【审查元素】

hea = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}

html = requests.get(url,headers = hea)

html.encoding = 'utf-8' #这一行是将编码转为utf-8否则中文会显示乱码。

print(html) #如果返回<Response [200]>是HTTP状态码,表示网络请求成功的意思,返回这个状态表示已经获取到数据了。【200】请求成功【303】重定向【400】请求错误【401】未授权【403】禁止访问【404】文件未找到【500】服务器错误

print(html.text) #显示已经获取到的网页源码

相关推荐

显示桌面图标不见了怎么恢复

1、在电脑桌面上,点击鼠标右键。2、在右键菜单中,点击“查看”。3、在“查看”的下一级菜单中,点击“显示桌面图标”,即可显示出桌面图标。4、用鼠标右键点击任务栏。5、在右键菜单中,点击“任务管理器”。...

芯片排行(麒麟芯片排行)

2021世界十大芯片公司排名1.英特尔成立于1968年,一直都处于领先地位,是最著名的计算机和中央处理器创造商。2.三星成立于1938年,三星涉及了许多领域,比如手机、电脑和各种电子半导体领域。3.英...

win7系统进入桌面黑屏(win7进去界面后黑屏)

win7黑屏无法进入桌面的解决方法:1、按【ctrl+alt+del】组合键,打开任务管理器;2、依次点击文件、创建新任务,输入regedit;3、在打开的注册表编辑器中,找到shell选项,更改数值...

文件隐藏专家(文件隐藏专家怎么设置)

是隐藏的软件恢复到桌面吗?在手机桌面中间向上滑→桌面设置→应用隐藏/私密应用→输入密码→编辑→选择应用点击即可取消。  默认F2可以开始,停止的。亦可以自己设置。  屏幕录像专家设置步骤:  1、在电...

电脑蓝屏无法重启怎么办(电脑蓝屏重启不行)

插上U盘并重启电脑。大多数电脑都可以通过按下F11或F12来选择U盘启动。·在启动时选择U盘启动,然后按回车键。接着选择“第二项”,开始启动PE系统。·现在已经进入PE系统了,找到引导修复工具并双击。...

tplink路由器重设密码步骤(tplink路由器重置密码设置步骤图解)

重设TP-LINK无线路由器密码方法如下1、打开浏览器,在地址栏输入192.168.1.1(一般路由器地址是这个或者查看路由器背面的登录信息)进路由-输入用户名,密码,(默认一般是admin)。2、...

查看电脑ip地址的命令(查看电脑ip地址用什么命令)
查看电脑ip地址的命令(查看电脑ip地址用什么命令)

1、在“本地连接”的状态中查看。2、使用“ipconfig/all”命令查看。3、打开电脑网页,输入IP地址,点击确定,就能看到本机IP。扩展资料IP地址(InternetProtocolAddress),全称为网际协议地址,是一种在...

2025-12-30 10:03 off999

ie浏览器9(IE浏览器9.0如何升级)

1、首先,我们点击开始菜单,找到控制面板,点击一下。2、之后,找到程序和功能选项,点击一下。3、点击进入后,我们找到左边的打开或关闭windows功能,点击一下。4、点击进入后,找到Internet...

hp1020打印机驱动怎么下载(hp1020打印机驱动怎么下载)

惠普1020打印机驱动怎么安装:  1.首先到下载软件名称:惠普1020打印机驱动程序官方版(支持win7/8)32位/64位软件大小:5.09MB更新时间:2014-09-05立即下载  2.然后...

win2003是windows7系统(win2003哪个版本好)

win2003是专门用于服务器的操作系统,现在最主流的windows服务器系统主要是win2003server和win2008server,winXP是个人电脑专用的操作系统,现在微软已经不再提供XP...

路由器账号和密码忘了怎么办

你好,如果你忘记了路由器的用户名和密码,你可以尝试重置一下路由器,大多数路由器都配备了一个复位按键。在重置路由器之后,用户名和密码将被还原为默认值,你可以在路由器的用户手册或厂家网站上找到默认的用户名...

win10永久禁止自动更新(win10禁止自动更新彻底)

阻止Windows10自动更新的方法如下:使用“本地组策略编辑器”:按下“Win+R”键,输入“gpedit.msc”打开本地组策略编辑器,找到“计算机配置”>“管理模板”>“W...

联想笔记本怎么看配置和型号

联想笔记本看配置的方法如下1、打开电脑,点击桌面的计算机,右键菜单里选择【属性】;打开后,即可看到电脑系统的大概信息;2、如果要看比较详细的设备相关信息,点击桌面的计算机,点击右键,在菜单里选择【系统...

怎样把打印机连接到电脑上(怎么把打印机连接电脑上)
  • 怎样把打印机连接到电脑上(怎么把打印机连接电脑上)
  • 怎样把打印机连接到电脑上(怎么把打印机连接电脑上)
  • 怎样把打印机连接到电脑上(怎么把打印机连接电脑上)
  • 怎样把打印机连接到电脑上(怎么把打印机连接电脑上)
photoshop6序列号(photoshop8.01序列号)
  • photoshop6序列号(photoshop8.01序列号)
  • photoshop6序列号(photoshop8.01序列号)
  • photoshop6序列号(photoshop8.01序列号)
  • photoshop6序列号(photoshop8.01序列号)

取消回复欢迎 发表评论: