百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

盘点3种Python网络爬虫过程中的中文乱码的处理方法

off999 2024-10-23 12:48 40 浏览 0 评论

大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:UnicodeEncodeError: 'gbk' codec can't encode character解决方法,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。

前言

前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题,如下图所示。

看上去确实头大,对于爬虫初学者来说,这个乱码摆在自己面前,犹如拦路虎一般难顶。不过别慌,小编在这里给大家整理了三种方法,专门用于针对中文乱码的,希望大家在后面再次遇到中文乱码的问题,在此处可以得到灵感!


一、思路

其实解决问题的关键点就是在于一点,就是将乱码的部分进行处理,而处理的方案主要可以从两个方面进行出发。其一是针对整体网页进行提前编码,其二是针对局部具体中文乱码的部分进行编码处理。这里例举3种方法,肯定还有其他的方法的,也欢迎大家在评论区谏言。


二、分析

其实关于中文乱码的表现形式有很多,但是常见的两种如下:

1、当出现网页编码为gbk,获取到的内容在控制台打印类似如下情况的时候:

?à?? μ???×à ?ü?ì ?ú·? ?é°? D?????4k±ú??

2、当出现网页编码为gbk,获取到的内容在控制台打印类似如下情况的时候:

????? ??? ? С? Ψ??

虽然看上去控制台输出正常,没有报错:

Process finished with exit code 0

但是输出的中文内容,却不是普通人能看得懂的。

这种情况下的话,就可以通过使用本文给出的三种方法进行解决,屡试不爽!

三、具体实现


1)方法一:将requests.get().text改为requests.get().content

我们可以看到通过text()方法获取到的源码,之后进行打印输出的话,确实是会存在乱码的,如下图所示。

此时可以考虑将请求变为.content,得到的内容就是正常的了。


2)方法二:手动指定网页编码

# 手动设定响应数据的编码格式
response.encoding = response.apparent_encoding

这个方法稍微复杂一些,但是比较好理解,对于初学者来说,还是比较好接受的。

如果觉得上面的方法很难记住,或者你可以尝试直接指定gbk编码也可以进行处理,如下图所示:


上面介绍的两种方法都是针对网页进行整体编码,效果显著,接下来的第三种方法就是针对中文局部乱码部分使用通用编码方法进行处理。


3)方法三:使用通用的编码方法

img_name.encode('iso-8859-1').decode('gbk')


使用通用的编码方法,对中文出现乱码的地方进行编码设定即可。还是当前的这个例子,针对img_name进行编码设定,指定编码并进行解码,如下图所示。

如此一来,中文乱码的问题就迎刃而解了。


四、总结

我是Python进阶者。本文基于粉丝提问,针对Python网络爬虫过程中的中文乱码问题,给出了3种乱码解决方法,顺利帮助粉丝解决了问题。虽然文中例举了3种方法,但是小编相信肯定还有其他的方法的,也欢迎大家在评论区谏言。


相关推荐

虚拟机安装win7镜像(虚拟机安装win7镜像软件)

下载VMware虚拟机win7映像文件,您可以选择官方或授权的渠道进行操作。首先,您需要确认需要下载的虚拟机镜像的操作系统和版本。通常,官方提供了一些预定义的虚拟机镜像,如Windows7等。一种可...

cpu温度过高会怎样(cpu温度过高会造成什么影响)

CPU温度过高会导致一系列问题,包括但不限于以下几个方面:1.电脑运行不稳定:CPU温度过高会导致电脑运行不稳定,程序崩溃、电脑反应缓慢等问题。2.电脑硬件损坏:CPU温度过高容易导致电脑硬件损坏...

win7进安全模式(win7进安全模式卡死)

1、重启或开机时,在进入Windows系统启动画面之前按下F8键,会出现系统多操作启动菜单,有三个版本的安全模式可以选择,回车就直接进入安全模式。2、重启电脑时,按住Ctrl键不放,会出现系统多操作启...

360手机助手下载的软件在哪里

在手机中打开安装好的360手机应用助手然后在360手机应用助手界面的右下角,选择“更多”,然后在这里再进入“设置”进入设置后,再选择“应用安装位置”设置最后我们选择SD卡即可根据以上步骤,就可以修改下...

组策略管理器怎么打开(组策略管理器怎么打开控制面板)

1.找不到2.本地组策略管理器可能找不到是因为它可能被禁用或者被删除了。另外,也有可能是因为你的操作系统版本不支持本地组策略管理器。3.如果你的操作系统版本不支持本地组策略管理器,你可以尝试使用...

电源已接通未充电什么意思(电源已接通但未充电怎么办)

原因分析:出现这样的原因有可能是长时间没有充电,导致电池的内部电量耗完后亏电严重,只是电脑充电的保护,不让过充而已,只要设置一下电池选项一般就可以解决问题了。解决方法:1、关机,拔下电源,拔出电池,...

路由器怎么桥接另外一个路由器

桥接分有线桥接和无线桥接,有线桥接就是两台路由器lan口通过网线相连,实现路由器的扩展;无线桥接是将后一台路由器工作模式设置为中继模式,在中继模式设置中选择前一台路由的WiFi信号,输入对应的密码,就...

系统重装软件下载(重装系统安装版)
  • 系统重装软件下载(重装系统安装版)
  • 系统重装软件下载(重装系统安装版)
  • 系统重装软件下载(重装系统安装版)
  • 系统重装软件下载(重装系统安装版)
手机qq空间怎么注销掉(手机qq空间咋样注销)
  • 手机qq空间怎么注销掉(手机qq空间咋样注销)
  • 手机qq空间怎么注销掉(手机qq空间咋样注销)
  • 手机qq空间怎么注销掉(手机qq空间咋样注销)
  • 手机qq空间怎么注销掉(手机qq空间咋样注销)
电脑开机进入桌面就蓝屏(电脑开机进去桌面就蓝屏)

步骤1、如果发现开机蓝屏时,可能以通过开机第一屏时迅速不停按动F8键,在屏幕出来的界面选择[安全模式]并按[Enter]进入安全模式。【电脑一开机就蓝屏】步骤1  步骤2、如果能进安全模式,说明软件有...

惠普打印机程序驱动官网(中国惠普打印机驱动程序)
惠普打印机程序驱动官网(中国惠普打印机驱动程序)

hp打印机驱动程序可以去惠普官网下载,然后安装驱动程序1/6登陆www.hp.com.cn,点击右上角的“支持”,选择“软件与驱动程序”2/6点击左侧“按产品类别浏览”中的“打印机”3/6输入要查询的产品编号4/6点击左侧搜索结...

2025-12-30 14:03 off999

一键装机之家官网(一键装机软件哪个好用)

http://www.xitongzhijia.net/系统之家官网打造的系统之家装机大师,使用很简单,可以用U盘装系统,也可以一键重装系统,可以帮助你快速升级到你想要升级的系统。系统之家装机大师是一...

显示桌面图标不见了怎么恢复

1、在电脑桌面上,点击鼠标右键。2、在右键菜单中,点击“查看”。3、在“查看”的下一级菜单中,点击“显示桌面图标”,即可显示出桌面图标。4、用鼠标右键点击任务栏。5、在右键菜单中,点击“任务管理器”。...

芯片排行(麒麟芯片排行)

2021世界十大芯片公司排名1.英特尔成立于1968年,一直都处于领先地位,是最著名的计算机和中央处理器创造商。2.三星成立于1938年,三星涉及了许多领域,比如手机、电脑和各种电子半导体领域。3.英...

win7系统进入桌面黑屏(win7进去界面后黑屏)

win7黑屏无法进入桌面的解决方法:1、按【ctrl+alt+del】组合键,打开任务管理器;2、依次点击文件、创建新任务,输入regedit;3、在打开的注册表编辑器中,找到shell选项,更改数值...

取消回复欢迎 发表评论: