盘点3种Python网络爬虫过程中的中文乱码的处理方法
off999 2024-11-25 15:56 26 浏览 0 评论
来源：Python爬虫与数据挖掘
作者： Python进阶者
今天给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。
前言
前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题，如下图所示。
看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，小编在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感！
一、思路
其实解决问题的关键点就是在于一点，就是将乱码的部分进行处理，而处理的方案主要可以从两个方面进行出发。其一是针对整体网页进行提前编码，其二是针对局部具体中文乱码的部分进行编码处理。这里例举3种方法，肯定还有其他的方法的，也欢迎大家在评论区谏言。
二、分析
其实关于中文乱码的表现形式有很多，但是常见的两种如下：
1、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：
?à?? μ???×à ?ü?ì ?ú·? ?é°? D?????4k±ú??2、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：
????? ??? ? С? Ψ??虽然看上去控制台输出正常，没有报错：
Process finished with exit code 0但是输出的中文内容，却不是普通人能看得懂的。
这种情况下的话，就可以通过使用本文给出的三种方法进行解决，屡试不爽！
三、具体实现
1）方法一：将requests.get().text改为requests.get().content
我们可以看到通过text()方法获取到的源码，之后进行打印输出的话，确实是会存在乱码的，如下图所示。
此时可以考虑将请求变为.content，得到的内容就是正常的了。
2）方法二：手动指定网页编码
# 手动设定响应数据的编码格式
response.encoding = response.apparent_encoding这个方法稍微复杂一些，但是比较好理解，对于初学者来说，还是比较好接受的。
如果觉得上面的方法很难记住，或者你可以尝试直接指定gbk编码也可以进行处理，如下图所示：
上面介绍的两种方法都是针对网页进行整体编码，效果显著，接下来的第三种方法就是针对中文局部乱码部分使用通用编码方法进行处理。
3）方法三：使用通用的编码方法
img_name.encode('iso-8859-1').decode('gbk')使用通用的编码方法，对中文出现乱码的地方进行编码设定即可。还是当前的这个例子，针对img_name进行编码设定，指定编码并进行解码，如下图所示。
如此一来，中文乱码的问题就迎刃而解了。
四、总结
我是Python进阶者。本文基于粉丝提问，针对Python网络爬虫过程中的中文乱码问题，给出了3种乱码解决方法，顺利帮助粉丝解决了问题。虽然文中例举了3种方法，但是小编相信肯定还有其他的方法的，也欢迎大家在评论区谏言。
小伙伴们，快快用实践一下吧！
- 上一篇：在docker中elasticsearch 部署
- 下一篇：python中文编码问题
相关推荐
- 推荐一款Python的GUI可视化工具（python 可视化工具）
-
在Python基础语法学习完成后，进一步开发应用界面时，就需要涉及到GUI了，GUI全称是图形用户界面（GraphicalUserInterface，又称图形用户接口），采用图形方式显示的计算机操...
- 教你用Python绘制谷歌浏览器的3种图标
-
前两天在浏览matplotlib官方网站时，笔者无意中看到一个挺有意思的图片，就是用matplotlib制作的火狐浏览器的logo，也就是下面这个东东（网页地址是https://matplotlib....
- 小白学Python笔记:第二章 Python安装
-
Windows操作系统的python安装：Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本，结合自己的使用情况，此处仅记录windows操作系统的python...
- Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字
-
Python程序开发之简单小程序实例（9）利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字，需先导入Tkinter组...
- 一文吃透Python虚拟环境（python虚拟环境安装和配置）
-
摘要在Python开发中，虚拟环境是一种重要的工具，用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具：venv、virtualenv、pip...
- 小白也可以玩的Python爬虫库，收藏一下
-
最近，微软开源了一个项目叫「playwright-python」，作为一个兴起项目，出现后受到了大家热烈的欢迎，那它到底是什么样的存在呢？今天为你介绍一下这个传说中的小白神器。Playwright是...
- python环境安装+配置教程（python安装后怎么配置环境变量）
-
安装python双击以下软件：弹出一下窗口需选择一些特定的选项默认选项不需要更改，点击next勾选以上选项，点击install进度条安装完毕即可。到以下界面，证明安装成功。接下来安装库文件返回电脑桌面...
- colorama，一个超好用的 Python 库!
-
大家好，今天为大家分享一个超好用的Python库-colorama。Github地址：https://github.com/tartley/coloramaPythoncolorama库是一...
- python制作仪表盘图（python绘制仪表盘）
-
今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表，刻度表示度量，指针表示维度，指针角度表示数值。仪表盘图表就像汽车的速度表一样，有一个圆形的表盘及相应的刻度，有一个指针...
- 总结90条写Python程序的建议（python写作）
-
1.首先 建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 （1）避免不规范代码，比如只用大小写区分变量、使用容易...
- [oeasy]python0137_相加运算_python之禅_import_this_显式转化
-
变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释，不超过1...
- Python入门学习记录之一:变量（python中变量的规则）
-
写这个，主要是对自己学习python知识的一个总结，也是加深自己的印象。变量（英文：variable），也叫标识符。在python中，变量的命名规则有以下三点：>变量名只能包含字母、数字和下划线...
- 掌握Python的"魔法":特殊方法与属性完全指南
-
在Python的世界里，以双下划线开头和结尾的"魔法成员"（如__init__、__str__）是面向对象编程的核心。它们赋予开发者定制类行为的超能力，让自定义对象像内置类型一样优雅工...
- 11个Python技巧 不Pythonic 实用大于纯粹
-
虽然Python有一套强大的设计哲学（体现在“Python之禅”中），但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念：“实用主义胜于纯粹主义”...
- Python 从入门到精通 第三课 诗意的Python之禅
-
导言：Python之禅，英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表，它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)