介绍

介绍

福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题，这个问题在初学者编程时候会经常遇到，如果要弄清楚这里面的道道，还是需要好好学习一下的

什么是编码

所谓编码就是计算机标记一个汉字（或者是其他国家的文字）对应的数字，在不同编码情况下同样的一个汉字会对应不同的数字，比如：“福哥”在gbk编码里对应的是“205 172 184 163”，在gbk编码里一个汉字对应两个数字，而“福哥”在utf-8编码里对应的是“229 144 140 231 166 143”，在utf-8编码里一个汉字对应三个数字。

常用编码

• GBK，英文全称Chinese Internal Code Specification，中文全称《汉字内码扩展规范》，所谓的“国标”编码方式
• UTF-8，英文全称Universal Character Set/Unicode Transformation Format，是比较通用的一种编码方式，支持几乎全部国家的语言文字
• BIG5，大五码，是用于繁体汉字的编码方式
• ISO8859-1，单字节编码，是早期用于英文的网页的编码方式
• Unicode，统一码，就是所有国家的语言文字编码都会有一个方法转换成Unicode编码，然后Unicode编码又可以转换所有国家的语言文字编码。所以，python在进行编码转换时候都是先用decode转为unicode，再用encode转为目标编码

IDLE编码

在编辑器里定义的字符串常量也是有编码设置的，这个编码可以通过脚本“页头”进行声明

声明方法

在脚本页头使用coding指定脚本默认编码

声明编码之后，后面代码里出现的常量字符串都会是这个编码了

系统编码

在程序运行的时候也会有一个编码设置，这个编码就是系统编码，默认的系统编码是ascii编码，我们也可以通过sys这个软件包来设置它。

在我们使用print命令输出信息到控制台的时候，就会尝试使用系统编码进行显示了。而默认是ascii编码在很多情况下会出现无法解码的情况

查看系统编码

导入sys，查看系统编码

import sys

print sys.getdefaultencoding()

设置系统编码

导入sys，使用reload刷新sys，设置新的系统编码

import sys

reload(sys)
sys.setdefaultencoding("gbk")

编码转换

既然编码方式有那么多，我们从不通的媒介上提取到的数据就有可能是不同的编码方式的，如果要将这些数据统一成我们的代码使用的默认编码，就需要学会编码之间的转换方法。

直接编码转换

在python下可以通过字符串的decode和encode方法进行字符串的编码转换操作

通用的技巧就是先通过decode方法将字符串转成unicode编码，再通过encode方法将字符串转为指定的编码

示例

脚本默认是gbk编码，先转为utf-8编码，再转回gbk编码

orgStr = "我是福哥"

# print gbk
gbkStr = orgStr
print gbkStr

# gbk to utf-8
utf8Str = gbkStr.decode("gbk").encode("utf-8")
print utf8Str

# utf-8 to gbk
gbkStr = utf8Str.decode("utf-8").encode("gbk")
print gbkStr

数据库数据编码转换

从数据库里提取到的数据也是有编码的，我们一定知道数据库里的数据的编码方式，之后就可以通过直接编码转换的方式进行转换了

示例

从数据库里查询出一个字段的数据，通过直接转换方法进行编码转换

import pymysql

# connect
cn = pymysql.connect("192.168.1.168","test","abcdef")
cs = cn.cursor()
cn.select_db("test")

# query and fetch
cs.execute("select * from test")
result = cs.fetchone()

# utf8 to gbk
utf8Str = result[1]
gbkStr = utf8Str.decode("utf-8").encode("gbk")
print gbkStr

网页数据编码转换

使用selenium模拟浏览器获取网页上的内容数据也是有编码的，这种情况下怎么解决呢？

示例

使用selenium爬取到网页的内容，通过find命令获取到的元素上的文字，这个可以直接通过encode进行转换，因为selenium已经帮助我们把文字转换成unicode了

from selenium import webdriver

chromeOpts = webdriver.ChromeOptions()
chromeOpts.add_argument("--headless")
chromeOpts.add_argument("--disable-gpu")
chromeOpts.add_argument("--no-sandbox")
chrome = webdriver.Chrome(options=chromeOpts)

chrome.get("https://tongfu.net/")

unicodeStr = chrome.find_element_by_css_selector(".topic-title").text
gbkStr = unicodeStr.encode("gbk")
print (gbkStr)

IDLE编码、系统编码、数据编码

上面我们提到了几个概念，即：IDLE编码、系统编码、数据编码，它们之间是什么关系呢？

IDLE编码

这个又称之为编辑器编码，这个编码是告诉IDLE编辑器我们当前脚本里声明的字符串常量的编码是什么，如果没有特别指定的话，默认会是ascii编码，那样是无法使用中文的。

系统编码

有一些软件包为了使程序员开发方便，会自动进行一些数据的编码转换，在进行自动转换编码的时候所依据的就是系统编码了。

数据编码

数据编码是以变量为单位的，也就是说每一个变量都会有自己的编码方式，我们在编程的时候需要根据情况对它们进行统一，否则会出现意想不到的问题

字符串输出

如果要使字符串可以正常通过print命令输出到控制台上，需要保证IDLE编码和变量编码一致，或者变量编码为Unicode编码

常见错误

未指定IDLE编码

如果没有指定IDLE编码，在输出字符串的时候就会报错

SyntaxError: Non-ASCII character '\xb8' in file Encoding.py on line 3, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

IDLE和数据编码不一致

如果指定的IDLE编码和变量编码不一样会出现乱码

总结

今天福哥带着大家学习了字符串编码的相关知识，后面再处理字符串的时候就会比较清晰怎么做了！否则，我们会稀里糊涂地得到关于编码的报错信息，诸如：

UnicodeEncodeError: 'ascii' codec can't encode character u'\u3010' in position 0: ordinal not in range(128)

或者

UnicodeEncodeError: 'gbk' codec can't encode character u'\xa9' in position 105046: illegal multibyte sequence

等等这样的错误信息了

https://m.tongfu.net/home/35/blog/512813.html