彻底解决Python编码问题

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

彻底解决Python编码问题

oaksharks   2020-04-26 我要评论
## 1. 基本概念 - 字符集(Character set) - 解释:文字和符合的总称 - 常见字符集: - Unicode字符集 - ASCII字符集(Unicode子集) - GB2312字符集 - 编码方法(Encoding) - 解释:将字符对应到字节的方法,部分字符集和编码方法名称一样。 - 常见编码方法: - UTF-8:可对Unicode字符进行编码 - GB2312 - ASCII - 编码(Encode) - 解释:将字符集中字符按照一定规则转换成字节 - 解码(Decode) - 解释:与编码相反,将字节转换为字符集中的字符 - 字符集与编码方法的关系 - 每个字符集都有对应的编码方法 - 一种字符集可能有多种编码方法 - 不同的编码方法得到的字节不同,占用存储空间也不一样 - 例如Unicode字符可以使用UTF-8/ASCII/GBK等方法编码 - Unicode字符集包含世界上大部分字符,很多其他字符集有的字符它都有,是他们的超集 - 大部分字符集可以理解为Unicode的子集 - 实际上,除了Unicode之外所谓的字符集主要是对Unicode部分字符编码而已(定义编码方式) - 一种编码不必支持Unicode的所有字符(通常把它能支持的那部分称为它的字符集) ## 2. 关于编码的错误和解决方法 在开发过程中,我们所接触的字符集大多都是Unicode,大部分报错都是关于编码和解码的。 ### 2.1. 编码错误UnicodeEncodeError #### 2.1.1. 错误分析 导致该错误的原因通常是编码方法支持的Unicode字符不全;在工作中,你写了一个txt中文文档,想用ascii编码去保存这个文件,就会报这种错误。 **错误复现:** 我们知道`ascii`不支持字符`中`,那我们用`ascii`编码方法对`Unicode`码`中`进行编码: ```python # -*- encoding: utf-8 -*- u"中".encode(encoding='ascii') ``` 报错如下: ``` UnicodeEncodeError: 'ascii' codec can't encode character '\u4e2d' in position 0: ordinal not in range(128) ``` 这是一个`UnicodeEncodeError` 类型的错误,提示无法使用指定的编码方法对字符进行编码,报错提示中可以得到3个信息: - 当前使用的是acsii编码方法 - 被编码的字符是'\u4e2d' - ascii编码方法能支持的字符有128个 有时候我们还可以利用这个提示查看编码方法支持的字符个数: ```python # -*- encoding: utf-8 -*- u"中".encode(encoding='iso-8859-1') ``` 报错: ``` UnicodeEncodeError: 'latin-1' codec can't encode character '\u4e2d' in position 0: ordinal not in range(256) ``` 通过报错提示可以看出`iso-8859-1`能编256个字符。 接着,我们来看下用支持中文的`utf-8` 编码方法进行编码能得到什么结果: ```python # -*- encoding: utf-8 -*- s = u"中".encode(encoding='utf-8') print("s: ", s) print("s == 中?" , s == '中') print("type of s: ", type(s)) print("str==bytes? ", bytes == type(s)) ``` 输出: ``` ('s: ', '\xe4\xb8\xad') ('s == \xe4\xb8\xad?', True) ('type of s: ',

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们