Linux下python中文编码的问题 不指定

root , 2008/05/22 22:01 , Python , 评论(1) , 阅读(21673) , Via 本站原创 | |
      同样的程序在WIN下跑正常,在Linux下跑读取个别文件会提示“UnicodeDecodeError: 'gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence”
这是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中,全角空格往往有多种不同的实现方式,比如\xa3\xa0,或者\xa4\x57,这些字符,看起来都是全角空格,但它们并不是“合法”的全角空格(真正的全角空格是\xa1\xa1),因此在转码的过程中出现了异常。
按网上的方法是这样解决:
s.decode('gbk', 'ignore').encode('utf-8')
因为decode的函数原型是decode([encoding], [errors='strict']),可以用第二个参数控制错误处理的策略,默认的参数就是strict,代表遇到非法字符时抛出异常;
如果设置为ignore,则会忽略非法字符;
如果设置为replace,则会用?取代非法字符;
如果设置为xmlcharrefreplace,则使用XML的字符引用。

我的解决方法是直接忽略非法字符:
s.decode('gbk', 'ignore')
Tags:
L
2010/01/12 10:23
非法字符?可能更多的是所使用的编码不当
分页: 1/1 第一页 1 最后页
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]