被 python 的编码问题折腾死了

[Yourdaye]

python2.7+ubuntu

用 beautifusoup 来解析一个网页，死活都输出不了中文

什么 encode,decode 试了个遍都不行啊

折腾了一下午.....

有过类似经验的 V 友们给点指导啊！

[bakabie]

检查下 ide 的编码设置是否正确。。。
我之前也是这样，在 pycharm 上无法输出中文。。。结果发现是 pycharm 内置编码没设置正确

[flyer103]

黑魔法:

```python
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
```

[yunying]

不谢：
http://wklken.me/posts/2013/08/31/python-extra-coding-intro.html

看完后并理解后你就会感谢我的了

[Yourdaye]

@bakabie 我是现在 pycharm 上测试，然后再服务器上测试，都不行

[DuckJK]

http://linux.im/2015/04/09/python-requests-response.html 骚年，送你一发神器

[windfarer]

先看网页的编码是什么，再在代码里做相应 decode

[just1]

encode('utf-8').decode('unicode-escape')
送你神器

[zaishanfeng]

楼上的几个方法我都用过 还是有问题 目前遇到的最好的解决方法是 django 的 smart_str

[RqPS6rhmP3Nyn3Tm]

为什么不用 Python 3 呢，原生支持 utf-8
抓网页直接 decode('utf-8') 就好了

[leavic]

@Yourdaye pycharm 默认的 console encoding 是 UTF-8 ，而其他系统的的 console 不一定是这个，所以 console 输出的问题不是单纯靠编码能解决的。

[Yourdaye]

@BXIA 2 和 3 的这个坑难道填不平了？

[Yourdaye]

@zaishanfeng 可惜我用的是 flask

[lcj2class]

http://liujiacai.net/blog/2015/11/20/strings/

这应该能帮助你

[RqPS6rhmP3Nyn3Tm]

@Yourdaye 没用过 2 ，不过现在都在慢慢迁移到 3 了，以后可能也不会填坑了吧

[crayhuang]

同样被折腾过，用了跟二楼一样的方法解决

[fy]

1. 楼主你别用 urllib ，换 requests ， resp.text 直接是 unicode ， py2 py3 直接 print 都能看
2. 上 Python3 ， py2 我们别管了

[Victor215]

用 requests + chardet, 爬虫包治百病！

[knightdf]

全部用 unicode

[yaozeyuan93]

先不用管 encode/decode 的事。

在程序开始时将编码设成 utf-8

```
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
```

代码里凡是涉及到字符串的，一律使用 u''字符串。

对于外部输入，一律使用 decode 处理成 unicode 字符，确保程序内部是一个纯净的 unicode 字符环境

输出时，视情况 encode 成 utf-8 的 bytes 或者直接输出（让 python 系统自行处理）。

只要做到这些，一般就不会再碰见乱码问题了。

创意来源： Pycon2012 演讲， Unicode 之痛。中文翻译： https://github.com/PyCodersCN/PyCodersCN/blob/6d0c0607dfa609c443eaea5904789cf833ebc679/issue5/unipain.rst

我在自己的知乎助手（ py2.7+urllib2+BS4 ）里试了一下，很好用。目前为止还没有人向我反馈过乱码 bug

[weakiwi]

有时候是 ide 自己的问题，建议直接 linux 环境 nano