被 python 的编码问题折腾死了

[Yourdaye]

python2.7+ubuntu

用 beautifusoup 来解析一个网页，死活都输出不了中文

什么 encode,decode 试了个遍都不行啊

折腾了一下午.....

有过类似经验的 V 友们给点指导啊！

[ltm]

你需要 python3

[n6DD1A640]

反正能用 python 3 的地方我都用了。。

[jok3r]

暑假折腾过一次，用 Python3 解决，后来再转 Python2 ，却又没问题了。
前几天又折腾一次，折腾一晚上，结果发现网页开启了 gzip 压缩，需要先解压再解析。

[zaishanfeng]

@Yourdaye 这个只是一个函数 可以 import 直接导入就能用 试过很多方法 什么 reload 什么 requests 什么 encode 有的情况上面的可以解决 但是很多时候试遍了还是不行 只有 smart_str 百试百灵

[quietin]

http://segmentfault.com/a/1190000004138272

[nooper]

py3

[Delbert]

用 requests 输出文件编码。我曾接解析过一个繁体中文网页差点没折腾死我，后来发现是 ISO1xxxx 编码……

[fy]

@Delbert requests 特定网页有一个问题，没记错的话是信任服务器反馈的 encoding 而不是 html 中指定的 encoding 。

不过这个函数官方也写了，我不懂他们为啥不默认开启

[LINAICAI]

还从来没遇到过编码问题没法解决的。。。别乱喷

[limbo0]

方法是一律导成 unicode

[popil1987]

由于你没有放出错误，所以说几处容易乱码的你参考一下。
1.确定获取的内容是字符串吗？有可能是 gzip 压缩的
2.用 chardet 检测获取内容的编码，或者存到文件中，用 file 命令查看文件编码
3.获取的内容要 decode 成 unicode 才能输出
4.存到文件要 encode 成某个编码

[laobaozi]

chardet +1
另外我还遇见过抓取的网页有一部分在终端显示不全，还以为网页是由 js 生成的，直到我把抓取的内容写入文件....

[Hackathon]

https://pypi.python.org/pypi/CodeConvert/

[ltype]

用 python3 啊

[zhuangzhuang1988]

所以, 来学 c#吧..

[strahe]

python3 从来不考虑这些问题

[Yourdaye]

@strahe 以后果断 python3,不知道 2 的坑还有多少

[caomaocao]

@Victor215 chardet 对短的文本 不一定判断对啊！

[zkzipoo]

locale charmap
#coding:utf-8
怎么不把网页发过来

[zkzipoo]

更正一下#coding=utf-8