python pyquery 采集淘宝的编码问题

[54dev]

代码在这里：http://pastebin.com/mdizARWA

采集到的数据是gbk的，插入数据库的时候要转成utf8的，试过decode encode各种模式，都无法解决乱码的问题，文件的编码是utf-8 无bom的。

[54dev]

现在的问题是：插入到数据库的全是乱码，实在是不知道怎么转换了。

[swulling]

1. MySQL建表时有没有指定UTF8?，这个很容易遗漏
2. 不要用sys.setdefaultencoding('utf-8')，这是一种ugly的，无用，错误的设置
3. pyquery处理前，先讲网页内容从gbk转换为unicode，注意是unicode
用 decode("gbk")
4. 插入MySQL的时候，直接插Unicode就行了，会自动转换成UTF-8的。没必须手工转换

[pigletfly]

decode('gbk').encode('utf-8')试下

[54dev]

先去给同事修个电脑，回来继续test

[54dev]

@swulling 谢谢你的解答，好多pyquery的编码都有你的身影，也根据你在别的贴子里的回复做过调试
1，mysql表的整理选项是utf8_general_ci
2,这个我再试一下不要setdefaultencoding('utf-8')的情况下decode('gbk'),我终端是utf8编码 的
3，是，我也注意到这个问题，但我我拿到采集后，连unicode都打印不出来

[54dev]

@swulling

[54dev]

@swulling
print price.decode('gbk')
会报错
print price.decode('gbk')
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

[54dev]

@pigletfly

print price.decode('gbk')
会报错
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

[swulling]

@54dev 是这样的，你这是用了PyQuery直接来获取Url，这样面对非utf-8的页面就会解析错误

比如将你的price显示出来是这样：
In [9]: price
Out[9]: u'\xa3\xa4196.20 \xa3\xa4185.01 \xa3

完全乱了，虽然也可以用一些方法处理为正常，不过就ugly了


所以我建议你用一个库去抓网页，比如requests甚至简单点用urlib，然后 decode('gbk') 转换为Unicode交给PyQuery，而不是直接用pq去抓

话说我刚刚尝试了下requests去抓，不知道是不是新版本的特性，可以自动识别页面编码了。抓回来就是unicode，直接扔给pq就是

ret=requests.get(url="http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC",headers={'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36'})

p=pq(ret.text)


In [19]: print p(".row-focus .price").text()
￥196.20 ￥185.01 ￥268.00 ￥166.00 ￥26.90 ￥185.00 ￥49.00 ￥168.00 ￥58.00 ￥110.00 ￥55.00 ￥87.50 ￥135.00 ￥22.00 ￥45.00 ￥58.00 ￥118.00 ￥20.00 ￥157.50 ￥68.00 ￥188.00 ￥55.00 ￥109.45 ￥88.00 ￥88.00 ￥368.00 ￥99.00 ￥66.00 ￥18.00 ￥55.00 ￥106.20 ￥55.00 ￥256.80 ￥330.00 ￥45.00 ￥562.00 ￥52.20 ￥98.00 ￥218.00 ￥38.90 ￥208.00 ￥138.00 ￥129.00 ￥108.00

[swulling]

In [18]: p(".row-focus .price").text()
Out[18]: u'\uffe5196.20 \uffe5185.01 \uffe5268.00 \uffe5166.00 \uffe526.90 \uffe5185.00 \uffe549.00 \uffe5168.00 \uffe558.00 \uffe5110.00 \uffe555.00 \uffe587.50 \uffe5135.00 \uffe522.00 \uffe545.00 \uffe558.00 \uffe5118.00 \uffe520.00 \uffe5157.50 \uffe568.00 \uffe5188.00 \uffe555.00 \uffe5109.45 \uffe588.00 \uffe588.00 \uffe5368.00 \uffe599.00 \uffe566.00 \uffe518.00 \uffe555.00 \uffe5106.20 \uffe555.00 \uffe5256.80 \uffe5330.00 \uffe545.00 \uffe5562.00 \uffe552.20 \uffe598.00 \uffe5218.00 \uffe538.90 \uffe5208.00 \uffe5138.00 \uffe5129.00 \uffe5108.00'


看来没有，unicode的字符串开头有小u，然后内容也是很容易看出来的\u开头的字符，python里面直接print unicode的字符串会自动转换为终端编码，比较方便

[54dev]

@swulling 谢谢，最终还是用你的request方法解决了，在回贴之前我看到有人说淘宝的编码可能是gb18030的，我试着用BeautifulSoup先把内容抓下来再去用pq处理，
像这样的方法
page = urllib2.urlopen('http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC');
soup = BeautifulSoup(page,fromEncoding="gb18030")
d = pq(soup. prettify())
但还是会出现乱码。。。我觉得还是因为没有正常识别所采集网页编码 的问题

从写这个脚本开始，我只知道pquery和beautifulsoup是采集的库，其他的还不太了解，而且刚接触这个语言就遇到编码 的问题，的确很头痛，不过谢谢你啦。

[holmesabc]

你用gb18030试试

[swulling]

@54dev 我用urllib试了下，没问题啊，为啥要加beautifulsoup?

import urllib
page = urllib.urlopen('http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC').read()
d=pq(page.decode('gbk'))
In [11]: print d(".row-focus .price").text()
￥196.20 ￥185.01 ￥268.00 ￥166.00 ￥26.90

[Ziya]

@54dev

requests 现在会根据header判断字符集，一般情况下直接获取的结果，就是转换后的unicode了
就算没能自动识别也可以用指定编码的形式，所以用requests，基本可以保证「采集回来的就是Unicode」
之后进行下一步处理就可以了，不用再考虑抓回来的是 GBK 怎么办，是GB18030怎么办……

In [1]: import requests

In [2]: url = 'http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC'

In [3]: r = requests.get(url)

In [4]: type(r.text)
Out[4]: unicode

In [5]: print r.text[900:1000]
;
window.givenByFE = {
currentPage: "mainsrp",
//有些模块出现在首屏但是却是在特殊情况才

[54dev]

@swulling 嗯，对这些库不太熟，所以会走些弯路 ：）

[54dev]

@Ziya 对的，已经使用requests处理了，谢谢