同学们，有人用Python写过京东的爬虫吗？？问题多多

[vcamx]

python自带的urllib2库写的

opener = urllib2.build_opener(urllib2.HTTPRedirectHandler(), urllib2.HTTPCookieProcessor())
webpage = opener.open(url)
html = webpage.read()
webpage.close()
print html

1. 有的时候可以抓到html代码，但是显示乱码，gbk，gb2312，utf-8都试过了。chardet 也用过，检测出来居然是windows-XXXX。这是什么问题？？
用selenium抓每次都可以正常显示，不存在乱码和抓不到的情况

2. 有的时候代码抓不到，返回 Errno 10054
user-agent也修改过，换了各种浏览器的，不行的时候还是不行
增加其他字段也是一样

3. 用httplib，代码如下

c = httplib.HTTPConnection('www.360buy.com')
html = c.getresponse().read()
print html
print len(html)

显示 一个字符的乱码，但是长度居然有16201！？

有的时候返回502 bad gateway 的html代码！？

求大神搭救！！！！！

[Asimov]

1。用 Requests
2。爬慢点，鸡东有防爬

[vcamx]

@Asimov 修改user-agent？试过了，还是一样……我单线程抓的，而且还是在人工测试的情况下……

[hfeeki]

有几个错误算啥？像爬虫这样的应用应该要写很多的预防代码，就是处理各种异常、出错的情况，可能会达到65%甚至更多（80-90），要有心理准备。
具体复杂性还要看看京东自己的代码质量，是否有进行自动化测试，京东代码质量高（机器可读性好，比较少的特殊处理代码），你的代码就会简单，反之，如果京东的代码质量差（主要是各种各样进行特殊处理的代码），会导致你根本没法使用很简单的代码去爬他们的网页。

[muzuiget]

我写过，不过属于玩票性质，现在代码已经失效了。京东是开启 gzip 压缩的，也就是你用 urllib2.open(url).read() 读取出来数据其实是 gzip 的压缩数据，所以你怎么检测编码也是失败，你要自己解压，嫌麻烦就直接用 requests 好了，这个库会自动判断是否开启了 gzip 压缩并替你解压，你读取的就是 html 了。京东的 html 用的是 GBK 编码。

[vcamx]

@muzuiget 原来是gzip，感谢了！

[vcamx]

@hfeeki What are u talking about? = =

[hfeeki]

I just talking about my experiences on write a good web crawler. You need to hanle any excepiton or errors, note: it is ANY. Because when writing a web crawler, you must handle all of unexpected problems.

[qiao]

呃，我连 requests 都嫌麻烦，直接上 scrapy 吧。

[vcamx]

@hfeeki 额，你说的我当然知道。我提问只是想知道有没有更好的解决方法而已。anyway，还是谢谢你

[vcamx]

@qiao 好吧……
@Asimov @muzuiget
发现用代理可以抓，本机还是有时不行……

[leebo]

ruby 写采集感觉比较简单 open-uri + nokogiri 感觉很爽

[wenbinwu]

@vcamx 帮你总结下，@hfeeki 想说的就是要“要有心理准备”，爬虫的纠错代码可能会占总代码量的很大比例

[leveraging]

我一看就知道多半是gzip..