tornado.httpclient.HTTPClient() 抓取 新浪微薄数据

[wushuang]

用了网上的 python 非API方式 模拟登录新浪微薄 的代码，登录成功后抓取 微薄个人页面信息。
登录代码： https://github.com/yoyzhou/weibo_login/blob/master/weibo_login.py

同样的一个微薄页面，用urllib2的方式抓取一点问题都没，如果用tornado.httpclient.HTTPClient().fetch(url)的方式抓取就会跳转到注册界面，而且始终登录不成功，何解？

注：
如果是urllib2方式的话所有页面都能抓取成功；
tornado httpclient的方式只是部分页面会跳转到注册地址，还是有些页面可以成功抓取的。

[maga]

为什么一定要用tornado.httpclient？

[binux]

method, url, header(cookies), body
四个都检查一遍

分别用两种发一个请求到 http://httpbin.org/get
对比请求有什么不同

[wushuang]

@maga 因为我web框架就用的tornado，其他的懒得折腾了，哈哈，然后我看网上有Toro这个玩意儿，跟tonado配合好像还行，就试试看效果如何。

[maga]

@wushuang 用urllib2就是一个库而已。话说request更好

[wushuang]

@binux 我感觉是cookies的问题，但是不知道怎么处理，我把代码贴到了这里http://segmentfault.com/q/1010000000510093 ，麻烦帮看下，谢谢！

[pyshift]

我感觉还是cookie的问题，com端的cookie很蛋疼，而且你抓包会发现还是会返回一个cn端的cookie值，如果没有硬性的去抓取com端，推荐还是去cn端抓吧，还能避开unicode转换编码。。