求推荐一个能支持 Python 3 的非阻塞异步爬虫框架 ~

[Feiox]

scrapy 貌似不支持唉。Github 上写明了 python 2.7
已经被 Python 2.7 中 unicode 各种烦了。求推荐一个异步爬虫框架吧，不然要用 Gevent 自己写，但是 Gevent 貌似也不支持 Py3K ？

[yueyoum]

gevent 目前貌似不支持 py3k
但 Py3k 自带了 asyncio

[youyudehexie]

scrapy Twisted 基于事件驱动，可以粗暴地认为是非阻塞。。至少非同步

[Feiox]

@yueyoum 听说了没用过， 但 asyncio 不是异步 IO 的吗，网络请求也可以用它异步么？

[Feiox]

@youyudehexie 但它不支持 Python 3 啊 ~ ಥ_ಥ

[clino]

为什么一定要3

[imn1]

用 greenlet 自己写

[Feiox]

@clino 因为处理中文很舒服 ~ 并且有好多好功能 ~ 为什么大家都不支持呢

[wwqgtxx]

为何一定用python呢
有很多对中文兼容性很好的语言呀

[binux]

搞清楚之后不觉得 python2 的 unicode 烦。。

[Comdex]

用golang啦

[liteneo]

爬虫用Node.js就很方便，大把的模块

[skybr]

我记得gevent的开发版支持py3, 只是退出时会报个警告, 一系列支持py3相关的补丁是位国人开发者贡献进去.

[love]

都py3了还用什么gevent啊，该用高大上的asyncio

[Kabie]

tornado怎么样?

[fdsfsdfsdf3334]

requests 可以吗

[mengzhuo]

@love

测试了一下 asyncio 性能渣渣....并发2000都顶不住

[heqing]

用Scrapy, 安装一个Python 2.7即可。